Tài liệu này mô tả cách thêm một trung tâm dữ liệu (còn gọi là khu vực) vào một trung tâm dữ liệu hiện có.
Những điều cần cân nhắc trước khi thêm trung tâm dữ liệu
Trước khi cài đặt thêm trung tâm dữ liệu, bạn phải hiểu cách định cấu hình các máy chủ Open LDAP, ZooKeeper, Cassandra và Postgres trên các trung tâm dữ liệu này. Bạn cũng phải đảm bảo rằng các cổng cần thiết được mở giữa các nút trong 2 trung tâm dữ liệu.
- OpenLDAP
Mỗi trung tâm dữ liệu có máy chủ OpenLDAP riêng được định cấu hình có bật tính năng sao chép. Khi cài đặt trung tâm dữ liệu mới, bạn phải định cấu hình Open LDAP để sử dụng tính năng sao chép và bạn phải định cấu hình lại máy chủ OpenLDAP trong trung tâm dữ liệu hiện có để sử dụng tính năng sao chép.
- ZooKeeper
Đối với thuộc tính
ZK_HOSTS
cho cả hai trung tâm dữ liệu, hãy chỉ định địa chỉ IP hoặc tên DNS của tất cả các nút ZooKeeper từ cả hai trung tâm dữ liệu theo cùng thứ tự và đánh dấu bất kỳ nút nào bằng đối tượng sửa đổi ":observer". Các nút không có đối tượng sửa đổi:observer
được gọi là "voter". Bạn phải có một số "cái phiếu" lẻ trong cấu hình.Trong cấu trúc liên kết này, máy chủ ZooKeeper trên máy chủ 9 là đối tượng tiếp nhận dữ liệu:
Trong tệp cấu hình ví dụ minh hoạ bên dưới, nút 9 được gắn thẻ bằng đối tượng sửa đổi
:observer
để bạn có 5 cử tri: Nút 1, 2, 3, 7 và 8.Đối với thuộc tính
ZK_CLIENT_HOSTS
cho mỗi trung tâm dữ liệu, hãy chỉ định địa chỉ IP hoặc tên DNS của riêng các nút ZooKeeper trong trung tâm dữ liệu (theo cùng thứ tự) cho tất cả các nút ZooKeeper trong trung tâm dữ liệu. - Cassandra
Đối với
CASS_HOSTS
cho mỗi trung tâm dữ liệu, hãy đảm bảo rằng bạn chỉ định tất cả địa chỉ IP Cassandra (không phải tên DNS) cho cả hai trung tâm dữ liệu. Đối với trung tâm dữ liệu 1, trước tiên, hãy liệt kê các nút Cassandra trong trung tâm dữ liệu đó. Đối với trung tâm dữ liệu 2, trước tiên, hãy liệt kê các nút Cassandra trong trung tâm dữ liệu đó. Liệt kê các nút Cassandra theo cùng một thứ tự cho tất cả các nút Cassandra trong trung tâm dữ liệu.Tất cả các nút Cassandra phải có hậu tố ':d,r'; ví dụ: "ip:1,1 = trung tâm dữ liệu 1 và vùng giá/khả năng lập chỉ mục 1 và "ip:2,1 = trung tâm dữ liệu 2 và vùng giá/khả năng lập chỉ mục 1.
Ví dụ: "192.168.124.201:1,1 192.168.124.202:1,1 192.168.124.203:1,1 192.168.124.204:2,1 192.1606.2.2.4,"
Nút đầu tiên trong vùng giá/khả năng sử dụng 1 của mỗi trung tâm dữ liệu sẽ được dùng làm máy chủ gốc. Trong mô hình triển khai này, cách thiết lập Cassandra sẽ có dạng như sau:
-
Postgres
Theo mặc định, Edge sẽ cài đặt tất cả các nút Postgres ở chế độ chính. Tuy nhiên, khi có nhiều trung tâm dữ liệu, bạn nên định cấu hình nút Postgres để sử dụng tính năng sao chép chính của chế độ chờ sao cho nếu nút chính bị lỗi, nút chế độ chờ có thể tiếp tục cho lưu lượng truy cập máy chủ. Thông thường, bạn sẽ định cấu hình máy chủ Postgres chính trong một trung tâm dữ liệu và máy chủ dự phòng trong trung tâm dữ liệu thứ hai.
Nếu trung tâm dữ liệu hiện có đã được định cấu hình để có 2 nút Postgres chạy ở chế độ chính/chế độ chờ, trong quy trình này, hãy huỷ đăng ký nút chờ hiện có và thay thế nút này bằng một nút chờ trong trung tâm dữ liệu mới.
Bảng sau đây trình bày cấu hình trước và sau khi dùng Postgres cho cả hai trường hợp:
Trước Sau Nút Postgres chính trong dc-1
Nút Postgres chính trong dc-1
Nút Postgres dự phòng trong dc-2
Nút Postgres chính trong dc-1
Nút Postgres dự phòng trong dc-1
Nút Postgres chính trong dc-1
Nút Postgres dự phòng trong dc-2
Huỷ đăng ký nút Chế độ chờ Postgres cũ trong dc-1
- Yêu cầu đối với cổng
Bạn phải đảm bảo rằng các cổng cần thiết được mở giữa các nút trong hai trung tâm dữ liệu. Để biết sơ đồ cổng, hãy xem Yêu cầu về cổng.
Đang cập nhật trung tâm dữ liệu hiện có
Để thêm trung tâm dữ liệu, bạn sẽ phải thực hiện các bước để cài đặt và định cấu hình các nút mới của trung tâm dữ liệu, nhưng cũng cần phải cập nhật các nút trong trung tâm dữ liệu ban đầu. Những sửa đổi này là cần thiết vì bạn đang thêm các nút Cassandra và ZooKeeper mới trong trung tâm dữ liệu mới. Các nút này phải có thể truy cập được vào trung tâm dữ liệu hiện có và bạn phải định cấu hình lại Open LDAP để sử dụng tính năng sao chép.
Tạo tệp cấu hình
Dưới đây là các tệp cấu hình im lặng cho 2 trung tâm dữ liệu, trong đó mỗi trung tâm dữ liệu có 6 nút như minh hoạ trong Cấu trúc liên kết đã cài đặt. Lưu ý rằng tệp cấu hình cho dc-1 sẽ thêm các chế độ cài đặt bổ sung vào:
- Định cấu hình Open LDAP bằng cơ chế sao chép trên hai nút OpenLDAP.
- Thêm các nút Cassandra và ZooKeeper mới từ dc-2 vào tệp cấu hình cho dc-1.
# Datacenter 1 IP1=IPorDNSnameOfNode1 IP2=IPorDNSnameOfNode2 IP3=IPorDNSnameOfNode3 IP7=IPorDNSnameOfNode7 IP8=IPorDNSnameOfNode8 IP9=IPorDNSnameOfNode9 HOSTIP=$(hostname -i) MSIP=$IP1 ADMIN_EMAIL=opdk@google.com APIGEE_ADMINPW=Secret123 LICENSE_FILE=/tmp/license.txt USE_LDAP_REMOTE_HOST=n LDAP_TYPE=2 LDAP_SID=1 LDAP_PEER=$IP7 APIGEE_LDAPPW=secret MP_POD=gateway-1 REGION=dc-1 ZK_HOSTS="$IP1 $IP2 $IP3 $IP7 $IP8 $IP9:observer" ZK_CLIENT_HOSTS="$IP1 $IP2 $IP3" # Must use IP addresses for CASS_HOSTS, not DNS names. CASS_HOSTS="$IP1:1,1 $IP2:1,1 $IP3:1,1 $IP7:2,1 $IP8:2,1 $IP9:2,1" SKIP_SMTP=n SMTPHOST=smtp.example.com SMTPUSER=smtp@example.com SMTPPASSWORD=smtppwd SMTPSSL=n SMTPPORT=25 SMTPMAILFROM="My Company <myco@company.com>" |
# Datacenter 2 IP1=IPorDNSnameOfNode1 IP2=IPorDNSnameOfNode2 IP3=IPorDNSnameOfNode3 IP7=IPorDNSnameOfNode7 IP8=IPorDNSnameOfNode8 IP9=IPorDNSnameOfNode9 HOSTIP=$(hostname -i) MSIP=$IP7 ADMIN_EMAIL=opdk@google.com APIGEE_ADMINPW=Secret123 LICENSE_FILE=/tmp/license.txt USE_LDAP_REMOTE_HOST=n LDAP_TYPE=2 LDAP_SID=2 LDAP_PEER=$IP1 APIGEE_LDAPPW=secret MP_POD=gateway-2 REGION=dc-2 ZK_HOSTS="$IP1 $IP2 $IP3 $IP7 $IP8 $IP9:observer" ZK_CLIENT_HOSTS="$IP7 $IP8 $IP9" # Must use IP addresses for CASS_HOSTS, not DNS names. CASS_HOSTS="$IP7:2,1 $IP8:2,1 $IP9:2,1 $IP1:1,1 $IP2:1,1 $IP3:1,1" SKIP_SMTP=n SMTPHOST=smtp.example.com SMTPUSER=smtp@example.com SMTPPASSWORD=smtppwd SMTPSSL=n SMTPPORT=25 SMTPMAILFROM="My Company <myco@company.com>" |
Thêm trung tâm dữ liệu mới
Hãy sử dụng quy trình dưới đây để cài đặt trung tâm dữ liệu mới.
Trong quy trình này, các trung tâm dữ liệu có tên sau đây:
- dc-1: trung tâm dữ liệu hiện tại
- dc-2: trung tâm dữ liệu mới
Cách thêm trung tâm dữ liệu mới:
- Trên dc-1, hãy chạy lại setup.sh trên các nút Cassandra ban đầu bằng tệp cấu hình dc-1 mới bao gồm các nút Cassandra từ dc-2:
/opt/apigee/apigee-setup/bin/setup.sh -p ds -f configFile1
- Trên dc-1, hãy chạy lại setup.sh trên nút Máy chủ quản lý:
/opt/apigee/apigee-setup/bin/setup.sh -p ms -f configFile1
- Trên dc-2, cài đặt
apigee-setup
trên tất cả các nút. Hãy xem bài viết Cài đặt tiện ích thiết lập apigee của Edge để biết thêm thông tin. - Trên dc-2, hãy cài đặt Cassandra và ZooKeeper trên các nút thích hợp:
/opt/apigee/apigee-setup/bin/setup.sh -p ds -f configFile2
- Trên dc-2, chạy lệnh tạo lại trên tất cả các nút Cassandra, chỉ định tên vùng của dc-1:
/opt/apigee/apigee-cassandra/bin/nodetool [-u username -pw password] -h cassIP rebuild dc-1
Bạn chỉ cần truyền tên người dùng và mật khẩu nếu đã bật phương thức xác thực JMX cho Cassandra.
- Trên dc-2, hãy cài đặt Máy chủ quản lý trên nút thích hợp:
/opt/apigee/apigee-setup/bin/setup.sh -p ms -f configFile2
- Trên nút Máy chủ quản lý trong dc-2, hãy cài đặt
apigee-provision
để cài đặt tiện íchapigee-adminapi.sh
:/opt/apigee/apigee-service/bin/apigee-service apigee-provision install
- Trên dc-2, cài đặt Tuyến và Bộ xử lý thông báo trên các nút thích hợp:
/opt/apigee/apigee-setup/bin/setup.sh -p rmp -f configFile2
- Trên dc-2, hãy cài đặt Qpid trên các nút thích hợp:
/opt/apigee/apigee-setup/bin/setup.sh -p qs -f configFile2
- Trên dc-2, hãy cài đặt Postgres trên nút thích hợp:
/opt/apigee/apigee-setup/bin/setup.sh -p ps -f configFile2
- Thiết lập chính/chế độ chờ Postgres cho các nút Postgres. Nút Postgres trong dc-1 là nút chính và nút Postgres trong dc-2 là máy chủ dự phòng.
- Trên nút chính trong dc-1, hãy chỉnh sửa tệp cấu hình cần thiết lập:
PG_MASTER=IPorDNSofDC1Master PG_STANDBY=IPorDNSofDC2Standby
- Bật tính năng sao chép trên trang cái mới:
/opt/apigee/apigee-service/bin/apigee-service apigee-postgresql setup-replication-on-master -f configFIle
- Trên nút chế độ chờ trong dc-2, hãy chỉnh sửa tệp cấu hình cần thiết lập:
PG_MASTER=IPorDNSofDC1Master PG_STANDBY=IPorDNSofDC2Standby
- Trên nút chế độ chờ trong dc-2, hãy dừng máy chủ, sau đó xoá mọi dữ liệu Postgres hiện có:
/opt/apigee/apigee-service/bin/apigee-service apigee-postgresql stop
rm -rf /opt/apigee/data/apigee-postgresql/
Nếu cần, bạn có thể sao lưu dữ liệu này trước khi xoá.
- Định cấu hình nút chế độ chờ trong dc-2:
/opt/apigee/apigee-service/bin/apigee-service apigee-postgresql setup-replication-on-standby -f configFile
- Trên nút chính trong dc-1, hãy chỉnh sửa tệp cấu hình cần thiết lập:
- Trên dc-1, hãy cập nhật cấu hình Analytics và định cấu hình các tổ chức.
- Trên nút Máy chủ quản lý của dc-1, hãy lấy UUID của nút Postgres:
apigee-adminapi.sh servers list -r dc-1 -p analytics -t postgres-server \ --admin adminEmail --pwd adminPword --host localhost
Mã nhận dạng duy nhất (UUID) xuất hiện ở cuối dữ liệu được trả về. Lưu giá trị đó.
- Trên nút Máy chủ quản lý của dc-2, hãy lấy UUID của nút Postgres như minh hoạ trong bước trước. Lưu giá trị đó.
- Trên nút Máy chủ quản lý của dc-1, hãy xác định tên của các số liệu phân tích và nhóm người tiêu dùng. Nhiều lệnh dưới đây yêu cầu thông tin đó.
Theo mặc định, tên của nhóm phân tích là "axgroup-001" và tên của nhóm người tiêu dùng là "consumer-group-001". Trong tệp cấu hình im lặng cho một khu vực, bạn có thể đặt tên của nhóm phân tích bằng cách sử dụng thuộc tính
AXGROUP
.Nếu bạn không chắc chắn về tên của các nhóm phân tích và nhóm người tiêu dùng, hãy sử dụng lệnh sau để hiển thị các nhóm đó:
apigee-adminapi.sh analytics groups list \ --admin adminEmail --pwd adminPword --host localhost
Lệnh này trả về tên nhóm phân tích trong trường tên và tên nhóm người tiêu dùng trong trường nhóm người tiêu dùng.
- Trên nút Máy chủ quản lý của dc-1, hãy xoá máy chủ Postgres
hiện có khỏi nhóm phân tích:
- Xoá nút Postgres khỏi nhóm người tiêu dùng:
apigee-adminapi.sh analytics groups consumer_groups datastores remove \ -g axgroup-001 -c consumer-group-001 -u UUID \ -Y --admin adminEmail --pwd adminPword --host localhost
Nếu dc-1 được định cấu hình để có hai nút Postgres chạy ở chế độ chính/chế độ chờ, hãy xoá cả hai nút:
apigee-adminapi.sh analytics groups consumer_groups datastores remove \ -g axgroup-001 -c consumer-group-001 -u "UUID_1,UUID_2" \ -Y --admin adminEmail --pwd adminPword --host localhost
- Xoá nút Postgres khỏi nhóm số liệu phân tích:
apigee-adminapi.sh analytics groups postgres_server remove \ -g axgroup-001 -u UUID -Y --admin adminEmail \ --pwd adminPword --host localhost
Nếu dc-1 được định cấu hình để có 2 nút Postgres chạy ở chế độ chính/chế độ chờ, hãy xoá cả hai nút:
apigee-adminapi.sh analytics groups postgres_server \ remove -g axgroup-001 -u UUID1,UUID2 -Y --admin adminEmail \ --pwd adminPword --host localhost
- Xoá nút Postgres khỏi nhóm người tiêu dùng:
- Trên nút Máy chủ quản lý của dc-1, hãy thêm các máy chủ chính/chế độ chờ Postgres mới vào nhóm phân tích:
- Thêm cả hai máy chủ Postgres vào nhóm số liệu phân tích:
apigee-adminapi.sh analytics groups postgres_server \ add -g axgroup-001 -u "UUID_1,UUID_2" --admin adminEmail \ --pwd adminPword --host localhost
Ehere UUID_1 tương ứng với nút Postgres chính trong dc-1 và UUID_2 tương ứng với nút Postgres ở chế độ chờ trong dc-2.
- Thêm các máy chủ PG vào nhóm người tiêu dùng ở dạng chính/dự phòng:
apigee-adminapi.sh analytics groups consumer_groups datastores \ add -g axgroup-001 -c consumer-group-001 -u "UUID_1,UUID_2" --admin adminEmail \ --pwd adminPword --host localhost
- Thêm cả hai máy chủ Postgres vào nhóm số liệu phân tích:
- Thêm máy chủ Qpid từ dc-2 vào nhóm số liệu phân tích:
- Trên nút Máy chủ quản lý của dc-1, hãy lấy mã nhận dạng duy nhất (UUID) của các nút Qpid trong dc-2:
apigee-adminapi.sh servers list -r dc-2 -p central -t qpid-server \ --admin adminEmail --pwd adminPword --host localhost
Các mã nhận dạng duy nhất (UUID) xuất hiện ở cuối dữ liệu được trả về. Lưu các giá trị đó.
- Trên nút Máy chủ quản lý của dc-1, hãy thêm các nút Qpid vào nhóm số liệu phân tích (chạy cả hai lệnh):
apigee-adminapi.sh analytics groups qpid_server \ add -g axgroup-001 -u "UUID_1" --admin adminEmail \ --pwd adminPword --host localhost
apigee-adminapi.sh analytics groups qpid_server \ add -g axgroup-001 -u "UUID_2" --admin adminEmail \ --pwd adminPword --host localhost
- Trên nút Máy chủ quản lý của dc-1, hãy thêm các nút Qpid vào nhóm người dùng (chạy cả hai lệnh):
apigee-adminapi.sh analytics groups consumer_groups consumers \ add -g axgroup-001 -c consumer-group-001 -u "UUID_1" \ --admin adminEmail --pwd adminPword --host localhost
apigee-adminapi.sh analytics groups consumer_groups consumers \ add -g axgroup-001 -c consumer-group-001 -u "UUID_2" \ --admin adminEmail --pwd adminPword --host localhost
- Trên nút Máy chủ quản lý của dc-1, hãy lấy mã nhận dạng duy nhất (UUID) của các nút Qpid trong dc-2:
- Huỷ đăng ký và xoá máy chủ chờ Postgres cũ khỏi dc-1:
- Huỷ đăng ký máy chủ chờ dc-1 Postgres hiện có:
apigee-adminapi.sh servers deregister -u UUID -r dc-1 \ -p analytics -t postgres-server -Y --admin adminEmail \ --pwd adminPword --host localhost
Trong đó UUID là nút Postgres ở chế độ chờ cũ trong dc-1.
- Xoá máy chủ chờ dc-1 Postgres hiện có:
apigee-adminapi.sh servers delete -u UUID \ --admin adminEmail --pwd adminPword --host localhost
- Huỷ đăng ký máy chủ chờ dc-1 Postgres hiện có:
- Trên nút Máy chủ quản lý của dc-1, hãy lấy UUID của nút Postgres:
- Cập nhật không gian khoá Cassandra bằng hệ số sao chép chính xác cho hai trung tâm dữ liệu. Bạn chỉ phải chạy bước này một lần trên bất kỳ máy chủ Cassandra nào trong một trung tâm dữ liệu:
- Khởi động tiện ích
cqlsh
của Cassandra:/opt/apigee/apigee-cassandra/bin/cqlsh cassandraIP
- Thực thi các lệnh CQL sau đây tại lời nhắc " CQlsh>" để đặt mức sao chép
cho không gian phím Cassandra:
ALTER KEYSPACE "identityzone" WITH replication = { 'class': 'NetworkTopologyStrategy', 'dc-1': '3','dc-2': '3' };
ALTER KEYSPACE "system_traces" WITH replication = { 'class': 'NetworkTopologyStrategy', 'dc-1': '3','dc-2': '3' };
- Xem các không gian phím bằng cách dùng lệnh:
select * from system.schema_keyspaces;
- Thoát
cqlsh
:exit
- Khởi động tiện ích
- Chạy lệnh
nodetool
sau trên tất cả các nút Cassandra trong dc-1 để giải phóng bộ nhớ:/opt/apigee/apigee-cassandra/bin/nodetool [-u username -pw password] -h cassandraIP cleanup
Bạn chỉ cần truyền tên người dùng và mật khẩu nếu đã bật phương thức xác thực JMX cho Cassandra.
- Đối với mỗi tổ chức và mỗi môi trường mà bạn muốn hỗ trợ trong các trung tâm dữ liệu:
- Trên nút Máy chủ quản lý của dc-1, hãy thêm MP_POD mới vào
Tổ chức:
apigee-adminapi.sh orgs pods add -o orgName -r dc-2 -p gateway-2 \ --admin adminEmail --pwd adminPword --host localhost
Trong đó gateway-2 là tên của nhóm cổng được xác định bằng thuộc tính MP_POD trong tệp cấu hình dc-2.
- Thêm Bộ xử lý thư mới vào tổ chức và môi trường:
- Trên nút Máy chủ quản lý của dc-2, hãy lấy mã nhận dạng duy nhất (UUID) của các nút Bộ xử lý thông báo trong dc-2:
apigee-adminapi.sh servers list -r dc-2 -p gateway-2 \ -t message-processor --admin adminEmail --pwd adminPword --host localhost
Các mã nhận dạng duy nhất (UUID) xuất hiện ở cuối dữ liệu được trả về. Lưu các giá trị đó.
- Trên nút Máy chủ quản lý của dc-1, đối với mỗi Trình xử lý thông báo trong dc-2, hãy thêm Bộ xử lý thông báo vào một môi trường dành cho tổ chức:
apigee-adminapi.sh orgs envs servers add -o orgName -e envName \ -u UUID --admin adminEmail --pwd adminPword --host localhost
- Trên nút Máy chủ quản lý của dc-2, hãy lấy mã nhận dạng duy nhất (UUID) của các nút Bộ xử lý thông báo trong dc-2:
- Trên nút Máy chủ quản lý của dc-1, hãy kiểm tra tổ chức:
apigee-adminapi.sh orgs apis deployments -o orgName -a apiProxyName \ --admin adminEmail --pwd adminPword --host localhost
Trong đó apiProxyName là tên của một proxy API được triển khai trong tổ chức.
- Trên nút Máy chủ quản lý của dc-1, hãy thêm MP_POD mới vào
Tổ chức: