このトピックでは、GKE 上の Apigee ハイブリッドとオンプレミスにデプロイされた Anthos GKE のマルチリージョン デプロイについて説明します。
マルチリージョン デプロイのトポロジには次のものがあります。
- アクティブ - アクティブ: 複数の地理的ロケーションにアプリケーションをデプロイし、それらのデプロイで API レスポンスのレイテンシを低く抑える必要がある場合。クライアントに最も近い複数の地理的ロケーションにハイブリッドをデプロイすることもできます。例: 米国西海岸、米国東海岸、ヨーロッパ、APAC。
- アクティブ - パッシブ: プライマリ リージョンとフェイルオーバー リージョンまたは障害復旧リージョンがある場合。
次の図に示すように、マルチリージョン ハイブリッド デプロイのリージョンは Cassandra を介して通信します。
MART 接続の負荷分散
各リージョン クラスタには独自の MART IP とホスト名が必要です。ただし、管理プレーンはいずれか 1 つに接続するだけで済みます。Cassandra はすべてのクラスタに情報を伝播します。MART に対して高可用性を実現するには、個々の MART IP アドレスを負荷分散し、負荷分散された MART URL と通信するように組織を構成します。
前提条件
複数リージョンに対してハイブリッドを構成する前に、次の前提条件を満たしておく必要があります。
- 異なる CIDR ブロックを持つ複数のリージョンの Kubernetes クラスタを設定する
- リージョン間の通信を設定する
- すべてのリージョンの Kubernetes クラスタ間で Cassandra ポート 7000 と 7001 をホワイトリストに登録する（7000 はトラブルシューティング中にバックアップ オプションとして使用できます）。ポートを構成するもご覧ください。
詳細については、Kubernetes のドキュメントをご覧ください。
マルチリージョン シードホストを構成する
このセクションでは、既存の Cassandra クラスタを新しいリージョンに拡張する方法について説明します。この設定によって、新しいリージョンがクラスタをブートストラップし、既存のデータセンターに参加できるようになります。この構成なしでは、マルチリージョンの Kubernetes クラスタは相互に認識しません。
次の
kubectlコマンドを実行して、現在のリージョンの Cassandra のシードホスト アドレスを識別します。シードホスト アドレスによって、新しいリージョン インスタンスは最初の起動時に元のクラスタを見つけて、クラスタのトポロジを学習することができます。シードホスト アドレスは、クラスタ内のコンタクト ポイントとして指定されます。
kubectl get pods -o wide -n apigee NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE apigee-cassandra-0 1/1 Running 0 5d 10.0.0.11 gke-k8s-dc-2-default-pool-a2206492-p55d apigee-cassandra-1 1/1 Running 0 5d 10.0.2.4 gke-k8s-dc-2-default-pool-e9daaab3-tjmz apigee-cassandra-2 1/1 Running 0 5d 10.0.3.5 gke-k8s-dc-2-default-pool-e589awq3-kjch
- 以前のコマンドで返された IP の中からマルチリージョン シードホストになるものを決定します。
このステップの構成は、GKE または GKE on-prem のどちらを使用しているかによって異なります。
GKE のみ: データセンター 2 で、
overrides.yamlにcassandra.multiRegionSeedHostとcassandra.datacenterを構成します。ここで、multiRegionSeedHostは前のコマンドで返された IP の 1 つです。cassandra: multiRegionSeedHost: seed_host_IP datacenter: data_center_name rack: rack_name
例:
cassandra: multiRegionSeedHost: 10.0.0.11 datacenter: "dc-2" rack: "ra-1"
GKE on-prem のみ: データセンター 2 で、オーバーライド ファイルで
cassandra.multiRegionSeedHostを構成します。ここで、multiRegionSeedHostは前のコマンドで返された IP の 1 つです。cassandra: hostNetwork: true dnsPolicy: ClusterFirstWithHostNet multiRegionSeedHost: seed_host_IP
例:
cassandra: hostNetwork: true dnsPolicy: ClusterFirstWithHostNet multiRegionSeedHost: 10.0.0.11
- 新しいデータセンターまたはリージョンでは、ハイブリッドをインストールする前に、最初のリージョンで設定したのと同じ TLS 証明書と認証情報を
overrides.yamlで設定します。
新しいリージョンを設定する
シードホストを構成したら、新しいリージョンを設定できます。
新しいリージョンを設定するには:
- 証明書を既存のクラスタから新しいクラスタにコピーします。新しい CA ルートは、Cassandra などのハイブリッド コンポーネントによって mTLS に使用されます。したがって、クラスタ全体で一貫した証明書を使用することが不可欠です。
- コンテキストを元の名前空間に設定します。
kubectl config use-context original-cluster-name
- 現在の名前空間の構成をファイルにエクスポートします。
$ kubectl get namespace
-o yaml > apigee-namespace.yaml apigee-caシークレットをファイルにエクスポートします。kubectl -n cert-manager get secret apigee-ca -o yaml > apigee-ca.yaml
- コンテキストを新しいリージョンのクラスタ名に設定します。
kubectl config use-context new-cluster-name
- 名前空間の構成を新しいクラスタにインポートします。新しいリージョンで別の名前空間を使用する場合は、ファイル内の「namespace」を必ず更新してください。
kubectl apply -f apigee-namespace.yaml
シークレットを新しいクラスタにインポートします。
kubectl -n cert-manager apply -f apigee-ca.yaml
- コンテキストを元の名前空間に設定します。
- 新しいリージョンにハイブリッドをインストールします。前のセクションで説明したように、
overrides-DC_name.yamlファイルには、最初のリージョンで構成したものと同じ TLS 証明書を指定してください。次の 2 つのコマンドを実行して、ハイブリッドを新しいリージョンにインストールします。
apigeectl init -f overrides/overrides-DC_name.yaml
apigeectl apply -f overrides/overrides-DC_name.yaml
すべての Apigee キースペースを展開します。
以下の手順で、Cassandra データを新しいデータセンターに展開します。
- Cassandra Pod でシェルを開きます。
kubectl run -i --tty --restart=Never --rm --image google/apigee-hybrid-cassandra-client:1.0.0 cqlsh
- Cassandra サーバーに接続します。
cqlsh apigee-cassandra-0.apigee-cassandra.apigee.svc.cluster.local -u ddl_user --ssl Password: Connected to apigeecluster at apigee-cassandra-0.apigee-cassandra.apigee.svc.cluster.local:9042. [cqlsh 5.0.1 | Cassandra 3.11.3 | CQL spec 3.4.4 | Native protocol v4] Use HELP for help.
- 使用可能なキースペースを取得します。
SELECT * from system_schema.keyspaces ; keyspace_name | durable_writes | replication ----------------------------+----------------+-------------------------------------------------------------------------------------------------------- system_auth | True | {'class': 'org.apache.cassandra.locator.NetworkTopologyStrategy', 'dc-1': '1', 'dc-2': '1'} system_schema | True | {'class': 'org.apache.cassandra.locator.LocalStrategy'} cache_hybrid_test_7_hybrid | True | {'class': 'org.apache.cassandra.locator.NetworkTopologyStrategy', 'dc-1': '3'} kms_hybrid_test_7_hybrid | True | {'class': 'org.apache.cassandra.locator.NetworkTopologyStrategy', 'dc-1': '3'} kvm_hybrid_test_7_hybrid | True | {'class': 'org.apache.cassandra.locator.NetworkTopologyStrategy', 'dc-1': '3'} system_distributed | True | {'class': 'org.apache.cassandra.locator.NetworkTopologyStrategy', 'dc-1': '1', 'dc-2': '1'} system | True | {'class': 'org.apache.cassandra.locator.LocalStrategy'} perses | True | {'class': 'org.apache.cassandra.locator.NetworkTopologyStrategy', 'dc-1': '3'} quota_hybrid_test_7_hybrid | True | {'class': 'org.apache.cassandra.locator.NetworkTopologyStrategy', 'dc-1': '3'} system_traces | True | {'class': 'org.apache.cassandra.locator.NetworkTopologyStrategy', 'dc-1': '1', 'dc-2': '1'} (10 rows) - Apigee キースペースを更新または展開します。
ALTER KEYSPACE cache_hybrid_test_7_hybrid WITH replication = {'class': 'NetworkTopologyStrategy', 'dc-1':3, 'dc-2':3};ALTER KEYSPACE kms_hybrid_test_7_hybrid WITH replication = {'class': 'NetworkTopologyStrategy', 'dc-1':3, 'dc-2':3};ALTER KEYSPACE kvm_hybrid_test_7_hybrid WITH replication = {'class': 'NetworkTopologyStrategy', 'dc-1':3, 'dc-2':3};ALTER KEYSPACE perses WITH replication = {'class': 'NetworkTopologyStrategy', 'dc-1':3, 'dc-2':3};ALTER KEYSPACE quota_hybrid_test_7_hybrid WITH replication = {'class': 'NetworkTopologyStrategy', 'dc-1':3, 'dc-2':3}; - キースペースの展開を検証します。
SELECT * from system_schema.keyspaces ; keyspace_name | durable_writes | replication ----------------------------+----------------+-------------------------------------------------------------------------------------------------------- system_auth | True | {'class': 'org.apache.cassandra.locator.NetworkTopologyStrategy', 'dc-1': '1', 'dc-2': '1'} system_schema | True | {'class': 'org.apache.cassandra.locator.LocalStrategy'} cache_hybrid_test_7_hybrid | True | {'class': 'org.apache.cassandra.locator.NetworkTopologyStrategy', 'dc-1': '3', 'dc-2': '3'} kms_hybrid_test_7_hybrid | True | {'class': 'org.apache.cassandra.locator.NetworkTopologyStrategy', 'dc-1': '3', 'dc-2': '3'} kvm_hybrid_test_7_hybrid | True | {'class': 'org.apache.cassandra.locator.NetworkTopologyStrategy', 'dc-1': '3', 'dc-2': '3'} system_distributed | True | {'class': 'org.apache.cassandra.locator.NetworkTopologyStrategy', 'dc-1': '1', 'dc-2': '1'} system | True | {'class': 'org.apache.cassandra.locator.LocalStrategy'} perses | True | {'class': 'org.apache.cassandra.locator.NetworkTopologyStrategy', 'dc-1': '3', 'dc-2': '3'} quota_hybrid_test_7_hybrid | True | {'class': 'org.apache.cassandra.locator.NetworkTopologyStrategy', 'dc-1': '3', 'dc-2': '3'} system_traces | True | {'class': 'org.apache.cassandra.locator.NetworkTopologyStrategy', 'dc-1': '1', 'dc-2': '1'} (10 rows) ddl@cqlsh>
- Cassandra Pod でシェルを開きます。
- 新しいデータセンターのすべての Pod で
nodetool rebuildを順次実行します。データサイズに応じて数分から数時間かかることがあります。kubectl exec apigee-cassandra-0 -n apigee -- nodetool rebuild -- dc-1
- ログで再構築プロセスを確認します。また、
nodetool statusコマンドを使用してデータサイズも確認します。kubectl logs apigee-cassandra-0 -f -n apigee
次の例は、ログエントリの例を示しています。
INFO 01:42:24 rebuild from dc: dc-1, (All keyspaces), (All tokens) INFO 01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Executing streaming plan for Rebuild INFO 01:42:24 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.1.45 INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.1.45 INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.4.36 INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.432KiB), sending 0 files(0.000KiB) INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.1.45 is complete INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.4.36 INFO 01:42:25 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Starting streaming to /10.12.5.22 INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 1 files(0.693KiB), sending 0 files(0.000KiB) INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.4.36 is complete INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889, ID#0] Beginning stream session with /10.12.5.22 INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889 ID#0] Prepare completed. Receiving 3 files(0.720KiB), sending 0 files(0.000KiB) INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] Session with /10.12.5.22 is complete INFO 01:42:26 [Stream #3a04e810-580d-11e9-a5aa-67071bf82889] All sessions completed
- シードホストを更新します。
overrides-DC_name.yamlからmultiRegionSeedHost: 10.0.0.11を削除してから再び適用します。apigeectl apply -f overrides/overrides-DC_name.yaml
Cassandra クラスタのステータスを確認する
次のコマンドは、2 つのデータセンターでクラスタが正常にセットアップされているかどうかを確認するのに役立ちます。このコマンドは、2 つのリージョンの nodetool ステータスをチェックします。
kubectl exec apigee-cassandra-0 -n apigee -- nodetool status Datacenter: us-central1 ======================= Status=Up/Down |/ State=Normal/Leaving/Joining/Moving -- Address Load Tokens Owns (effective) Host ID Rack UN 10.12.1.45 112.09 KiB 256 100.0% 3c98c816-3f4d-48f0-9717-03d0c998637f ra-1 UN 10.12.4.36 95.27 KiB 256 100.0% 0a36383d-1d9e-41e2-924c-7b62be12d6cc ra-1 UN 10.12.5.22 88.7 KiB 256 100.0% 3561f4fa-af3d-4ea4-93b2-79ac7e938201 ra-1 Datacenter: us-west1 ==================== Status=Up/Down |/ State=Normal/Leaving/Joining/Moving -- Address Load Tokens Owns (effective) Host ID Rack UN 10.0.4.33 78.69 KiB 256 0.0% a200217d-260b-45cd-b83c-182b27ff4c99 ra-1 UN 10.0.0.21 78.68 KiB 256 0.0% 9f3364b9-a7a1-409c-9356-b7d1d312e52b ra-1 UN 10.0.1.26 15.46 KiB 256 0.0% 1666df0f-702e-4c5b-8b6e-086d0f2e47fa ra-1