データセンターの追加

Edge for Private Cloud v4.18.05

このドキュメントでは、既存のデータセンターにデータセンター（リージョンとも呼ばれます）を追加する方法について説明します。

データセンターを追加する前の考慮事項

データセンターを追加する前に、データセンター間で OpenLDAP、ZooKeeper、Cassandra、Postgres の各サーバーを構成する方法を理解しておく必要があります。また、2 つのデータセンターのノード間で必要なポートが開いていることを確認する必要があります。

• OpenLDAP

  各データセンターには、レプリケーションが有効に構成された独自の OpenLDAP サーバーがあります。新しいデータセンターをインストールするときに、レプリケーションを使用するように OpenLDAP を構成する必要があります。また、既存のデータセンターの OpenLDAP サーバーを再構成して、レプリケーションを使用する必要があります。

• ZooKeeper

  両方のデータセンターの ZK_HOSTS プロパティに、両方のデータセンターのすべての ZooKeeper ノードの IP アドレスまたは DNS 名を同じ順序で指定し、ノードに「:observer」修飾子を付けます。:observer 修飾子のないノードは「投票者」と呼ばれます。構成内の「投票者」の数は奇数にする必要があります。

  このトポロジでは、ホスト 9 の ZooKeeper ホストがオブザーバーです。

  

  以下の構成ファイルの例では、ノード 9 に :observer 修飾子がタグ付けされているため、ノード 1、2、3、7、8 の 5 つの投票者が存在します。

  各データセンターの ZK_CLIENT_HOSTS プロパティには、データセンター内のすべての ZooKeeper ノードについて、データセンター内の ZooKeeper ノードの IP アドレスまたは DNS 名のみを同じ順序で指定します。

• Cassandra

  すべてのデータセンターに同じ数の Cassandra ノードが必要です。

  各データセンターの CASS_HOSTS には、両方のデータセンターのすべての Cassandra IP アドレス（DNS 名ではない）を指定します。データセンター 1 の場合は、まずそのデータセンターの Cassandra ノードを一覧表示します。データセンター 2 の場合は、まずそのデータセンターの Cassandra ノードを一覧表示します。データセンター内のすべての Cassandra ノードについて、同じ順序で Cassandra ノードを一覧表示します。

  すべての Cassandra ノードにサフィックス「:d,r」が必要です。たとえば、「ip:1,1 = データセンター 1 とラック/アベイラビリティ ゾーン 1」、「ip:2,1 = データセンター 2 とラック/アベイラビリティ ゾーン 1」です。

  例えば、「192.168.124.201:1,1 192.168.124.202:1,1 192.168.124.203:1,1 192.168.124.204:2,1 192.168.124.205:2,1 192.168.124.206:2,1」

  各データセンターのラック/アベイラビリティ ゾーン 1 の最初のノードがシードサーバーとして使用されます。このデプロイモデルでは、Cassandra の設定は次のようになります。

  

• Postgres

  デフォルトでは、すべての Postgres ノードがマスターモードでインストールされます。ただし、複数のデータセンターがある場合は、Postgres ノードがマスター スタンバイ レプリケーションを使用するように構成します。これにより、マスターノードに障害が発生しても、スタンバイ ノードがトラフィックの処理を継続できます。通常は、1 つのデータセンターにマスター Postgres サーバーを構成し、2 つ目のデータセンターにスタンバイ サーバーを構成します。

  既存のデータセンターが、マスター/スタンバイ モードで実行される 2 つの Postgres ノードを持つようにすでに構成されている場合は、この手順の一環として、既存のスタンバイ ノードの登録を解除し、新しいデータセンターのスタンバイ ノードに置き換えます。

  次の表に、両方のシナリオの Postgres 構成の変更前と変更後を示します。

  変更前	変更後
  dc-1 の単一マスター Postgres ノード	dc-1 のマスター Postgres ノード dc-2 のスタンバイ Postgres ノード
  dc-1 のマスター Postgres ノード dc-1 のスタンバイ Postgres ノード	dc-1 のマスター Postgres ノード dc-2 のスタンバイ Postgres ノード dc-1 の古いスタンバイ Postgres ノードの登録を解除する

• ポートの要件

  2 つのデータセンターのノード間で必要なポートが開いていることを確認する必要があります。ポート図については、ポートの要件をご覧ください。

既存のデータセンターを更新する

データセンターを追加するには、新しいデータセンター ノードをインストールして構成する手順を実行する必要がありますが、元のデータセンターのノードを更新する必要もあります。これらの変更が必要なのは、既存のデータセンターからアクセスできる新しいデータセンターに新しい Cassandra ノードと ZooKeeper ノードを追加し、レプリケーションを使用するように OpenLDAP を再構成する必要があるためです。

構成ファイルの作成

以下に、2 つのデータセンターのサイレント構成ファイルを示します。各データセンターには、インストール トポロジに示すように 6 つのノードがあります。dc-1 の構成ファイルでは、次の追加設定が追加されています。

• 2 つの OpenLDAP ノード間でレプリケーションを行うように OpenLDAP を構成します。
• dc-2 の新しい Cassandra ノードと ZooKeeper ノードを dc-1 の構成ファイルに追加します。

# Datacenter 1
IP1=IPorDNSnameOfNode1
IP2=IPorDNSnameOfNode2
IP3=IPorDNSnameOfNode3
IP7=IPorDNSnameOfNode7
IP8=IPorDNSnameOfNode8
IP9=IPorDNSnameOfNode9 
HOSTIP=$(hostname -i)
MSIP=$IP1
ADMIN_EMAIL=opdk@google.com
APIGEE_ADMINPW=Secret123
LICENSE_FILE=/tmp/license.txt
USE_LDAP_REMOTE_HOST=n
LDAP_TYPE=2
LDAP_SID=1
LDAP_PEER=$IP7
APIGEE_LDAPPW=secret
MP_POD=gateway-1
REGION=dc-1
ZK_HOSTS="$IP1 $IP2 $IP3 $IP7 $IP8 $IP9:observer"
ZK_CLIENT_HOSTS="$IP1 $IP2 $IP3"
# Must use IP addresses for CASS_HOSTS, not DNS names.
CASS_HOSTS="$IP1:1,1 $IP2:1,1 $IP3:1,1 $IP7:2,1 $IP8:2,1 $IP9:2,1"
SKIP_SMTP=n
SMTPHOST=smtp.example.com
SMTPUSER=smtp@example.com 
SMTPPASSWORD=smtppwd   
SMTPSSL=n
SMTPPORT=25
SMTPMAILFROM="My Company <myco@company.com>"

# Datacenter 2
IP1=IPorDNSnameOfNode1
IP2=IPorDNSnameOfNode2
IP3=IPorDNSnameOfNode3
IP7=IPorDNSnameOfNode7
IP8=IPorDNSnameOfNode8
IP9=IPorDNSnameOfNode9 
HOSTIP=$(hostname -i)
MSIP=$IP7
ADMIN_EMAIL=opdk@google.com
APIGEE_ADMINPW=Secret123
LICENSE_FILE=/tmp/license.txt
USE_LDAP_REMOTE_HOST=n
LDAP_TYPE=2
LDAP_SID=2
LDAP_PEER=$IP1
APIGEE_LDAPPW=secret
MP_POD=gateway-2
REGION=dc-2
ZK_HOSTS="$IP1 $IP2 $IP3 $IP7 $IP8 $IP9:observer"
ZK_CLIENT_HOSTS="$IP7 $IP8 $IP9"
# Must use IP addresses for CASS_HOSTS, not DNS names.
CASS_HOSTS="$IP7:2,1 $IP8:2,1 $IP9:2,1 $IP1:1,1 $IP2:1,1 $IP3:1,1"
SKIP_SMTP=n
SMTPHOST=smtp.example.com
SMTPUSER=smtp@example.com 
SMTPPASSWORD=smtppwd   
SMTPSSL=n
SMTPPORT=25
SMTPMAILFROM="My Company <myco@company.com>"

新しいデータセンターを追加する

この手順では、データセンターの名前は次のとおりです。

• dc-1: 既存のデータセンター
• dc-2: 新しいデータセンター

新しいデータセンターを追加するには:

1. dc-1 で、dc-2 の Cassandra ノードを含む新しい dc-1 構成ファイルを使用して、元の Cassandra ノードで setup.sh を再実行します。

   /opt/apigee/apigee-setup/bin/setup.sh -p ds -f configFile1

2. dc-1 で、Management Server ノードで setup.sh を再実行します。

   /opt/apigee/apigee-setup/bin/setup.sh -p ms -f configFile1

3. dc-2 で、すべてのノードに apigee-setup をインストールします。詳細については、Edge apigee-setup ユーティリティをインストールするをご覧ください。
4. dc-2 で、適切なノードに Cassandra と ZooKeeper をインストールします。

   /opt/apigee/apigee-setup/bin/setup.sh -p ds -f configFile2

5. dc-2 で、すべての Cassandra ノードで rebuild コマンドを実行し、dc-1 のリージョン名を指定します。

   /opt/apigee/apigee-cassandra/bin/nodetool -h cassIP rebuild dc-1

6. dc-2 で、適切なノードに Management Server をインストールします。

   /opt/apigee/apigee-setup/bin/setup.sh -p ms -f configFile2

7. dc-2 の Management Server ノードに apigee-provision をインストールします。これにより、apigee-adminapi.sh ユーティリティがインストールされます。

   /opt/apigee/apigee-service/bin/apigee-service apigee-provision install

8. dc-2 で、適切なノードに Router と Message Processor をインストールします。

   /opt/apigee/apigee-setup/bin/setup.sh -p rmp -f configFile2

9. dc-2 で、適切なノードに Qpid をインストールします。

   /opt/apigee/apigee-setup/bin/setup.sh -p qs -f configFile2

10. dc-2 で、適切なノードに Postgres をインストールします。

    /opt/apigee/apigee-setup/bin/setup.sh -p ps -f configFile2

11. Postgres ノードに Postgres マスター/スタンバイを設定します。dc-1 の Postgres ノードがマスターで、dc-2 の Postgres ノードがスタンバイ サーバーです。
    1. dc-1 のマスターノードで、構成ファイルを編集して次のように設定します。

       PG_MASTER=IPorDNSofDC1Master
       PG_STANDBY=IPorDNSofDC2Standby

    2. 新しいマスターでレプリケーションを有効にします。

       /opt/apigee/apigee-service/bin/apigee-service apigee-postgresql setup-replication-on-master -f configFIle

    3. dc-2 のスタンバイ ノードで、構成ファイルを編集して次のように設定します。

       PG_MASTER=IPorDNSofDC1Master
       PG_STANDBY=IPorDNSofDC2Standby

    4. dc-2 のスタンバイ ノードで、サーバーを停止してから、既存の Postgres データを削除します。

       /opt/apigee/apigee-service/bin/apigee-service apigee-postgresql stop
       rm -rf /opt/apigee/data/apigee-postgresql/

    5. dc-2 でスタンバイ ノードを構成します。

       /opt/apigee/apigee-service/bin/apigee-service apigee-postgresql setup-replication-on-standby -f configFile

12. dc-1 で、アナリティクスの構成を更新し、組織を構成します。
    1. dc-1 の Management Server ノードで、Postgres ノードの UUID を取得します。

       apigee-adminapi.sh servers list -r dc-1 -p analytics -t postgres-server \
         --admin adminEmail --pwd adminPword --host localhost

       UUID は、返されたデータの末尾に表示されます。この値を保存します。

    2. dc-2 の Management Server ノードで、前の手順で示したように Postgres ノードの UUID を取得します。この値を保存します。
    3. dc-1 の Management Server ノードで、分析グループとコンシューマ グループの名前を特定します。以下のコマンドの多くで、この情報が必要になります。

       デフォルトでは、分析グループの名前は「axgroup-001」、コンシューマ グループの名前は「consumer-group-001」です。リージョンのサイレント構成ファイルで、AXGROUP プロパティを使用して分析グループの名前を設定できます。

       分析グループとコンシューマ グループの名前がわからない場合は、次のコマンドを使用して表示します。

       apigee-adminapi.sh analytics groups list \
         --admin adminEmail --pwd adminPword --host localhost

       このコマンドは、name フィールドにアナリティクス グループ名を、consumer-groups フィールドにコンシューマー グループ名を返します。

    4. dc-1 の Management Server ノードで、既存の Postgres サーバーをアナリティクス グループから削除します。
       1. consumer-group から Postgres ノードを削除します。

          apigee-adminapi.sh analytics groups consumer_groups datastores remove \
            -g axgroup-001 -c consumer-group-001 -u UUID \
            -Y --admin adminEmail --pwd adminPword --host localhost

          dc-1 が、マスター/スタンバイ モードで実行される 2 つの Postgres ノードを持つように構成されている場合は、両方を削除します。

          apigee-adminapi.sh analytics groups consumer_groups datastores remove \
            -g axgroup-001 -c consumer-group-001 -u "UUID_1,UUID_2" \
            -Y --admin adminEmail --pwd adminPword --host localhost

       2. 分析グループから Postgres ノードを削除します。

          apigee-adminapi.sh analytics groups postgres_server remove \
            -g axgroup-001 -u UUID -Y --admin adminEmail \
            --pwd adminPword --host localhost

          dc-1 がマスター/スタンバイ モードで実行される 2 つの Postgres ノードを持つように構成されている場合は、両方を削除します。

          apigee-adminapi.sh analytics groups postgres_server \
            remove -g axgroup-001 -u UUID1,UUID2 -Y --admin adminEmail \
            --pwd adminPword --host localhost

    5. dc-1 の Management Server ノードで、新しいマスター/スタンバイ Postgres サーバーを分析グループに追加します。
       1. 両方の Postgres サーバーを分析グループに追加します。

          apigee-adminapi.sh analytics groups postgres_server \
            add -g axgroup-001 -u "UUID_1,UUID_2" --admin adminEmail \
            --pwd adminPword --host localhost

          ここで、UUID_1 は dc-1 のマスター Postgres ノードに対応し、UUID_2 は dc-2 のスタンバイ Postgres ノードに対応します。

       2. PG サーバーをマスター/スタンバイとしてコンシューマー グループに追加します。

          apigee-adminapi.sh analytics groups consumer_groups datastores \
            add -g axgroup-001 -c consumer-group-001 -u "UUID_1,UUID_2" --admin adminEmail \
            --pwd adminPword --host localhost

    6. dc-2 の Qpid サーバーを分析グループに追加します。
       1. dc-1 の Management Server ノードで、dc-2 の Qpid ノードの UUID を取得します。

          apigee-adminapi.sh servers list -r dc-2 -p central -t qpid-server \
            --admin adminEmail --pwd adminPword --host localhost

          UUID は、返されたデータの末尾に表示されます。これらの値を保存します。

       2. dc-1 の Management Server ノードで、Qpid ノードをアナリティクス グループに追加します（両方のコマンドを実行します）。

          apigee-adminapi.sh analytics groups qpid_server \
            add -g axgroup-001 -u "UUID_1" --admin adminEmail \
            --pwd adminPword --host localhost
          
          apigee-adminapi.sh analytics groups qpid_server \
            add -g axgroup-001 -u "UUID_2" --admin adminEmail \
            --pwd adminPword --host localhost

       3. dc-1 の Management Server ノードで、Qpid ノードをコンシューマ グループに追加します（両方のコマンドを実行します）。

          apigee-adminapi.sh analytics groups consumer_groups consumers \
            add -g axgroup-001 -c consumer-group-001 -u "UUID_1" \
            --admin adminEmail --pwd adminPword --host localhost
          
          apigee-adminapi.sh analytics groups consumer_groups consumers \
            add -g axgroup-001 -c consumer-group-001 -u "UUID_2" \
            --admin adminEmail --pwd adminPword --host localhost

    7. dc-1 から古い Postgres スタンバイ サーバーを登録解除して削除します。
       1. 既存の dc-1 Postgres スタンバイ サーバーの登録を解除します。

          apigee-adminapi.sh servers deregister -u UUID -r dc-1 \
            -p analytics -t postgres-server -Y --admin adminEmail \
            --pwd adminPword --host localhost

          ここで、UUID は dc-1 の古いスタンバイ Postgres ノードです。

       2. 既存の dc-1 Postgres スタンバイ サーバーを削除します。

          apigee-adminapi.sh servers delete -u UUID \
            --admin adminEmail --pwd adminPword --host localhost

13. 2 つのデータセンターに適切なレプリケーション係数を使用して Cassandra キースペースを更新します。この手順は、いずれかのデータセンターの Cassandra サーバーで 1 回だけ実行する必要があります。
    1. Cassandra cqlsh ユーティリティを起動します。

       /opt/apigee/apigee-cassandra/bin/cqlsh cassandraIP

    2. 「cqlsh>」プロンプトで次の CQL コマンドを実行して、Cassandra キースペースのレプリケーション レベルを設定します。
       1. ALTER KEYSPACE "identityzone" WITH replication = { 'class': 'NetworkTopologyStrategy', 'dc-1': '3','dc-2': '3' }; 

       2. ALTER KEYSPACE "system_traces" WITH replication = { 'class': 'NetworkTopologyStrategy', 'dc-1': '3','dc-2': '3' };

       3. 次のコマンドを使用して、キースペースを表示します。

          select * from system.schema_keyspaces;

       4. cqlsh を終了します。

          exit

14. dc-1 のすべての Cassandra ノードで次の nodetool コマンドを実行して、メモリを解放します。

    /opt/apigee/apigee-cassandra/bin/nodetool -h cassandraIP cleanup

15. データセンター間でサポートする組織ごと、環境ごとに、次の操作を行います。
    1. dc-1 の Management Server ノードで、新しい MP_POD を組織に追加します。

       apigee-adminapi.sh orgs pods add -o orgName -r dc-2 -p gateway-2 \
         --admin adminEmail --pwd adminPword --host localhost

       ここで、gateway-2 は、dc-2 構成ファイルの MP_POD プロパティで定義されている Gateway Pod の名前です。

    2. 新しい Message Processor を組織と環境に追加します。
       1. dc-2 の Management Server ノードで、dc-2 の Message Processor ノードの UUID を取得します。

          apigee-adminapi.sh servers list -r dc-2 -p gateway-2 \
            -t message-processor --admin adminEmail --pwd adminPword --host localhost

          UUID は、返されたデータの末尾に表示されます。これらの値を保存します。

       2. dc-1 の Management Server ノードで、dc-2 の各 Message Processor について、Message Processor を組織の環境に追加します。

          apigee-adminapi.sh orgs envs servers add -o orgName -e envName \
            -u UUID --admin adminEmail --pwd adminPword --host localhost

    3. dc-1 の Management Server ノードで、組織を確認します。

       apigee-adminapi.sh orgs apis deployments -o orgName -a apiProxyName \
         --admin adminEmail --pwd adminPword --host localhost

       ここで、apiProxyName は組織にデプロイされた API プロキシの名前です。