Как добавить центр обработки данных

В этом документе рассказывается, как добавить центр обработки данных (также называемый регионом) в существующий центр обработки данных.

Что нужно учитывать при добавлении центра обработки данных

Прежде чем добавлять центр обработки данных, необходимо понять, как настроить серверы SymasLDAP, ZooKeeper, Cassandra и Postgres в разных центрах обработки данных. Также убедитесь, что между узлами в двух центрах обработки данных открыты необходимые порты.

  • SymasLDAP

    В каждом центре обработки данных есть свой сервер SymasLDAP с включенной репликацией. При установке нового центра обработки данных необходимо настроить SymasLDAP на использование репликации, а также перенастроить сервер SymasLDAP в существующем центре обработки данных на использование репликации.

  • ZooKeeper

    Для свойства ZK_HOSTS в обоих центрах обработки данных укажите IP-адреса или DNS-имена всех узлов ZooKeeper из обоих центров в одном и том же порядке и отметьте все узлы модификатором ":observer". Узлы без модификатора :observer называются голосующими. В конфигурации должно быть нечетное число голосующих.

    В этой топологии хост ZooKeeper на хосте 9 является наблюдателем:

    В примере файла конфигурации ниже у узла 9 есть модификатор :observer, поэтому голосующих узлов пять: 1, 2, 3, 7 и 8.

    Для ресурса ZK_CLIENT_HOSTS для каждого центра обработки данных укажите IP-адреса или DNS-имена только узлов ZooKeeper в центре обработки данных в том же порядке для всех узлов ZooKeeper в центре обработки данных.

  • Cassandra

    Для CASS_HOSTS для каждого центра обработки данных убедитесь, что вы указали все IP-адреса Cassandra (не имена DNS) для обоих центров обработки данных. Для центра обработки данных 1 сначала перечислите узлы Cassandra в этом центре. Для центра обработки данных 2 сначала перечислите узлы Cassandra в этом центре. Укажите узлы Cassandra в одном и том же порядке для всех узлов Cassandra в центре обработки данных.

    У всех узлов Cassandra должен быть суффикс ":d,r". Например, "ip:1,1" означает центр обработки данных 1 и стойку/зону доступности 1, а "ip:2,1" – центр обработки данных 2 и стойку/зону доступности 1.

    Пример: "192.168.124.201:1,1 192.168.124.202:1,1 192.168.124.203:1,1 192.168.124.204:2,1 192.168.124.205:2,1 192.168.124.206:2,1"

    Первый узел в стойке/зоне доступности 1 каждого центра обработки данных будет использоваться в качестве исходного сервера. В этой модели развертывания настройка Cassandra будет выглядеть следующим образом:

  • Postgres

    По умолчанию Edge устанавливает все узлы Postgres в основном режиме. Однако при наличии нескольких центров обработки данных узлы Postgres настраиваются на использование репликации "основной-резервный", чтобы в случае сбоя основного узла резервный узел мог продолжить обслуживание трафика. Как правило, основной сервер Postgres настраивается в одном центре обработки данных, а резервный – в другом.

    Если существующий центр обработки данных уже настроен на работу двух узлов Postgres в режиме "основной/резервный", то в рамках этой процедуры отмените регистрацию существующего резервного узла и замените его резервным узлом в новом центре обработки данных.

    В таблице ниже показана конфигурация Postgres до и после выполнения обоих сценариев.

    До После

    Один основной узел Postgres в dc-1

    Основной узел Postgres в dc-1

    Резервный узел Postgres в dc-2

    Основной узел Postgres в dc-1

    Резервный узел Postgres в dc-1

    Основной узел Postgres в dc-1

    Резервный узел Postgres в dc-2

    Отмените регистрацию старого резервного узла Postgres в dc-1.
  • Требования к портам

    Убедитесь, что между узлами в двух центрах обработки данных открыты необходимые порты. Схема портов приведена в разделе Требования к портам.

Обновление существующего центра обработки данных

При добавлении центра обработки данных необходимо не только установить и настроить узлы нового центра, но и обновить узлы в исходном центре. Эти изменения необходимы, поскольку вы добавляете новые узлы Cassandra и ZooKeeper в новом центре обработки данных, которые должны быть доступны существующему центру обработки данных, и вам нужно перенастроить SymasLDAP для использования репликации.

Как создать файлы конфигурации

Ниже приведены файлы конфигурации для двух центров обработки данных, в каждом из которых шесть узлов, как показано в разделе Топологии установки. Обратите внимание, что файл конфигурации для dc-1 добавляет дополнительные настройки к следующим элементам:

  • Настройте SymasLDAP с репликацией на двух узлах SymasLDAP.
  • Добавьте новые узлы Cassandra и ZooKeeper из dc-2 в файл конфигурации для dc-1.
# Datacenter 1
IP1=IPorDNSnameOfNode1
IP2=IPorDNSnameOfNode2
IP3=IPorDNSnameOfNode3
IP7=IPorDNSnameOfNode7
IP8=IPorDNSnameOfNode8
IP9=IPorDNSnameOfNode9 
HOSTIP=$(hostname -i)
MSIP=$IP1
ADMIN_EMAIL=opdk@google.com
APIGEE_ADMINPW=Secret123
LICENSE_FILE=/tmp/license.txt
USE_LDAP_REMOTE_HOST=n
LDAP_TYPE=2
LDAP_SID=1
LDAP_PEER=$IP7
APIGEE_LDAPPW=secret
MP_POD=gateway-1
REGION=dc-1
ZK_HOSTS="$IP1 $IP2 $IP3 $IP7 $IP8 $IP9:observer"
ZK_CLIENT_HOSTS="$IP1 $IP2 $IP3"
# Must use IP addresses for CASS_HOSTS, not DNS names.
CASS_HOSTS="$IP1:1,1 $IP2:1,1 $IP3:1,1 $IP7:2,1 $IP8:2,1 $IP9:2,1"
SKIP_SMTP=n
SMTPHOST=smtp.example.com
SMTPUSER=smtp@example.com 
SMTPPASSWORD=smtppwd   
SMTPSSL=n
SMTPPORT=25
SMTPMAILFROM="My Company <myco@company.com>"
 
# Datacenter 2
IP1=IPorDNSnameOfNode1
IP2=IPorDNSnameOfNode2
IP3=IPorDNSnameOfNode3
IP7=IPorDNSnameOfNode7
IP8=IPorDNSnameOfNode8
IP9=IPorDNSnameOfNode9 
HOSTIP=$(hostname -i)
MSIP=$IP7
ADMIN_EMAIL=opdk@google.com
APIGEE_ADMINPW=Secret123
LICENSE_FILE=/tmp/license.txt
USE_LDAP_REMOTE_HOST=n
LDAP_TYPE=2
LDAP_SID=2
LDAP_PEER=$IP1
APIGEE_LDAPPW=secret
MP_POD=gateway-2
REGION=dc-2
ZK_HOSTS="$IP1 $IP2 $IP3 $IP7 $IP8 $IP9:observer"
ZK_CLIENT_HOSTS="$IP7 $IP8 $IP9"
# Must use IP addresses for CASS_HOSTS, not DNS names.
CASS_HOSTS="$IP7:2,1 $IP8:2,1 $IP9:2,1 $IP1:1,1 $IP2:1,1 $IP3:1,1"
SKIP_SMTP=n
SMTPHOST=smtp.example.com
SMTPUSER=smtp@example.com 
SMTPPASSWORD=smtppwd   
SMTPSSL=n
SMTPPORT=25
SMTPMAILFROM="My Company <myco@company.com>"

Как добавить новый центр обработки данных

Чтобы установить новый центр обработки данных, выполните следующие действия:

В процедуре используются следующие названия центров обработки данных:

  • dc-1 – существующий центр обработки данных.
  • dc-2 – новый центр обработки данных.

Чтобы добавить новый центр обработки данных:

  1. На сервере dc-1 повторно запустите setup.sh на исходных узлах Cassandra с новым файлом конфигурации dc-1, в который включены узлы Cassandra из dc-2: 
    /opt/apigee/apigee-setup/bin/setup.sh -p ds -f configFile1
  2. На dc-2 установите apigee-setup на всех узлах. Подробнее о том, как установить утилиту apigee-setup для Edge…
  3. На dc-2 установите Cassandra и ZooKeeper на нужных узлах: 
    /opt/apigee/apigee-setup/bin/setup.sh -p ds -f configFile2
  4. На сервере dc-1 повторно запустите setup.sh на узле сервера управления: 
    /opt/apigee/apigee-setup/bin/setup.sh -p ms -f configFile1

    Если применимо, повторно запустите настройку монетизации:

    /opt/apigee/apigee-setup/bin/setup.sh -p mo -f mint_configFile1
  5. На сервере dc-2 выполните команду перестроения на всех узлах Cassandra, указав название региона dc-1: 
    /opt/apigee/apigee-cassandra/bin/nodetool [-u username -pw password] -h cassIP rebuild dc-1

    Имя пользователя и пароль нужно передавать, только если вы включили аутентификацию JMX для Cassandra.

  6. На dc-2 установите сервер управления на подходящий узел: 
    /opt/apigee/apigee-setup/bin/setup.sh -p ms -f configFile2
  7. На узле сервера управления в dc-2 установите apigee-provision, в результате чего будет установлена утилита apigee-adminapi.sh: 
    /opt/apigee/apigee-service/bin/apigee-service apigee-provision install
  8. На dc-2 установите маршруты и обработчики сообщений на нужных узлах: 
    /opt/apigee/apigee-setup/bin/setup.sh -p rmp -f configFile2
  9. На dc-2 установите Qpid на нужных узлах: 
    /opt/apigee/apigee-setup/bin/setup.sh -p qs -f configFile2
  10. На dc-2 установите Postgres на подходящем узле: 
    /opt/apigee/apigee-setup/bin/setup.sh -p ps -f configFile2
  11. Настройте основной и резервный серверы Postgres для узлов Postgres. Узел Postgres в dc-1 является основным, а узел Postgres в dc-2 – резервным сервером.
    1. На главном узле в dc-1 измените файл конфигурации, чтобы задать следующие значения: 
      PG_MASTER=IPorDNSofDC1Master
PG_STANDBY=IPorDNSofDC2Standby
    2. Включите репликацию на новом основном сервере: 
      /opt/apigee/apigee-service/bin/apigee-service apigee-postgresql setup-replication-on-master -f configFIle
    3. На резервном узле в dc-2 измените файл конфигурации, чтобы задать следующие значения: 
      PG_MASTER=IPorDNSofDC1Master
PG_STANDBY=IPorDNSofDC2Standby
    4. На резервном узле в dc-2 остановите сервер, а затем удалите все существующие данные Postgres: 
      /opt/apigee/apigee-service/bin/apigee-service apigee-postgresql stop
rm -rf /opt/apigee/data/apigee-postgresql/

      При необходимости вы можете создать резервную копию этих данных, прежде чем удалять их.

    5. Настройте резервный узел в dc-2: 
      /opt/apigee/apigee-service/bin/apigee-service apigee-postgresql setup-replication-on-standby -f configFile
  12. На сервере dc-1 обновите конфигурацию Аналитики и настройте организации.
    1. На узле сервера управления dc-1 получите UUID узла Postgres: 
      apigee-adminapi.sh servers list -r dc-1 -p analytics -t postgres-server \
  --admin adminEmail --pwd adminPword --host localhost

      UUID будет указан в конце возвращенных данных. Сохраните это значение.

    2. На узле сервера управления dc-2 получите UUID узла Postgres, как показано на предыдущем шаге. Сохраните это значение.
    3. На узле сервера управления dc-1 определите названия групп аналитики и потребителей. Для многих команд ниже требуется эта информация.

      По умолчанию группа аналитики называется axgroup-001, а группа потребителей – consumer-group-001. В файле конфигурации для региона можно задать название группы аналитики, используя свойство AXGROUP.

      Если вы не знаете названия групп аналитики и потребителей, используйте следующую команду, чтобы посмотреть их:

      apigee-adminapi.sh analytics groups list \
  --admin adminEmail --pwd adminPword --host localhost

      Эта команда возвращает название группы аналитики в поле name и название группы потребителей в поле consumer-groups.

    4. На узле сервера управления dc-1 удалите существующий сервер Postgres из группы аналитики:
      1. Удалите узел Postgres из группы потребителей: 
        apigee-adminapi.sh analytics groups consumer_groups datastores remove \
  -g axgroup-001 -c consumer-group-001 -u UUID \
  -Y --admin adminEmail --pwd adminPword --host localhost

        Если dc-1 настроен так, что в режиме "основной/резервный" работают два узла Postgres, удалите оба: 

        apigee-adminapi.sh analytics groups consumer_groups datastores remove \
  -g axgroup-001 -c consumer-group-001 -u "UUID_1,UUID_2" \
  -Y --admin adminEmail --pwd adminPword --host localhost
      2. Удалите узел Postgres из группы аналитики: 
        apigee-adminapi.sh analytics groups postgres_server remove \
  -g axgroup-001 -u UUID -Y --admin adminEmail \
  --pwd adminPword --host localhost

        Если dc-1 настроен так, что в нем работают два узла Postgres в режиме "основной/резервный", удалите оба узла:

        apigee-adminapi.sh analytics groups postgres_server \
  remove -g axgroup-001 -u UUID1,UUID2 -Y --admin adminEmail \
  --pwd adminPword --host localhost
    5. На узле сервера управления dc-1 добавьте новые основные и резервные серверы Postgres в группу analytics:
      1. Добавьте оба сервера Postgres в группу аналитики: 
        apigee-adminapi.sh analytics groups postgres_server \
  add -g axgroup-001 -u "UUID_1,UUID_2" --admin adminEmail \
  --pwd adminPword --host localhost

        Здесь UUID_1 соответствует основному узлу Postgres в dc-1, а UUID_2 – резервному узлу Postgres в dc-2.

      2. Добавьте серверы PG в группу потребителей в качестве основного и резервного: 
        apigee-adminapi.sh analytics groups consumer_groups datastores \
  add -g axgroup-001 -c consumer-group-001 -u "UUID_1,UUID_2" --admin adminEmail \
  --pwd adminPword --host localhost
    6. Добавьте серверы Qpid из dc-2 в группу аналитики:
      1. На узле сервера управления dc-1 получите UUID узлов Qpid в dc-2: 
        apigee-adminapi.sh servers list -r dc-2 -p central -t qpid-server \
  --admin adminEmail --pwd adminPword --host localhost

        UUID будут указаны в конце возвращенных данных. Сохраните эти значения.

      2. На узле сервера управления dc-1 добавьте узлы Qpid в группу analytics (выполните обе команды): 
        apigee-adminapi.sh analytics groups qpid_server \
  add -g axgroup-001 -u "UUID_1" --admin adminEmail \
  --pwd adminPword --host localhost

apigee-adminapi.sh analytics groups qpid_server \
  add -g axgroup-001 -u "UUID_2" --admin adminEmail \
  --pwd adminPword --host localhost
      3. На узле сервера управления dc-1 добавьте узлы Qpid в группу потребителей (выполните обе команды): 
        apigee-adminapi.sh analytics groups consumer_groups consumers \
add -g axgroup-001 -c consumer-group-001 -u "UUID_1" \
--admin adminEmail --pwd adminPword --host localhost

apigee-adminapi.sh analytics groups consumer_groups consumers \
add -g axgroup-001 -c consumer-group-001 -u "UUID_2" \
--admin adminEmail --pwd adminPword --host localhost

        Если вы используете монетизацию, добавьте узлы Qpid в группу MINT на узле сервера управления dc-1:

        apigee-adminapi.sh analytics groups qpid_server \
add -g mxgroup001 -u UUID_1 --admin adminEmail \
--pwd adminPword --host localhost

apigee-adminapi.sh analytics groups qpid_server \
add -g mxgroup001 -u UUID_2 --admin adminEmail \
--pwd adminPword --host localhost
    7. Отмените регистрацию и удалите старый резервный сервер Postgres из dc-1:
      1. Отмените регистрацию существующего резервного сервера Postgres dc-1: 
        apigee-adminapi.sh servers deregister -u UUID -r dc-1 \
-p analytics -t postgres-server -Y --admin adminEmail \
--pwd adminPword --host localhost

        где UUID – это старый резервный узел Postgres в dc-1.

      2. Удалите существующий резервный сервер dc-1 Postgres: 
        apigee-adminapi.sh servers delete -u UUID \
--admin adminEmail --pwd adminPword --host localhost
  13. Обновите пространства ключей Cassandra, указав правильный коэффициент репликации для двух центров обработки данных. Этот шаг нужно выполнить только один раз на любом сервере Cassandra в любом из центров обработки данных:
    1. Запустите утилиту Cassandra cqlsh: 
      /opt/apigee/apigee-cassandra/bin/cqlsh cassandraIP
    2. Выполните следующие команды CQL в командной строке "cqlsh>", чтобы задать уровни репликации для пространств ключей Cassandra: 
      1. ALTER KEYSPACE "identityzone" WITH replication = { 'class': 'NetworkTopologyStrategy', 'dc-1': '3','dc-2': '3' }; 
      2. ALTER KEYSPACE "system_traces" WITH replication = { 'class': 'NetworkTopologyStrategy', 'dc-1': '3','dc-2': '3' };
      3. Чтобы посмотреть список пространств ключей, используйте команду: 
        SELECT * FROM system_schema.keyspaces;
      4. Выход: cqlsh 
        exit
  14. Выполните следующую команду nodetool на всех узлах Cassandra в dc-1, чтобы освободить память: 
    /opt/apigee/apigee-cassandra/bin/nodetool [-u username -pw password] -h cassandraIP cleanup

    Имя пользователя и пароль нужно передавать, только если вы включили аутентификацию JMX для Cassandra.

  15. Для каждой организации и каждой среды, которую вы хотите поддерживать в разных центрах обработки данных:
    1. На узле сервера управления dc-1 добавьте новый MP_POD в организацию: 
      apigee-adminapi.sh orgs pods add -o orgName -r dc-2 -p gateway-2 \
  --admin adminEmail --pwd adminPword --host localhost

      где gateway-2 – название пода шлюза, заданное свойством MP_POD в файле конфигурации dc-2.

    2. Добавьте новые процессоры сообщений в организацию и среду:
      1. На узле сервера управления dc-2 получите UUID узлов Message Processor в dc-2: 
        apigee-adminapi.sh servers list -r dc-2 -p gateway-2 \
  -t message-processor --admin adminEmail --pwd adminPword --host localhost

        UUID будут указаны в конце возвращенных данных. Сохраните эти значения.

      2. На узле сервера управления dc-1 для каждого Message Processor в dc-2 добавьте Message Processor в среду для организации: 
        apigee-adminapi.sh orgs envs servers add -o orgName -e envName \
  -u UUID --admin adminEmail --pwd adminPword --host localhost
    3. На узле сервера управления dc-1 проверьте организацию: 
      apigee-adminapi.sh orgs apis deployments -o orgName -a apiProxyName \
  --admin adminEmail --pwd adminPword --host localhost

      где apiProxyName – название прокси API, развернутого в организации.

  16. Если вы используете монетизацию, установите узел монетизации в DC2.

    Выполните команду настройки MINT на сервере управления и узлах Message Processor в ЦОД 2:

    /opt/apigee/apigee-setup/bin/setup.sh -p mo -f mint_configFile1