添加 ZooKeeper 节点

本文档介绍如何向安装私有云的现有 Edge 添加三个新的 ZooKeeper 节点。

您可以向现有 Edge 安装添加一个或两个 ZooKeeper 节点,但必须确保始终拥有奇数数量的 ZooKeeper 投票者节点,如下所述。

现有 Edge 配置

生产系统的所有受支持 Edge 拓扑都指定使用三个 ZooKeeper 节点。这三个节点在配置文件中的 ZK_HOSTSZK_CLIENT_HOSTS 属性中指定,如下所示:

IP1=10.10.0.1
IP2=10.10.0.2
IP3=10.10.0.3
HOSTIP=$(hostname -i)
ADMIN_EMAIL=opdk@google.com
APIGEE_ADMINPW=Secret123
LICENSE_FILE=/tmp/license.txt
MSIP=$IP1 
USE_LDAP_REMOTE_HOST=n
LDAP_TYPE=1
APIGEE_LDAPPW=secret
MP_POD=gateway
REGION=dc-1
ZK_HOSTS="$IP1 $IP2 $IP3"
ZK_CLIENT_HOSTS="$IP1 $IP2 $IP3"
CASS_HOSTS="$IP1:1,1 $IP2:1,1 $IP3:1,1"
SKIP_SMTP=n
SMTPHOST=smtp.example.com
SMTPUSER=smtp@example.com
SMTPPASSWORD=smtppwd

其中:

  • ZK_HOSTS 指定 ZooKeeper 节点的 IP 地址或 DNS 名称。在所有 ZooKeeper 节点上,IP 地址或 DNS 名称必须按相同的顺序列出。在多数据中心环境中,列出两个数据中心的所有 ZooKeeper 节点。
  • ZK_CLIENT_HOSTS 指定此数据中心使用的 ZooKeeper 节点的 IP 地址或 DNS 名称。在所有 ZooKeeper 节点上,IP 地址或 DNS 名称必须按相同的顺序列出。

    在单个数据中心安装中,这些节点与 ZK_HOSTS 指定的节点相同。在多数据中心环境中,仅列出此数据中心中的 ZooKeeper 节点。

修改配置文件以添加三个新的 ZooKeeper 节点

在本示例中,三个新的 ZooKeeper 节点位于以下 IP 地址:

  • 10.10.0.14
  • 10.10.0.15
  • 10.10.0.16

您必须先更新 Edge 配置文件才能添加新节点:

IP1=10.10.0.1
IP2=10.10.0.2
IP3=10.10.0.3
# Add the new node IP addresses.
IP14=10.10.0.14
IP15=10.10.0.15
IP16=10.10.0.16
HOSTIP=$(hostname -i)
ADMIN_EMAIL=opdk@google.com
...
# Update ZK_HOSTS to add each new node after an existing nodes.
ZK_HOSTS="$IP1 $IP2 $IP3 $IP14 $IP15 $IP16:observer"
# Update ZK_Client_HOSTS to add each new node after an existing nodes.
ZK_CLIENT_HOSTS="$IP1 $IP2 $IP3 $IP14 $IP15 $IP16"

使用 :observer 修饰符标记 ZK_HOSTS 中的最后一个节点。没有 :observer 修饰符的节点称为“投票者”。您的配置中的“投票者”数量必须为奇数。因此,在此配置中,您有 5 个 ZooKeeper 投票者和一个观察者。

请务必以相同的顺序将节点添加到 ZK_HOSTSZK_CLIENT_HOSTS。不过,请在设置 ZK_CLIENT_HOSTS 时省略 :observer 修饰符。

配置 Edge

修改配置文件后,您必须执行以下所有任务。

在新节点上安装 ZooKeeper

  1. 按照安装 Edge apigee-setup 实用程序中的说明在第一个节点上安装 apigee-setup
  2. 使用以下命令在第一个节点上安装 ZooKeeper:
    /opt/apigee/apigee-service/bin/apigee-service apigee-zookeeper install
    /opt/apigee/apigee-service/bin/apigee-service apigee-zookeeper setup -f updatedConfigFile
  3. 对剩余的新 ZooKeeper 节点重复第 1 步和第 2 步。

重新配置现有 ZooKeeper 节点

在现有 ZooKeeper 节点上:

  1. 使用新的配置文件重新运行 setup 命令:
    /opt/apigee/apigee-service/bin/apigee-service apigee-zookeeper setup -f updatedConfigFile

重启所有 ZooKeeper 节点

在所有 ZooKeeper 节点上:

  1. 重启节点:
    /opt/apigee/apigee-service/bin/apigee-service apigee-zookeeper restart

    您必须重启所有 ZooKeeper 节点,但重启顺序无关紧要。

重新配置管理服务器节点

在管理服务器节点上:

  1. 运行设置命令:
    /opt/apigee/apigee-service/bin/apigee-service edge-management-server setup -f updatedConfigFile
  2. 重启管理服务器:
    /opt/apigee/apigee-service/bin/apigee-service edge-management-server restart

重新配置所有路由器

在所有路由器节点上:

  1. 运行设置命令:
    /opt/apigee/apigee-service/bin/apigee-service edge-router setup -f updatedConfigFile
  2. 重启路由器:
    /opt/apigee/apigee-service/bin/apigee-service edge-router restart

重新配置所有消息处理器

在所有消息处理器节点上:

  1. 运行设置命令:
    /opt/apigee/apigee-service/bin/apigee-service edge-message-processor setup -f updatedConfigFile
  2. 重启消息处理器:
    /opt/apigee/apigee-service/bin/apigee-service edge-message-processor restart

重新配置所有 Qpid 节点

在所有 Qpid 节点上:

  1. 运行设置命令:
    /opt/apigee/apigee-service/bin/apigee-service edge-qpid-server setup -f updatedConfigFile
  2. 重启 Qpid:
    /opt/apigee/apigee-service/bin/apigee-service edge-qpid-server restart

重新配置所有 Postgres 节点

在所有 Postgres 节点上:

  1. 运行设置命令:
    /opt/apigee/apigee-service/bin/apigee-service edge-postgres-server setup -f updatedConfigFile
  2. 重启 Postgres:
    /opt/apigee/apigee-service/bin/apigee-service edge-postgres-server restart

验证安装

您可以使用 netcat (nc) 或 telnet 向端口 2181 发送命令,以验证新 ZooKeeper 节点的安装情况。如需详细了解 ZooKeeper 命令,请参阅:http://zookeeper.apache.org/doc/r3.1.2/zookeeperAdmin.html#sc_zkCommands

要验证 AMP 网页,请执行以下操作:

  1. 如果未安装在 ZooKeeper 节点上,请安装 nc:
    sudo yum install nc
  2. 运行以下 nc 命令:
    echo stat | nc localhost 2181
  3. 对每个 ZooKeeper 节点重复执行第 1 步和第 2 步。在节点输出的 Mode 行中,应将一个节点指定为观察者,一个节点作为主要节点,将其余节点指定为跟随者。