您正在查看的是 Apigee Edge 文档。
转到 Apigee X 文档。 信息
问题
ZooKeeper 连接问题可能会表现为不同的症状,例如:
- API 代理部署错误
- Management API 调用失败,并显示 5XX 错误
- 路由器或消息处理器无法启动
- Analytics 组件在 system.logs 中报告 ZooKeeper 连接丢失
错误消息
下面提供了在与 ZooKeeper 节点断开连接时可能观察到的错误消息示例。
- 如果 API 代理部署因 ZooKeeper 连接丢失而失败,Management Server 日志中会返回以下错误:
org: env: main INFO ZOOKEEPER - ZooKeeperServiceImpl.exists() : Retry path existence path: /regions/dc-1/pods/analytics/servers/692afe93-8010-45c6-b37d-e4e05b6b2eb5/reachable, reason: KeeperErrorCode = ConnectionLoss org: env: main ERROR ZOOKEEPER - ZooKeeperServiceImpl.exists() : Could not detect existence of path: /regions/dc-1/pods/analytics/servers/692afe93-8010-45c6-b37d-e4e05b6b2eb5/reachable , reason: KeeperErrorCode = ConnectionLoss org: env: main ERROR KERNEL.DEPLOYMENT - ServiceDeployer.startService() : ServiceDeployer.deploy() : Got a life cycle exception while starting service [ServerRegistrationService, Error while checking path existence for path : /regions/dc-1/pods/analytics/servers/692afe93-8010-45c6-b37d-e4e05b6b2eb5/reachable] : com.apigee.zookeeper.ZooKeeperException{ code = zookeeper.ErrorCheckingPathExis tence, message = Error while checking path existence for path : /regions/dc-1/pods/analytics/servers/692afe93-8010-45c6-b37d-e4e05b6b2eb5/reachable, associated contexts = []} 2015-03-25 10:22:39,811 org: env: main ERROR KERNEL - MicroKernel.deployAll() : MicroKernel.deployAll() : Error in deploying the deployment : EventService com.apigee.zookeeper.ZooKeeperException: Error while checking path existence for path : /regions/dc-1/pods/analytics/servers/692afe93-8010-45c6-b37d-e4e05b6b2eb5/reachable at com.apigee.zookeeper.impl.ZooKeeperServiceImpl.exists(ZooKeeperServiceImpl.java:339) ~[zookeeper-1.0.0.jar:na] at com.apigee.zookeeper.impl.ZooKeeperServiceImpl.exists( ZooKeeperServiceImpl.java:323) ~[zookeeper-1.0.0.jar:na] at ... snipped
- 在启动期间,路由器和消息处理器会连接到 ZooKeeper。如果 ZooKeeper 存在连接问题,这些组件将无法启动,并显示以下错误:
2017-08-01 23:20:00,404 CuratorFramework-0 ERROR o.a.c.f.i.CuratorFrameworkImpl - CuratorFrameworkImpl.logError() : Background operation retry gave up org.apache.zookeeper.KeeperException$ConnectionLossException: KeeperErrorCode = ConnectionLoss at org.apache.zookeeper.KeeperException.create(KeeperException.java:99) ~[zookeeper-3.4.6.jar:3.4.6-1569965] at org.apache.curator.framework.imps.CuratorFrameworkImpl.checkBackgroundRetry(CuratorFrameworkImpl.java:710) [curator-framework-2.5.0.jar:na] at org.apache.curator.framework.imps.CuratorFrameworkImpl.performBackgroundOperation(CuratorFrameworkImpl.java:827) [curator-framework-2.5.0.jar:na] at org.apache.curator.framework.imps.CuratorFrameworkImpl.backgroundOperationsLoop(CuratorFrameworkImpl.java:793) [curator-framework-2.5.0.jar:na] at org.apache.curator.framework.imps.CuratorFrameworkImpl.access$400(CuratorFrameworkImpl.java:57) [curator-framework-2.5.0.jar:na] at org.apache.curator.framework.imps.CuratorFrameworkImpl$4.call(CuratorFrameworkImpl.java:275) [curator-framework-2.5.0.jar:na] at java.util.concurrent.FutureTask.run(FutureTask.java:266) [na:1.8.0_131] at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142) [na:1.8.0_131] at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617) [na:1.8.0_131] at java.lang.Thread.run(Thread.java:748) [na:1.8.0_131]
- Edge 界面可能会显示以下错误,表明它无法检查 API 代理的部署状态:
Error Fetching Deployments Error while checking path existence for path: path
可能的原因
下表列出了可能导致此问题的原因:
原因 | 适用于 |
---|---|
不同数据中心之间的网络连接问题 | Edge Private Cloud 用户 |
ZooKeeper 节点无法处理请求 | Edge Private Cloud 用户 |
点击表格中的链接可查看导致相应原因的可能解决方案。
不同数据中心之间的网络连接问题
诊断
ZooKeeper 集群可能包含跨多个区域/数据中心(例如 DC-1 和 DC-2)的节点。典型的 Apigee Edge 2 DC 拓扑包括:
- ZooKeeper 服务器 1、2 和 3 作为 DC-1 的选民
- 在 DC-2 中,ZooKeeper 4 和 5 作为投票者,ZooKeeper 6 作为观察者。
如果 DC-1 区域发生故障或 DC-1 与 DC-2 之间的网络连接中断,ZooKeeper 节点将无法在 DC-2 中选择新的主要节点,并且无法与主要节点进行通信。ZooKeeper 观察者无法选出新的领导者,并且 DC-2 中剩余的两位选民无法以至少 3 个选民节点的最小票数选出新的领导者。因此,DC-2 中的 ZooKeepers 将无法处理任何请求。DC-2 中剩余的 ZooKeeper 节点将继续循环重试,以重新连接到 ZooKeeper 投票者以查找主要副本。
分辨率
请采用以下解决方案,按照指定顺序解决此问题。
如果您在尝试这些解决方案后仍无法解决问题,请与 Apigee 支持团队联系。
解决方案 1
- 与您的网络管理员合作,修复数据中心之间的网络连接问题。
- 当 ZooKeeper 集成学习能够跨数据中心进行通信并选择 ZooKeeper 领导者时,节点应处于正常运行状态并能够处理请求。
解决方案 2
- 如果修复网络连接需要一些时间,则权宜解决方法是在 ZooKeeper 节点发生故障的区域中重新配置这些节点。例如,在 DC-2 中重新配置 ZooKeeper 集群,以使此区域中的 3 个 ZooKeeper 节点都是投票者,并从 DC-1 区域移除 ZooKeeper 的
zoo.cfg
中的server.#
。- 在以下示例中,
zoo.cfg
为 2 个区域配置节点,其中 DC-1 使用表示美国东区的us-ea
主机名,使用表示美国西部区域的us-wo
主机名。(注意:仅显示相关配置):server.1=zk01ea.us-ea.4.apigee.com:2888:3888 server.2=zk02ea.us-ea.4.apigee.com:2888:3888 server.3=zk03ea.us-ea.4.apigee.com:2888:3888 server.4=zk04wo.us-wo.4.apigee.com:2888:3888 server.5=zk05wo.us-wo.4.apigee.com:2888:3888 server.6=zk06wo.us-wo.4.apigee.com:2888:3888:observer
在上面的示例中,按如下方式重新配置
zoo.cfg
:server.1=zk04wo.us-wo.4.apigee.com:2888:3888 server.2=zk05wo.us-wo.4.apigee.com:2888:3888 server.3=zk06wo.us-wo.4.apigee.com:2888:3888
- 使用包含配置的代码,创建包含以下内容的
/opt/apigee/customer/application/zookeeper.properties
文件:conf_zoo_quorum=server.1=zk04wo.us-wo.4.apigee.com:2888:3888\ \nserver.2=zk05wo.us-wo.4.apigee.com:2888:3888\ \nserver.3=zk06wo.us-wo.4.apigee.com:2888:3888\
在上面的示例中,移除了
:observer
注释后,来自美国东部的节点会被移除,并且美国西部节点会提升为选民。 - 在以下示例中,
- 备份
/opt/apigee/apigee-zookeeper/conf/zoo.cfg
和旧版/opt/apigee/customer/application/zookeeper.properties
。对数据中心之间的网络连接进行备份时,这些文件将用于恢复默认值。
停用观察者节点的观察者表示法。为此,请将以下配置添加到
/opt/apigee/customer/application/zookeeper.properties
的顶部:conf_zoo_peertype=
-
按如下方式修改
/opt/apigee/data/apigee-zookeeper/data/myid
文件:- 对于
server.1
,将myid
中的条目从 4 更改为 1。 - 对于
server.2
,将myid
从 5 更改为 2。 - 对于
server.3
,将myid
从 6 更改为 3。
- 对于
- 在您重新配置 ZooKeeper 集群的区域中重启 ZooKeeper 节点。
- 在 DC-2 中的所有 ZooKeeper 节点上重复执行第 1b 步到第 5 步中的上述配置。
- 验证节点是否处于领先地位:
$ echo srvr | nc zk04wo.us-wo.4.apigee.com 2181 > echo srvr | nc zk05wo.us-wo.4.apigee.com 2181 > echo srvr | nc zk06wo.us-wo.4.apigee.com 2181
此命令的输出将包含一行内容,即“mode”和“leader”(如果是主要渠道,则后跟“leader”)或“follower”地址(如果是关注者)。
重新建立数据中心之间的网络后,可以在 DC-2 中的 ZooKeeper 节点上还原 ZooKeeper 配置更改。
解决方案 3
- 如果集群中的 ZooKeeper 节点未启动,请重新启动。
- 查看 ZooKeeper 日志,确定 ZooKeeper 节点出现故障的原因。
ZooKeeper 日志可在以下目录中获取:
$ cd /opt/apigee/var/log/apigee-zookeeper $ ls -l total 188 -rw-r--r--. 1 apigee apigee 2715 Jul 22 19:51 apigee-zookeeper.log -rw-r--r--. 1 apigee apigee 10434 Jul 17 19:51 config.log -rw-r--r--. 1 apigee apigee 169640 Aug 1 19:51 zookeeper.log
- 联系 Apigee 支持团队并提供 ZooKeeper 日志,以便排查任何可能已停止的 ZooKeeper 节点的原因。
ZooKeeper 节点无法处理请求
集成学习中的 ZooKeeper 节点可能运行状况不佳,无法响应客户端请求。可能的原因如下:
- 节点已停止且未重启。
- 节点已重新启动,但未启用自动启动功能。
- 节点上的系统负载导致节点停机或运行状况不佳。
诊断
- 在每个 ZooKeeper 节点上执行以下 ZooKeeper 健康检查命令,并检查输出:
-
$ echo "ruok" | nc localhost 2181
输出示例:
$ echo "ruok" | nc localhost 2181 imok
-
echo srvr | nc localhost 2181
检查模式以确定 ZooKeeper 节点是主节点还是跟随节点。
一体式单个 ZooKeeper 节点的全包输出示例:
$ echo srvr | nc localhost 2181 ZooKeeper version: 3.4.5-1392090, built on 09/30/2012 17:52 GMT Latency min/avg/max: 0/0/88 Received: 4206601 Sent: 4206624 Connections: 8 Outstanding: 0 Zxid: 0x745 Mode: standalone Node count: 282
-
$ echo mntr | nc localhost 2181
此命令列出了可用于检查 ZooKeeper 集群的运行状况的 ZooKeeper 变量。
输出示例:
$ echo mntr | nc localhost 2181 zk_version 3.4.5-1392090, built on 09/30/2012 17:52 GMT zk_avg_latency 0 zk_max_latency 88 zk_min_latency 0 zk_packets_received 4206750 zk_packets_sent 4206773 zk_num_alive_connections 8 zk_outstanding_requests 0 zk_server_state standalone zk_znode_count 282 zk_watch_count 194 zk_ephemerals_count 1 zk_approximate_data_size 22960 zk_open_file_descriptor_count 34 zk_max_file_descriptor_count 4096
-
$ echo stat | nc localhost 2181
此命令会列出有关效果和已连接客户端的统计信息。
输出示例:
$ echo stat | nc localhost 2181 ZooKeeper version: 3.4.5-1392090, built on 09/30/2012 17:52 GMT Clients: /10.128.0.8:54152[1](queued=0,recved=753379,sent=753385) /10.128.0.8:53944[1](queued=0,recved=980269,sent=980278) /10.128.0.8:54388[1](queued=0,recved=457094,sent=457094) /10.128.0.8:54622[1](queued=0,recved=972938,sent=972938) /10.128.0.8:54192[1](queued=0,recved=150843,sent=150843) /10.128.0.8:44564[1](queued=0,recved=267332,sent=267333) /127.0.0.1:40820[0](queued=0,recved=1,sent=0) /10.128.0.8:53960[1](queued=0,recved=150844,sent=150844) Latency min/avg/max: 0/0/88 Received: 4206995 Sent: 4207018 Connections: 8 Outstanding: 0 Zxid: 0x745 Mode: standalone Node count: 282
-
$ echo cons | nc localhost 2181
此命令会提供关于 ZooKeeper 连接的更多详细信息。
输出示例:
$ echo cons | nc localhost 2181 /127.0.0.1:40864[0](queued=0,recved=1,sent=0) /10.128.0.8:54152[1](queued=0,recved=753400,sent=753406,sid=0x15d521a96d40007, lop=PING,est=1500321588647,to=40000,lcxid=0x972e9,lzxid=0x745,lresp=1502334173174, llat=0,minlat=0,avglat=0,maxlat=26) /10.128.0.8:53944[1](queued=0,recved=980297,sent=980306,sid=0x15d521a96d40005, lop=PING,est=1500321544896,to=40000,lcxid=0xce92a,lzxid=0x745,lresp=1502334176055, llat=0,minlat=0,avglat=0,maxlat=23) /10.128.0.8:54388[1](queued=0,recved=457110,sent=457110,sid=0x15d521a96d4000a, lop=PING,est=1500321673852,to=40000,lcxid=0x4dbe3,lzxid=0x745,lresp=1502334174245, llat=0,minlat=0,avglat=0,maxlat=22) /10.128.0.8:54622[1](queued=0,recved=972967,sent=972967,sid=0x15d521a96d4000b, lop=PING,est=1500321890175,to=40000,lcxid=0xccc9d,lzxid=0x745,lresp=1502334182417, llat=0,minlat=0,avglat=0,maxlat=88) /10.128.0.8:54192[1](queued=0,recved=150848,sent=150848,sid=0x15d521a96d40008, lop=PING,est=1500321591985,to=40000,lcxid=0x8,lzxid=0x745,lresp=1502334184475, llat=3,minlat=0,avglat=0,maxlat=19) /10.128.0.8:44564[1](queued=0,recved=267354,sent=267355,sid=0x15d521a96d4000d, lop=PING,est=1501606633426,to=40000,lcxid=0x356e2,lzxid=0x745,lresp=1502334182315, llat=0,minlat=0,avglat=0,maxlat=35) /10.128.0.8:53960[1](queued=0,recved=150848,sent=150848,sid=0x15d521a96d40006, lop=PING,est=1500321547138,to=40000,lcxid=0x5,lzxid=0x745,lresp=1502334177036, llat=1,minlat=0,avglat=0,maxlat=20)
如果最后 3 条健康检查命令显示以下消息:
$ echo stat | nc localhost 2181 This ZooKeeper instance is not currently serving requests
然后指示特定 ZooKeeper 节点未在处理请求。
-
- 检查特定节点上的 ZooKeeper 日志,并尝试找到导致 ZooKeeper 停机的任何错误。ZooKeeper 日志位于以下目录中:
$ cd /opt/apigee/var/log/apigee-zookeeper $ ls -l total 188 -rw-r--r--. 1 apigee apigee 2715 Jul 22 19:51 apigee-zookeeper.log -rw-r--r--. 1 apigee apigee 10434 Jul 17 19:51 config.log -rw-r--r--. 1 apigee apigee 169640 Aug 1 19:51 zookeeper.log
分辨率
- 逐个重启集群中的所有其他 ZooKeeper 节点。
- 在每个节点上重新运行 ZooKeeper 健康检查命令,看看是否获得了预期输出。
如果系统负载持续存在或重启无法解决问题,请与 Apigee 支持团队联系以排查系统负载的原因。