关于 Cassandra 复制因素和一致性级别

适用于私有云的 Edge v4.18.01

Cassandra 复制因子简介

Cassandra 将数据副本存储在多个节点上,以确保可靠性和容错能力。 每个 Edge 键空间的复制策略决定了副本的放置节点。

一个键空间在 Cassandra 集群中的副本总数称为键空间的复制因子。复制因子为 1 表示 Cassandra 集群中每行的副本只有 1 个。复制因子为 2 表示每行有两个副本,每个副本位于不同的节点上。所有副本都同等重要;没有主副本。

在每个数据中心至少有 3 个 Cassandra 节点的生产系统中,Edge 键空间的默认复制因子为 3。一般来说,复制因子不应超过集群中的 Cassandra 节点数量。

请按照以下步骤查看 Cassandra 架构,该架构显示了每个 Edge 键空间的复制因子:

  1. 登录 Cassandra 节点。
  2. 运行以下命令:
    > /opt/apigee/apigee-cassandra/bin/cassandra-cli -h $(hostname -i) <<< "show schema;"

    其中,$(hostname -i) 会解析为 Cassandra 节点的 IP 地址。或者,您也可以将 $(hostname -i) 替换为节点的 IP 地址。

对于每个键空间,您会看到以下格式的输出:

create keyspace kms
  with placement_strategy = 'NetworkTopologyStrategy'
  and strategy_options = {dc-1 : 3}
  and durable_writes = true;

您可以看到,对于数据中心 1 (dc-1),如果安装有三个 Cassandra 节点,则 kms 键空间的默认复制因子为 3。

如果向集群添加其他 Cassandra 节点,则默认复制因子不受影响。

例如,如果您将 Cassandra 节点数量增加到 6 个,但将复制因子保持为 3,则无法确保所有 Cassandra 节点都具有所有数据的副本。如果某个节点发生故障,复制因子越高,该节点上的数据在其余节点之一上存在的概率就越高。较高复制因子的缺点是数据写入的延迟时间增加。

Cassandra 一致性级别简介

Cassandra 一致性级别定义为:在读取或写入操作被视为成功之前,必须有多少个 Cassandra 节点确认该操作。 您可以为不同的 Edge 键空间分配不同的一致性级别。

在连接到 Cassandra 进行读写操作时,消息处理器和管理服务器节点通常使用 Cassandra 值 LOCAL_QUORUM 指定键空间的一致性级别。不过,某些键空间被定义为使用一致性级别 1。

数据中心的 LOCAL_QUORUM 值的计算方式为:

LOCAL_QUORUM = (replication_factor/2) + 1

如上所述,包含三个 Cassandra 节点的 Edge 生产环境的默认复制因子为 3。因此,LOCAL_QUORUM 的默认值为 (3/2) +1 = 2(值会向下舍入为整数)。

LOCAL_QUORUM = 2 时,数据中心的三个 Cassandra 节点中至少有两个必须响应读写操作,该操作才能成功。因此,对于具有三个节点的 Cassandra 集群,集群可以容忍每个数据中心有一个节点出现故障。

通过将一致性级别指定为 LOCAL_QUORUM,Edge 可避免跨多个数据中心验证操作所需的延迟时间。如果键空间使用 Cassandra QUORUM 值作为一致性级别,则必须在所有数据中心内验证读写操作。

如需查看边缘消息处理器或管理服务器节点使用的一致性级别,请执行以下操作:

  1. 登录消息处理器节点。
  2. 切换到 /opt/apigee/edge-message-processor/conf 目录:
    > cd /opt/apigee/edge-message-processor/conf
  3. 为了确保写入一致性:
    > grep -ri "write.consistencylevel" *
  4. 对于读取一致性:
    > grep -ri "read.consistencylevel" *
  5. 登录管理服务器节点。
  6. 切换到 /opt/apigee/edge-management-server/conf 目录:
    > cd /opt/apigee/edge-management-server/conf
  7. 重复第 3 步和第 4 步。

如果您向集群添加了其他 Cassandra 节点,一致性级别不会受到影响。