2023-08-12
原文作者:Ressmix 原文地址:https://www.tpvlog.com/article/63

Gossip 协议,顾名思义,就像流言蜚语一样,利用一种随机、带有传染性的方式,将信息传播到整个网络中,并在一定时间内,使得系统内的所有节点数据一致。

根据 Base 理论,如果你需要实现最终一致性,那么就可以通过 Gossip 协议实现这个目标。

Gossip协议的核心一共是三块内容:直接邮寄(Direct Mail)反熵(Anti-entropy)谣言传播(Rumor mongering)

一、直接邮寄(Direct Mail)

所谓直接邮寄,就是直接发送更新数据,当数据发送失败时,将数据缓存下来,然后重传。

比如下图中,节点 A 直接将更新数据发送给了节点 B、D:

202308122213096631.png

虽然直接邮寄实现起来比较容易,数据同步也很及时,但可能会因为缓存队列满了而丢数据。 也就是说,只采用直接邮寄是无法实现最终一致性的。

二、反熵(Anti-entropy)

熵,在物理学中是用来度量体系的混乱程度。所以,反熵就是要消除混乱,Gossip协议通过反熵来异步修复节点之间的数据差异,实现最终一致性。

反熵的实现,一共有 推拉 三种。 集群中的节点,每隔一段时间就会随机选择某个其他节点,然后交换自己的已有数据来消除两者之间的差异。

但是正因为反熵需要节点间两两交换比对数据,所以执行反熵时的通讯成本会很高,不建议在实际场景中频繁执行反熵,应该通过引入Checksum等机制,降低需要对比的数据量和通讯次数。

2.1 推方式

推方式,就是将自己的所有副本数据,推给对方,修复对方副本中的熵:

202308122213110092.png

2.2 拉方式

拉方式,就是拉取对方的所有副本数据,修复自己副本中的熵:

202308122213153193.png

2.3 推拉方式

推拉方式,就是同时修复自己副本和对方副本中的熵:

202308122213164174.png

虽然反熵很实用,但是执行反熵时,相关的节点都是已知的,而且节点数量不能太多,如果是一个动态变化或节点数比较多的分布式环境,反熵就不适用了。那么当你面临这个情况要怎样实现最终一致性呢?答案就是谣言传播。

三、谣言传播(Rumor mongering)

谣言传播,广泛地散播谣言,它指的是当一个节点有了新数据后,这个节点变成活跃状态,并周期性地联系其他节点向其发送新数据,直到所有的节点都存储了该新数据。

比如下图中,节点 A 向节点 B、D 发送新数据,节点 B 收到新数据后,变成活跃节点,然后节点 B 向节点 C、D 发送新数据:

202308122213175655.png

谣言传播非常具有传染性,它 适合动态变化的分布式系统

四、总结

作为一种异步修复、实现最终一致性的协议,反熵在存储组件中应用广泛,比如 Dynamo、InfluxDB、Cassandra,在需要实现最终一致性时,如果节点都是已知的,一般优先考虑反熵。当集群节点是变化的,或者集群节点数比较多时,这时要采用谣言传播的方式,同步更新数据,实现最终一致。

阅读全文