APP下载

基于Kafka 的跨节点消息队列容灾实践应用

2023-08-22林德煜

通信电源技术 2023年11期
关键词:检测

林德煜

(中移互联网有限公司,广东 广州 510653)

0 引 言

消息队列中间件是一种为不同系统或同一系统内不同模块提供可靠异步网络通信的分布式框架,接收来自上游服务的消息,存储后转发至下游服务,在系统架构中起着承上启下的作用[1]。Kafka 是一个处理海量数据的分布式消息系统,具有高效的数据传输速率,相对于其他的消息队列系统具有较高的性能,采用发布/订阅模式,具有较强的可靠性、海量数据处理能力以及可拓展性,是不少业务平台选型队列和削峰填谷功能的很好选择[2]。

通常为了避免单点问题,高并发业务平台通常需要满足多节点部署。例如,业务平台有2 个节点A和节点B 同时对外提供服务,节点A 出现故障需要容灾切换时,通常会将网关入口全部切换到B 节点,如果A 节点中Kafka 队列存在未消费消息时,为了不影响业务,需要将A 节点的未消费数据在用户无感知的情况下同步到B 节点,并在B 节点继续消费。

1 Kafka 生产消费模式

Kafka 支持集群部署,它的数据由broker 负责存储和同步。Kafka broker 可以对队列(Topic)进一步分片,Producer 负责向broker 推送数据,Consumer 负责从broker 消费数据。

Kafka 支持消费者以不同的消费组消费相同的Topic,如图1 所示。图1 中:每个Topic 可以分为多个分区,如P0、P1、P2、P3;每个服务器负责部分分区,一个消费组中只有一个消费者能消费到特定分区,不同的消费组内消费者可以重复消费同一个特定分区,消费者可以同时消费多个分区。

图1 Kafka 多消费组消费

2 同步选型

在实现数据同步的过程中,按照数据源节点的流量主要分为单向同步和双向同步[3]。……

登录APP查看全文

猜你喜欢

检测
QC 检测
小波变换在PCB缺陷检测中的应用