这是 kafka统计数量 集群的典型部署模式
一个分区只可以被消费组中的一个消费者所消费
一个消费组中的一个消费者可以消费多个分区,例如 C1
消费了 P0, P3
一个消费组中的不同消費者消费的分区一定不会重复,例如:
在不同消费组中每个消费组都会消费所有的分区,例如消费组A、消费组B 都消费了P0、P1、P2、P3
。
同一個消费组里面的消费者对分区是互斥的例如C1 和 C2
不会消费同一个分区;而分区在不同的消费组间是共享的。
假设一个主题有10个分区如果沒有消费者组,只有一个消费者对这10个分区消费他的压力肯定大。
如果有了消费者组组内的成员就可以分担这10个分区的压力,提高消費性能
假设有4个消费者订阅一个主题,不同的组合方式就可以形成不同的消费模式
使用4个消费者组,每组里放一个消费者利用分区茬消费者组间共享的特性,就实现了广播(发布订阅)模式
只使用一个消费者组,把4个消费者都放在一起利用分区在组内成员间互斥嘚特性,就实现了单播(队列)模式
如果只有一个消费者,出现故障后就比较麻烦了但有了消费者组之后就方便多了。
消费组会对其荿员进行管理在有消费者加入或者退出后,消费者成员列表发生变化消费组就会执行再平衡的操作。
例如一个消费者宕机后之前分配给他的分区会重新分配给其他的消费者,实现消费者的故障容错