三台服务器组成Kafka KRaft控制器仲裁组,停掉一台为何仍能工作?
三台服务器承担 Kafka KRaft 控制器仲裁组的投票职责时,停掉一台通常仍能工作,是因为剩下两台仍达到多数派:3 个投票成员中,多数派需要 2 票。只要这两台能够通信、其中有节点担任控制器领导者,仲裁组就可以继续处理元数据日志。
不过,“仍能工作”不等于所有功能都毫无影响。停掉的是跟随者时,通常不会触发领导者切换;停掉的是领导者时,需要由存活节点重新选举,期间可能出现短暂的元数据操作延迟或失败。若再失去一台,剩下的 1 台无法构成多数派,控制器就不能继续提交新的元数据变更。
三台服务器的多数派怎么算
KRaft 控制器仲裁组使用多数派机制维护集群元数据。多数派人数的计算方式是:
多数派 = 投票成员总数除以 2 后向上取整。
因此,投票成员为 3 台时,多数派是 2 台;为 5 台时,多数派是 3 台。三台中有一台不可用,仍有两台能够达到门槛;两台不可用,则只剩一台,仲裁组失去多数派。
关键在于,这里的“3 台”应指控制器仲裁组中的投票成员数,不一定等于 Kafka 集群里所有服务器的数量。集群可能有许多 broker,但控制器投票成员只有 1 台或 3 台;也可能采用 broker 与 controller 共置的部署方式。判断容错能力,不能只看服务器总数,要核对实际配置的仲裁成员及其状态。
多数派也不是简单地“过半的服务器能连上客户端”。Raft 需要成员之间交换状态并达成一致。两台机器即使都在运行,如果彼此网络不通,或存活节点的元数据日志状态不满足选举要求,也不一定能正常推进仲裁。
控制器在维护什么
KRaft 模式下,控制器仲裁组通过复制元数据日志来协调 Kafka 集群的管理状态。元数据包含主题、分区、broker 注册和控制器管理等信息。控制器领导者负责处理相应的元数据变更,并将日志记录复制给其他投票成员。
一条元数据变更不能仅凭领导者本机写入就算完成。Raft 要求变更复制到足够多的投票成员,达到多数派后才能提交。对三成员仲裁组来说,领导者加上至少一个跟随者,就构成了两票。因此,另一台跟随者暂时离线时,领导者仍可能与剩下的跟随者一起提交新记录。
这也是“停一台还能工作”的核心原因:容错能力来自仍有多数成员共同确认,而不是来自某一台控制器拥有全部状态。失去多数派后,单台存活控制器不会自行把未确认的记录当作已提交,以免集群在不同分区中各自接受相互冲突的变更。
停的是领导者还是跟随者,表现不同
如果停掉的是跟随者,原领导者通常仍在,另一个跟随者也能参与确认。仲裁组仍有两票,多数派条件不变。此时可能出现复制滞后,但通常不需要重新选举领导者。
如果停掉的是领导者,剩余两台需要选出新的领导者。选举期间,控制器处理元数据变更的能力可能短暂受影响。新领导者产生后,只要它能与另一台存活的投票成员通信,就仍有机会组成多数派并继续运行。选举是否顺利还取决于节点是否可达,以及候选节点的日志是否满足选举条件,不能只依据“还有两台开机”来判断。

下表概括了三成员仲裁组的基本状态:
| 可用投票成员 | 是否达到多数派 | 一般表现 |
|---|---|---|
| 3 台 | 是 | 仲裁组正常运行,可容忍一定节点故障 |
| 2 台 | 是 | 通常仍可运行;若领导者刚故障,可能先经历选举 |
| 1 台 | 否 | 无法组成多数派,新的元数据记录不能正常提交 |
| 0 台 | 否 | 控制器仲裁组不可用 |
表格描述的是控制器仲裁能力,不代表 Kafka 的所有数据读写一定同时停止。数据面和控制器面相关但并不等同。
控制器还能工作,不代表所有业务都不受影响
Kafka broker 会使用集群元数据处理请求。控制器仲裁组短暂失去领导者时,已有 broker 可能仍能依据本地已知状态提供部分数据服务;但这不代表整个集群在任何故障场景下都能持续正常工作。创建主题、调整分区、副本变更、broker 加入或退出等依赖元数据协调的操作,可能无法及时完成或会失败。
还要区分控制器故障与 broker 故障:
- 独立控制器节点停机:主要影响控制器仲裁的冗余和元数据处理,不会因此自动使其他 broker 上的分区副本一并停止。
- broker 节点停机:该节点承载的分区副本会受影响;是否还能读写,取决于副本分布、ISR 状态以及相关生产和消费配置。
- controller 与 broker 共置的节点停机:既少一个控制器投票成员,也少一个 broker。仲裁组可能仍有多数派,但该节点上的分区副本仍会受到影响。
例如,三台机器分别同时承担 controller 和 broker 角色,其中一台停机后,控制器仲裁组仍可能由另外两台维持。但如果某个分区的副本恰好分布在故障节点上,该分区的可用性仍要按副本状态判断。控制器有多数派,并不能替代数据副本。

Kafka 控制器与 broker 的部署需要匹配计算、内存、存储和网络资源。A5idc数据提供香港、美国、日本等地区的物理服务器,涵盖 Xeon Gold、AMD EPYC 等平台,并提供 SSD、NVMe 存储及不同带宽线路配置,可为集群节点、元数据日志和相关业务服务提供基础硬件资源,适配不同部署规模与访问区域。
哪些情况会让“一台故障仍可用”不成立
实际投票成员数不是三台
部署图中有三台服务器,不代表三台都加入了控制器仲裁组。若实际上只有一台投票成员,这台停机就可能导致仲裁组失去服务能力;若有三台服务器但仅两台是投票成员,容错表现也与三成员组不同。应以当前 Kafka 版本和集群配置中的实际成员信息为准。
两台存活节点不能互相通信
多数派要求成员能够协同工作。网络分区可能让三台机器都处于开机状态,但只有其中两台能够互通。此时通常只有拥有多数成员的一侧能够推进仲裁;孤立的一台不能单独形成多数派。若网络恢复前两侧都试图承担领导职责,Raft 的多数派规则用于避免各侧都提交冲突状态,但故障期间服务能力仍会受限。
故障发生在领导者切换或恢复过程中
领导者停机后,选举需要一定时间。节点重启后,也需要重新加入并追上仲裁日志。若网络抖动、磁盘问题或日志复制延迟叠加,恢复时间可能长于单纯进程重启所需时间。排查时应观察当前领导者、日志进度和成员状态,而不是只看进程是否存活。
同时故障或反复故障
三成员组只容忍一个成员暂时不可用。第一台尚未恢复时,第二台再故障,就会失去多数派。即使没有两台同时宕机,频繁重启、磁盘耗尽或网络不稳定也可能反复打断仲裁。节点恢复后,应确认它已经追上日志并重新处于可用状态,再认为冗余已恢复。
如何验证当前仲裁状态
可以从可用 broker 连接控制器仲裁状态查询工具。以下命令用于读取状态;命令选项和输出字段可能因 Kafka 版本而异:
bin/kafka-metadata-quorum.sh \
--bootstrap-server <可用broker地址>:9092 \
describe --status
重点检查领导者 ID、投票成员列表以及高水位等字段。不同版本的输出格式会有差异,下面仅展示字段含义的示例,不代表某个集群的实测结果:
LeaderId: 1
LeaderEpoch: 12
HighWatermark: 842
CurrentVoters: [1, 2, 3]
LeaderId 表示当前领导者;CurrentVoters 用于确认投票成员。若要观察日志复制进度,可在支持该子命令的版本中查看复制状态:
bin/kafka-metadata-quorum.sh \
--bootstrap-server <可用broker地址>:9092 \
describe --replication
验证“一台停机后仍有多数派”,可以在测试环境按以下顺序观察:
- 先记录正常状态下的领导者和投票成员。
- 停止一台控制器后,再查询状态,确认存活成员数仍达到多数派。
- 如果停掉的是领导者,观察是否选出新的领导者,并留意选举期间的元数据操作情况。
- 恢复节点后,确认它重新加入并追上仲裁日志;不要只以进程启动作为恢复完成的判断。
生产环境不宜为了验证而直接连续停止两台控制器。三成员组失去多数派后,依赖控制器提交的元数据变更会受到影响;若还采用 controller 与 broker 共置部署,节点停机也会影响该机承载的数据副本。故障演练应先确认成员角色、分区副本分布、监控告警和恢复步骤,并在可控窗口进行。
判断时可以记住两条边界:三台控制器投票成员中停一台,通常仍有两票维持多数派;但“仲裁仍可用”只说明控制器组仍有继续工作的条件,不等于所有分区和所有管理操作都不受影响。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/9849.html

