Ceph CRUSH故障域如何影响副本分布?怎样验证磁盘或主机故障时的数据冗余?

发布人:A5数据发布时间:2026-10-26 11:40阅读量:62

Ceph 存储池设置了 size=3,并不等于三份数据一定位于三台主机上。副本最终落在哪些 OSD,取决于存储池绑定的 CRUSH 规则,以及规则要求区分的是 OSD、主机、机架还是更高层级的故障域。规则配置不当时,三份副本可能集中在同一台主机;规则正确但可用主机数量不足时,故障后也可能只能保留两份数据。

验证磁盘或主机故障时的数据冗余,不能只看 ceph -s 是否为 HEALTH_OK。应依次确认存储池的副本参数、CRUSH 规则、OSD 到主机和机架的实际拓扑,再查看具体 PG 的 acting set,最后在维护窗口内进行受控的 OSD 或主机故障演练。

先区分副本数量与故障域

size 决定目标副本数,min_size 决定最低可用数

对于副本型存储池,常见配置如下:

  • size=3:每个对象的目标副本数为 3。
  • min_size=2:正常情况下,PG 至少拥有 2 个可用副本时,通常仍可继续处理 I/O。
  • min_size=3:必须维持 3 个可用副本,否则相关 I/O 可能被阻塞。

size 是目标状态,不代表故障或恢复期间始终存在三份完整副本。例如,三副本存储池中一台主机断电后,受影响 PG 可能暂时处于 active+degraded,这表示 PG 仍能服务,但副本数量低于目标值。

min_size 也不是安全副本数量。将 min_size 设置为 1,可能提高故障期间的可写性,但同时意味着只剩一份副本时仍可能接受写入,数据保护余量明显降低。它应结合业务可用性要求、故障恢复速度和容量余量设置。

故障域是 CRUSH 层级中的实际桶

CRUSH 使用层级结构描述 OSD 的位置。一个简化的拓扑可能如下:

root default
├── rack-a
│   ├── host-a1
│   │   ├── osd.0
│   │   └── osd.1
│   └── host-a2
│       └── osd.2
└── rack-b
    ├── host-b1
    │   ├── osd.3
    │   └── osd.4
    └── host-b2
        └── osd.5

常见的故障域包括:

  • osd:只要求副本位于不同 OSD。
  • host:要求副本位于不同主机。
  • rack:要求副本位于不同机架。
  • row、room、datacenter:用于更大范围的物理隔离。

这里的“主机”不是 Ceph 根据 IP 地址自动识别出来的物理事实,而是 CRUSH map 中的一个 bucket。若管理员错误地把同一台物理服务器上的 OSD 放进了多个 host bucket,Ceph 可能认为副本已经跨主机分布,但实际上仍承受同一台服务器的电源、主板和系统故障。

CRUSH 如何决定副本分布

chooseleaf 决定副本是否跨故障域

副本型 CRUSH 规则中常见类似以下逻辑:

take default
chooseleaf firstn 0 type host
emit

其含义可以理解为:

其含义可以理解为:示意图

  1. 从 default 根节点下选择候选 OSD。
  2. 以 host 作为区分副本的层级。
  3. 根据存储池的 size 选择多个叶节点。
  4. 尽量让每个副本来自不同的主机。
  5. 将选出的 OSD 组成 PG 的 acting set。

如果规则使用的是:

chooseleaf firstn 0 type rack

副本会尽量跨不同机架分布。这样通常也会跨主机,但它关注的主要约束是机架,而不是主机内部的磁盘数量。

如果规则使用:

choose firstn 0 type osd

CRUSH 只关心 OSD 是否不同,不保证副本位于不同主机。比如一台服务器有 6 个 OSD,另一台服务器只有 2 个 OSD,三副本可能被选为同一台服务器上的三个 OSD。此时三个副本虽然是三个 OSD,却不能抵抗整台服务器故障。

副本分布由 PG 映射体现

Ceph 并不是为每个对象单独维护一份“副本位置清单”。对象先通过哈希映射到 PG,再由 CRUSH 为 PG 计算 OSD 集合。因此:

  • 同一个 PG 内的对象通常共享相同的 acting set。
  • 不同 PG 可能分布在不同主机和机架组合上。
  • 查看一个对象,只能代表它所在的一个 PG。
  • 评估整体分布时,需要抽查多个 PG,或者使用 CRUSH map 进行批量模拟。

CRUSH 在映射时还会考虑 OSD 的权重、in/out 状态、设备类别和规则作用域。SSD 池、HDD 池和不同 CRUSH root 可能使用完全不同的候选 OSD 集合,不能只查看一个全局拓扑就推断所有存储池的副本位置。

故障域不是独立故障的绝对保证

host 故障域可以减少整机故障导致的多副本同时丢失,但它不会自动隔离以下共享因素:

  • 同一机架的供电或网络交换机。
  • 同一存储柜、磁盘背板或 RAID 控制器。
  • 同一电源域或机房空调系统。
  • 同一批次固件、内核或自动化配置。
  • 同一主机上的多个 OSD 共用的数据库盘、WAL 设备或控制器。

因此,size=3 + failure-domain=host 主要解决的是“同一台主机故障时不要同时丢掉所有副本”。如果业务需要抵抗机架或机房级故障,CRUSH 规则就需要在更高层级上进行隔离,并准备足够的独立故障域。

哪些因素会改变故障后的结果

可用故障域数量

三副本、主机级故障域至少需要三个可用主机,才能在正常状态下把三个副本分开。但要在一台主机故障后仍恢复到三副本,通常还需要第四台可用主机承接新副本。

例如:

配置与场景预期结果
size=3,故障域为 osd三个 OSD 可能位于同一主机,无法保证整机故障安全
size=3,故障域为 host,共有 3 台主机初始可做到一主机一副本;一台主机故障后通常只剩两份,难以恢复到三份
size=3,故障域为 host,共有 4 台或更多主机一台主机故障后,有机会在其他主机上补齐第三份
size=3,故障域为 rack,共有 3 个机架副本可跨机架分布,但必须确认机架拓扑和容量确实独立

如果候选故障域数量不足,CRUSH 不能把“跨三个主机”当作无条件承诺。实际结果可能是 PG 处于 undersized 或 degraded,也可能因规则、权重和可用 OSD 状态出现不理想的映射。

一个主机上有多少个 OSD

磁盘故障和主机故障的影响并不只取决于故障域名称,还取决于一个主机承载了多少 OSD。

如果一个主机只有一个 OSD,单块磁盘故障通常表现为一个 OSD 丢失。如果一个主机有多个 OSD,整机断电会同时丢失多个 OSD,受影响的 PG 数量和恢复压力都会更大。

另外,多个 OSD 可能共享同一块数据库盘、WAL 设备、磁盘控制器或背板。此类组件故障的影响范围可能大于单个数据盘,不能简单按照“一块盘对应一个 OSD”估算。

out、down、权重与恢复状态

OSD 进程停止是 down,从 CRUSH 数据分布中被排除通常对应 out。一个 OSD 可能已经 down,但尚未因为超时或运维操作变成 out。如果集群设置了 noout,主机离线后也可能暂时不触发数据迁移。

此外,OSD 的 CRUSH 权重、设备类别和容量使用率都会影响恢复位置。即使存在第四台主机,如果它属于不同的 CRUSH root、容量不足或接近 backfillfull,也未必能顺利接收新副本。

验证副本是否跨主机分布

第一步:确认存储池真正使用的规则

先在健康状态下记录基线。以下命令主要用于读取配置和状态,不会修改数据:

ceph -s
ceph health detail
ceph osd tree
ceph osd crush tree
ceph osd pool ls detail
ceph osd pool get <pool-name> size
ceph osd pool get <pool-name> min_size
ceph osd pool get <pool-name> crush_rule

然后查看存储池对应的 CRUSH 规则:

ceph osd crush rule dump <rule-name>

重点检查:

  1. size 是否符合预期。
  2. min_size 是否与业务可用性要求匹配。
  3. 存储池使用的是否是目标规则,而不是另一个默认规则。
  4. 规则中使用的是 chooseleaf ... type host、type rack,还是 type osd。
  5. ceph osd tree 中的主机、机架和 OSD 归属是否与真实物理拓扑一致。
  6. 目标 OSD 是否都属于正确的设备类别和 CRUSH root。

如果存储池使用 type osd,就不能因为看到 size=3 而得出“数据分布在三台主机”的结论。如果规则使用 type host,还要逐个核对 host bucket 是否真的对应独立服务器。

第二步:查看具体对象和 PG 的 acting set

可以使用对象名查看它被映射到哪个 PG 和 OSD:

ceph osd map <pool-name> <object-name>

典型输出可能类似:

osdmap e512 pg 4.2a object 'vm-001-disk-0001' -> pg 4.2a (4.2a) -> up ([12,27,35], p12) acting ([12,27,35], p12)

这里的 OSD 编号还需要结合拓扑查看:

ceph osd find 12
ceph osd find 27
ceph osd find 35

或者直接在 ceph osd tree 中查找这几个 OSD,确认它们是否位于不同的 host 或 rack。

也可以进一步查看 PG:

ceph pg map <pg-id>
ceph pg <pg-id> query

例如,假设一个 PG 的 acting set 为:

acting [12, 27, 35]

对应关系如下:

OSD主机机架
osd.12host-a1rack-a
osd.27host-b1rack-b
osd.35host-c1rack-c

在主机级规则下,这个 PG 具备跨三台主机的分布;在机架级规则下,它也符合跨三机架的预期。

但只检查一个对象不够。可以选取多个已存在或业务中稳定使用的对象进行抽查:

for obj in vm-001-disk-0001 vm-001-disk-0002 vm-002-disk-0001; do
  ceph osd map <pool-name> "$obj"
done

不同对象可能属于不同 PG,因此能够观察更多 OSD、主机和机架组合。

第三步:使用 CRUSH map 做规则级模拟

如果需要批量观察规则在多个输入值上的映射,可以导出当前 CRUSH map,再使用 crushtool 测试。以下示例只读取和模拟映射,不会改变线上 CRUSH 配置:

ceph osd getcrushmap -o /tmp/crushmap.bin

crushtool -i /tmp/crushmap.bin \
  --test \
  --rule <rule-id> \
  --num-rep 3 \
  --min-x 0 \
  --max-x 999 \
  --show-mappings

模拟结果通常会输出不同输入值对应的 OSD 集合。将这些 OSD 编号与 ceph osd tree 对照,统计每组映射中是否出现重复主机或重复机架。

这一步适合回答“规则设计是否具备跨主机能力”,但不能替代实际故障演练,因为模拟结果还没有完整体现 OSD 临时 down、out、容量水位、恢复限速和正在进行的回填。

验证磁盘和主机故障时的冗余

磁盘或单个 OSD 故障

使用 ceph osd out 可以模拟“某个 OSD 不再参与新数据放置”的场景,比直接拔盘更容易控制。它会引发数据迁移和恢复,必须在维护窗口执行。

执行前应确认:

  • 集群当前为 active+clean,没有持续的 degraded、undersized 或 backfillfull。
  • 已完成备份或具备可接受的恢复方案。
  • 集群有足够的空闲容量承接回填。
  • 已记录 OSD 所在主机、设备路径和当前权重。
  • 业务方已知悉恢复期间的性能和网络压力。

示例流程如下:

# 记录故障演练前状态
ceph -s
ceph osd tree
ceph osd df tree

# 仅在维护窗口模拟一个 OSD 被移出 CRUSH
ceph osd out osd.<id>

# 观察受影响 PG 和恢复状态
ceph -s
ceph health detail
ceph pg stat
ceph osd tree

检查重点是:

  • 受影响 PG 是否从三副本变为暂时两副本。
  • 其他副本是否位于不同主机。
  • 是否能够在备用主机或其他合适 OSD 上重新创建副本。
  • 恢复结束后是否回到 active+clean。
  • 是否出现 undersized 持续不消失、空间不足或恢复失败。

演练结束后,在确认 OSD 本身没有硬件和文件系统问题的前提下恢复其参与状态:

ceph osd in osd.<id>
ceph -s

不要把 osd out 测试和直接删除 OSD、清空设备、重新创建 OSD 混用。后者会产生数据破坏和配置变更,必须有明确的备份、操作范围和回滚方案。

主机故障

主机故障需要按照该主机实际承载的全部 OSD 评估,而不是只挑选一个 OSD。先列出主机下的 OSD:

ceph osd tree

例如某主机承载 osd.21、osd.22 和 osd.23,可在计划维护中把这些 OSD 逐个标记为 out,观察整机从 CRUSH 候选中退出后的结果:

for id in 21 22 23; do
  ceph osd out osd.$id
done

ceph -s
ceph health detail
ceph pg stat

这类操作更接近“有计划地撤出一台主机”,并不完全等同于主机突然断电。它允许 OSD 在迁移期间继续响应请求,因此适合验证 CRUSH 重新分布和恢复能力,但不能单独证明断电瞬间的业务可用性。

判断结果时可以使用以下逻辑:

  • size=3、故障域为 host,且有第四台可用主机:受影响 PG 通常会先降为两份,随后在其他主机补齐第三份。
  • 只有三台主机时:一台主机故障后通常只能保留两份,集群可能长期处于 degraded,直到原主机恢复或新增合适主机。
  • min_size=2 时:剩余两份且其他条件正常,相关 PG 通常仍可继续服务。
  • min_size=3 时:剩余两份不足以满足写入门槛,相关 I/O 可能停止。
  • 如果规则是 type osd:一台主机可能同时承载多个副本,主机故障可能使一个 PG 的三份副本全部消失。

真正模拟主机突然断电,需要使用与部署方式匹配的服务停止或硬件维护流程。不要在生产环境直接拔掉磁盘、关闭电源或强制终止多个 OSD,除非已经完成备份、容量评估、告警确认和回滚安排。对于共享 DB/WAL 设备、磁盘柜或控制器,还要将受影响的所有 OSD 一并纳入故障范围。

验收时应关注的边界

第一,HEALTH_OK 只能说明当前状态满足健康检查条件,不能证明 CRUSH 规则满足预期的物理隔离。规则错误但暂时没有故障时,集群同样可能显示健康。

第二,故障域必须与真实物理拓扑一致。若两台服务器被错误放入同一个 host bucket,或者同一台服务器被拆成多个 host bucket,检查结果都会失真。主机名、机架名和 OSD 归属应由资产信息与 ceph osd tree 交叉核对。

第三,新增主机不一定立即改善所有 PG 的容灾能力。新主机必须位于存储池使用的 CRUSH root 下,设备类别要匹配,容量和权重也要允许回填。否则它可能存在于集群中,却不会承接目标存储池的数据。

第四,纠删码池不能简单套用“几份副本”的说法。纠删码通常以数据块和校验块共同提供容错,仍然会使用 CRUSH 故障域来安排块的位置,但应根据池的 k+m、故障域和可恢复块数量验证,而不是只查看 size。

第五,机架、供电和网络是相关故障域。若目标是抵抗整机架或机房故障,应检查更高层级的 CRUSH 规则,并用对应的整组 OSD 故障范围进行演练,而不是只测试单块磁盘。

一个可执行的判断顺序是:先用 ceph osd pool get 确认 size、min_size 和 CRUSH rule;再用 ceph osd crush rule dump 与 ceph osd tree 核对规则和物理拓扑;随后用 ceph osd map、ceph pg map 抽查多个 PG 的 acting set;最后在健康、容量充足且可回滚的维护窗口中,分别演练单 OSD 撤出和整台主机撤出。只有当故障后的副本位置、I/O 可用性、恢复到 active+clean 的条件都符合预期时,才能认为该存储池的冗余设计经过了实际验证。

围绕 Ceph 集群的节点部署与数据承载,A5数据提供香港、日本、美国等地区的物理服务器,配置涵盖 NVMe、SSD 与大容量 HDD 等存储选择,可为不同类型的存储节点提供硬件资源基础。多地区服务器及不同处理器、内存和网络配置,也适用于结合业务部署位置与负载特点规划集群资源。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5836.html

相关推荐