在日本服务器上构建Ceph存储集群,如何设计故障域与副本分布?

发布人:A5数据发布时间:2026-10-12 10:47阅读量:337

一台日本服务器掉电,可能只让几个OSD离线;如果三个Ceph副本实际位于同一机柜、共用同一组供电或同一台交换机,同一次事故就可能让业务数据整体不可访问。设计故障域的关键,不是先确定“买几台服务器”,而是确认哪些资源会同时失效,再让同一份数据的副本跨越这些边界。

对于以单机房高可用为目标的Ceph集群,常见起点是三副本、size=3、min_size=2,并按主机或机柜分散副本;如果要求承受整座机房中断,则还需要评估跨站点仲裁、网络时延和恢复机制,不能把“日本境内多个机房”直接等同于一个适合同步复制的集群。风险控制应同时回答三个问题:事故后还能否读写、多久恢复服务、多久恢复到完整冗余。

一、先确定保护目标与资产边界

把服务恢复与冗余恢复分开

业务部门所说的“恢复”,可能只是数据库重新接受请求;存储团队所说的“恢复”,通常还包括副本补齐、数据迁移完成、容量重新回到安全区间。这两个时间不能混为一谈。

保护对象需要定义的目标验收依据
已确认成功的业务写入RPO,即允许丢失的数据时间窗口故障前已确认写入的数据,恢复后是否仍存在
应用读写服务服务RTO,即允许中断多久客户端连接恢复,实际读写成功,错误率回到目标范围
Ceph副本与PG状态冗余恢复时间受影响PG恢复到预期副本数,状态达到active+clean
机房级灾难恢复异地恢复RPO、RTO独立站点的数据新鲜度、应用启动和入口切换验证

对于正常同步写入、存储设备正确兑现持久化语义,且故障未突破剩余副本保护能力的集群,单主机故障可以按“已确认写入不丢失”的目标设计。但这不表示所有事故的RPO都是零:误删除、错误覆盖、多个副本共同损坏,以及异步复制尚未同步的数据,都有不同的恢复边界。

Ceph副本也不等于数据库事务备份。应用是否使用了正确的提交、刷盘和恢复机制,仍然决定数据库能否从存储中的数据恢复到一致状态。

盘点的不只是OSD服务器

在日本部署时,应将以下资源纳入同一张依赖图:

  • 数据面:OSD磁盘、服务器、机柜、供电、交换机和复制链路。
  • 控制面:MON仲裁、MGR,以及CephFS使用的MDS或对象服务使用的RGW。
  • 业务入口:应用节点、负载均衡、DNS、数据库和认证服务。
  • 恢复资产:独立备份、异地副本、配置备份、密钥以及管理入口。

日本不同城市或不同机房的服务器,可以提供地理分散条件,但不能仅凭地址判断独立性。两处资源可能共用运营商汇聚设备、管理平台或骨干路径;同一机房的两个机柜,也可能共用供电上游。

故障域应按“共同失效的范围”定义,而不是按服务器名称、机柜编号或地域标签定义。 将同一物理机上的三个虚拟机命名为三个主机,不会产生真正的主机级容灾能力。

二、预演失效场景:三副本究竟能保护什么

场景一:单盘或单主机失效

如果三个副本分布在三台独立主机,单盘或单主机故障通常只影响每个相关PG的一份副本。在剩余副本能够完成peering、数量满足min_size且网络可达的条件下,相关PG可以继续提供服务。

这里的边界在于“每个PG”,而不是集群总计还有多少台机器。即使还有很多在线服务器,只要某个PG的可用副本不足,它对应的数据仍可能无法正常读写。

size=3表示目标副本数为三份;min_size=2表示PG至少需要满足相应的可用副本要求才能提供I/O。它不是“永远已经写好三份”的证明:集群降级时,写入可能在两份副本条件下完成,此时下一次故障的风险已经提高。

因此,单主机故障预演应进一步追问:事故发生前,是否已有OSD离线、PG降级或维护任务正在进行?

场景二:机柜断电,主机级规则失效

考虑一个用于预演的布局:三个机柜,每柜两台OSD服务器,存储池采用三副本。

若CRUSH规则只要求副本跨host分布,同一个对象的三个副本仍可能落在同一机柜的不同主机上,或其中两份落在同一机柜。机柜断电时,三副本配置未必能保证相关PG仍满足min_size=2。

若改为跨rack分布,且三个机柜都有足够的合格OSD,那么每个对象可以在三个机柜各保存一份。失去一个机柜后,通常仍有两份副本,具备继续服务的基础。

但还有一个容易漏掉的风险:

三个机柜承载跨机柜三副本,可以设计为承受一个机柜失效后继续服务;要在故障机柜未恢复时重新补齐三份跨机柜副本,还需要第四个可用机柜或等效的替代故障域。

剩余两个机柜即使有大量空闲容量,也无法满足“三份副本位于三个不同机柜”的放置约束。冗余恢复同时需要空间和合格的故障域。

三个横向比较分区,每个机柜包含两台主机;同一对象的副本用相同标记表示,机柜A失效覆盖柜内全部主机

场景三:网络分区,副本还在但无法形成服务条件

交换机或链路故障可能把集群分成两部分。磁盘未必损坏,但部分OSD、客户端和MON之间已经无法正常通信。

三副本分散,并不能单独解决仲裁问题。MON需要多数成员形成仲裁;相关PG还需要可用副本、peering和可达性满足条件。已有客户端在MON短暂不可达时,可能仍能使用已有映射进行部分I/O,但集群映射更新、故障处理和新连接会受到影响,不能据此将失去仲裁视为正常运行。

因此,不应把“有两个数据副本的一侧”直接等同于“必然能继续写入的一侧”。网络分区测试必须同时检查MON位置、OSD连通性和业务客户端所在位置。

左侧客户端、两个OSD副本和一个MON;右侧一个OSD副本与两个MON

场景四:整座机房中断或误操作

火灾、持续供电故障、机房出口中断,可能让单机房内所有副本同时不可访问。跨主机、跨机柜只能降低局部故障影响,不能覆盖这一层风险。

误删除则是另一种问题:删除操作会被正常复制,增加副本数不能保留被删除的数据。快照可以提供部分逻辑恢复能力,但若快照与生产数据共用同一套存储和权限,其保护边界仍然有限。

副本用于承受设备与局部基础设施故障;独立备份用于找回历史正确数据;异地灾备用于应对站点不可用。三者不能相互替代。

三、明确触发条件:何时进入降级,何时停止变更

故障处理不应只以HEALTH_WARN为开关。它可能来自风险等级不同的问题,需要结合PG状态、容量和业务症状判断。

观察到的条件主要风险建议进入的处置状态
单个OSD离线,相关PG仍可读写冗余下降,第二次故障可能扩大影响确认故障范围,暂停非必要维护,观察恢复
一个机柜整体离线多个PG同时降级,恢复受故障域数量限制启动机柜事故流程,确认是否有替代机柜
出现inactive、incomplete等PG状态部分数据不可服务或恢复条件不足优先定位可用副本与peering问题,保护现存数据
接近容量阈值或回填受阻恢复无法完成,进一步故障风险上升限制容量增长,补充空间并检查分布
MON仲裁异常控制面不可用或映射更新受阻优先修复仲裁与连通性
删除量、写入量异常突增误操作或业务数据破坏可能被同步复制隔离错误写入源,保护可恢复版本

容量告警要区分nearfull、backfillfull和full:它们分别对应接近容量风险、回填受限以及写入保护边界。实际影响与阈值配置、具体OSD及受影响PG有关,不能只看全局平均使用率。

事故期间还应设置明确的变更冻结条件:存在无法解释的副本缺失、未完成的恢复或持续网络抖动时,不继续批量重启、批量换盘或调整CRUSH拓扑。

尤其不要把降低min_size作为常规恢复手段。将三副本池的门槛从二降到一,可能让唯一剩余副本继续接受新写入,一旦再次故障,就可能从短时中断升级为数据不可恢复。任何此类应急取舍,都必须经过数据保护评估,不能以“先让页面打开”为唯一依据。

四、预防措施:把故障域、副本、仲裁和容量一起设计

用真实拓扑构建CRUSH层级

对于需要机柜级保护的单机房集群,可以采用以下逻辑层级:

root default
├── rack jp-rack-a
│   ├── host jp-a-01
│   └── host jp-a-02
├── rack jp-rack-b
│   ├── host jp-b-01
│   └── host jp-b-02
├── rack jp-rack-c
│   ├── host jp-c-01
│   └── host jp-c-02
└── rack jp-rack-d
    ├── host jp-d-01
    └── host jp-d-02

对应的副本池规则应从不同rack选择叶子OSD,而不只是选择不同主机。下面是规则含义示例,不是直接修改生产集群的操作脚本:

rule rack_replicated {
    id 10
    type replicated
    step take default class ssd
    step chooseleaf firstn 0 type rack
    step emit
}

其中firstn 0按存储池副本数选择,type rack约束所选副本跨机柜,class ssd限制设备类别。如果只有两个机柜拥有符合条件的SSD,即使拓扑中存在四个机柜,也不能完成跨三个机柜的三副本放置。

规则编号、设备类别和实际存储池绑定需要与现有集群一致。上线前应验证映射结果,而不是只检查规则文本。

对于已经承载业务的集群,修改CRUSH规则可能触发大规模数据迁移。应先保存当前CRUSH映射、存储池参数和规则绑定关系,在测试环境或小范围试点验证,并预留恢复流量。回退到原规则也可能再次触发迁移,因此回退本身需要容量和带宽预算。

根据承受的故障选择副本策略

布局方式适合的保护目标主要限制
三副本跨主机单主机故障保护不自动覆盖机柜供电或交换机故障
三副本跨三个机柜一个机柜失效后继续服务故障期间无法补齐三份跨机柜副本
三副本跨四个或更多机柜机柜失效后继续服务,并具备补齐副本的条件仍需剩余容量、带宽和均衡条件
两个独立站点,各自运行Ceph并异步复制站点级恢复,降低同步链路耦合存在复制滞后,需要切换和防双写机制
经验证的stretch集群设计特定双站点同步容灾需求对拓扑、仲裁、时延、版本和恢复流程要求较高

两副本配置即使降低I/O门槛,也是在更少的数据保护下运行,不宜仅为节省容量而作为重要业务的默认方案。

纠删码同样需要故障域设计。k+m不能简单理解为“可坏任意m台服务器”:可容忍的是相关对象的分片损失数量,前提是分片放置、故障域及读写条件符合设计。对于本篇以恢复过程可控为重点的场景,三副本更容易解释和验证,但会占用更多原始容量。

MON布局必须匹配预期故障

三个MON需要至少两个成员形成多数,五个MON需要至少三个。数量之外,还要看共同失效范围。

三个MON分别位于三个独立机柜,通常比放在同一机柜的三台服务器上更符合机柜级保护目标。但若这三个MON共用一台管理交换机,该交换机仍然是仲裁链路的单点。

两个站点之间简单分配三个MON,必然有一侧持有多数。失去多数侧时,另一侧不能仅凭保留数据副本自动完成正常接管。MON本身的启动、系统盘和管理访问,也不应完全依赖它正在管理的那套Ceph存储。

Ceph的stretch模式有专门的站点、仲裁与副本布局约束,不能用普通三副本加跨城链路代替。若采用该方向,应针对目标版本核验支持条件,并完整演练站点丢失、站点恢复和网络分区。

日本跨城市部署:先判断同步还是异步

东京与大阪的资源可以用于站点隔离,但地理分散不代表适合同步组成一个普通Ceph集群。同步写入路径受站点间往返时延、抖动、丢包和拥塞影响;恢复流量还会与业务流量争用链路。

评估时至少应测量工作日高峰、低峰和链路异常下的时延分布,并验证真实块大小、并发和写入同步方式。服务器标注的公网带宽,不能直接作为Ceph跨站点恢复带宽。

如果业务允许一定RPO,两个独立集群加异步灾备通常具有更清晰的故障隔离边界。具体实现仍应区分数据类型:

  • RBD可根据业务一致性需求评估镜像方式、复制滞后及提升流程。
  • RGW多站点应验证对象复制、元数据和站点切换,不能套用RBD切换步骤。
  • CephFS可评估快照镜像等方式,但仍需独立安排客户端挂载与应用恢复。

异步灾备切换前必须确认原主站已被隔离,避免两侧同时写入;原站恢复后,还要确定权威数据源与重新同步方向。Ceph的数据保护不代替应用层的防双写机制。

容量按“失去一个故障域后”计算

以四个均衡机柜、三副本池为例:逻辑数据量为20 TB,暂不计快照增长、元数据和不均衡,正常副本数据约为60 TB。

若希望失去一个机柜后,剩余空间仍能补齐三副本,并将恢复后的平均使用率控制在75%以内,则:

所需原始容量 ≥ 60 TB ÷ 0.75 ÷ 0.75
             ≈ 106.7 TB

第一个0.75是允许的使用率;第二个0.75是四个等容量机柜失去一个后剩余的容量比例。若规划120 TB原始容量,事故后剩余90 TB,补齐60 TB副本数据后的平均使用率约为66.7%。

三组同尺度堆叠容量柱,分别表示故障前、一个机柜离线后且尚未补齐、在剩余三个机柜补齐后;明确区分存活数据、补回数据、空闲容量与离线容量

这只是容量下限模型。实际还要加入业务增长、快照、OSD不均衡和运维预留;并检查使用率最高的OSD,而非仅看平均值。

恢复时间也要单独估算。上述均衡场景丢失一个机柜,约需补回15 TB副本数据。按十进制单位,若实际用于恢复的有效吞吐合计为2 Gbit/s,则理想传输时间为:

15,000 GB × 8 × 1,000 ÷ 2,000 Mbps
= 60,000秒
≈ 16.7小时

这里的2 Gbit/s是有效恢复吞吐,不是网卡标称速率。磁盘读写、业务竞争、回填调度及重试都会增加时间。若冗余恢复目标是24小时,必须用演练验证余量;不能看到10 Gbit/s网卡就认定恢复一定足够快。

五、恢复验证:先保护数据,再恢复冗余

用机柜失效演练验证完整链路

可以将“四机柜三副本、失去一个机柜”作为受控预演。演练前确认集群无未解释的降级、备份可恢复、管理通道独立,并设置终止条件。优先在测试环境验证;生产演练需要维护窗口和明确授权。

一条可执行的恢复时间线可以这样安排:

  1. 故障前建立基线。 记录PG状态、容量分布、延迟、错误率;持续写入可校验的数据,保存已确认成功的写入序号。
  2. 注入单一故障。 只隔离一个既定故障域,不叠加换盘、网络调整或软件升级,观察告警和业务影响。
  3. 确认服务状态。 检查客户端是否发生超时、重连,相关PG是否可服务,MON是否维持仲裁。
  4. 验证冗余恢复。 观察第四机柜是否参与补齐,是否受容量、设备类别或网络限制,记录恢复期间业务延迟。
  5. 恢复原故障域。 观察重新加入后的数据移动及负载变化,避免将“服务器已开机”当作事故结束。
  6. 核对业务数据。 检查已确认写入是否存在,并验证数据库、对象或文件的实际可用性。

Ceph客户端通常依据集群映射访问OSD,单OSD故障不应依靠人工切换一个存储IP来解决。但应用是否能正确重试,RBD使用者是否需要重新连接,CephFS的MDS是否完成接管,以及RGW入口是否具备冗余,都需要分别验证。

用只读检查确认设计没有偏离

以下命令用于检查已有集群,不改变数据。存储池与规则名称应替换为实际名称,并先确认所用Ceph版本:

ceph version
ceph -s
ceph health detail
ceph osd tree
ceph osd crush rule dump rack_replicated
ceph osd pool get business_rbd all
ceph mon dump
ceph pg stat

检查重点不是命令是否返回成功,而是:

  • OSD是否位于真实对应的主机和机柜下。
  • 业务池是否绑定预期CRUSH规则,size和min_size是否正确。
  • 剩余故障域是否有足够的合格设备与空间。
  • MON成员位置是否符合事故模型。
  • PG是否恢复到预期状态,是否仍存在恢复受阻原因。

如果剩余容量充足但副本无法补齐,应检查故障域数量、设备类别和放置约束;如果恢复持续但业务延迟恶化,应检查磁盘与网络争用,而不是直接无限提高恢复并发。

active+clean只说明PG达到相应的正常放置与服务状态,不证明应用数据在逻辑上正确。验收还需要应用级校验、数据库一致性检查,以及恢复到独立位置后的备份读取测试。

恢复优先级与演练检查项

事故期间,优先级应明确为:保护仍然有效的数据和控制面,其次恢复关键业务,再补齐冗余,最后恢复非关键任务与日常变更。 如果继续写入会扩大损坏范围,应先隔离错误来源,而不是追求表面可用。

每次演练至少应留下以下记录:

  • 故障是否只发生在预定范围,是否暴露共同供电或网络单点。
  • MON仲裁、PG服务状态和应用恢复时间是否满足目标。
  • 已确认写入是否保留,是否出现双写或数据分歧。
  • 副本补齐是否有足够的故障域、容量和有效带宽。
  • 降级期间的业务延迟、错误率和容量增长是否可接受。
  • 备份及异地副本是否可读取,密钥和管理入口是否独立可用。
  • 原故障域恢复后,是否完成重新同步与业务数据核验。

日本服务器上的Ceph集群,只有把物理故障边界、CRUSH放置规则、仲裁和恢复资源对应起来,副本数才具有实际保护意义。设计验收不应停在“三副本已配置”,而应推进到“失去约定故障域后仍能服务,并能在目标时间内恢复完整保护”。

在日本Ceph集群的硬件资源建设上,A5数据提供日本物理服务器,覆盖Xeon Gold与AMD EPYC平台,并配备NVMe、SSD及大容量HDD方案,可为OSD节点、MON及业务接入提供不同的计算与存储基础。日本产品还提供CIA、GIA、CN2、SoftBank等线路选项,以及单路、双路和多IP配置;结合香港、美国等地区的服务器资源,可为本地集群扩展和跨地区业务资源布局提供选择。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/3390.html

相关推荐