Ceph公布CRUSH容量分析:三副本集群为何可能有78%存储空间无法利用?

一个拥有1338个单位原始存储容量的Ceph集群,在采用三副本保护后,理论上能够存储约446个单位的业务数据。但在某种特殊的节点配置下,实际可用的逻辑存储容量却只有95个单位,甚至有78%的原始容量无法被有效利用。
这不是存储设备发生故障,也不是Ceph出现了新的软件漏洞,而是分布式存储在数据副本放置规则下可能产生的容量限制。
2026年11月11日,Ceph官方发布技术文章《Slicing the Pie: CRUSH Failure Domains and Your Capacity》,详细分析CRUSH算法、故障域划分和存储容量之间的关系,并通过多个示例说明:即使集群拥有大量空闲硬盘空间,也可能因为节点容量分布不合理,无法继续按照既定的数据保护规则写入数据。
对于使用Ceph构建对象存储、云硬盘、企业文件存储及服务器集群的企业而言,这次分析揭示了一个容易被忽视的问题:存储扩容不能只计算新增了多少TB硬盘,还需要考虑这些容量分布在哪些节点,以及发生故障后是否仍然有足够空间恢复数据副本。
三台存储节点,为何会浪费78%的原始容量?
Ceph官方在11月11日的文章中给出了一个非常直观的示例。
假设一个Ceph集群由三台存储节点组成,采用三副本数据保护策略。三个节点的CRUSH权重分别为100、100和1138。
这里的CRUSH权重用于描述存储资源的相对容量。在默认配置下,OSD权重通常与其存储容量对应。
三个节点的容量分布如下:
存储节点 | CRUSH权重 | 可用于副本放置的容量特征 |
|---|---|---|
节点A | 100 | 小容量节点 |
节点B | 100 | 小容量节点 |
节点C | 1138 | 大容量节点 |
合计 | 1338 | 原始容量总和 |
如果只按照三副本需要消耗三倍原始空间进行估算,1338除以3,可以得到约446个单位的理论逻辑容量。
但这个计算忽略了一个关键条件:Ceph需要按照CRUSH规则,将同一份数据的三个副本分布到不同的故障域。
在本例中,故障域设置为主机,而且整个集群恰好只有三台主机。
因此,每个数据放置组都需要在三台主机上各保存一个副本。
无论节点C的容量有多大,它都不能替代节点A或节点B存储第二个副本,否则就会破坏原有的主机级故障隔离规则。
这意味着,三个节点在该存储池中承载的副本数据量必须基本相同。
当节点A和节点B接近容量上限时,节点C即使还有大量空闲空间,也无法继续按照既定规则增加完整的三副本数据。
按照Ceph官方示例采用的95%满盘阈值计算,每个小节点最多承载约95个单位的数据副本。
整个存储池能够容纳的逻辑数据量因此被限制在约95个单位。
此时,三台节点合计使用285个单位的原始容量,其中节点C仍有1043个单位的容量无法被该存储池有效利用。
1043除以1338,约为78%。
这就是官方所说的容量闲置问题。
需要特别说明的是,78%并不是Ceph三副本集群的普遍空间损耗,也不代表所有Ceph集群只能使用22%的硬盘容量。
它来自一个故障域容量严重不均衡的特定示例,主要反映的是CRUSH数据放置限制,而不是三副本机制本身的额外存储开销。
CRUSH为什么不能直接把数据写到空闲最多的硬盘?
要理解这一现象,需要先了解Ceph的CRUSH数据放置机制。
CRUSH全称为Controlled Replication Under Scalable Hashing,是Ceph用于确定数据放置位置的核心机制之一。
在Ceph中,数据会根据存储池配置映射到不同的Placement Group,也就是PG,再由CRUSH规则确定这些PG及其副本应该分布到哪些OSD。
CRUSH并不是单纯寻找当前剩余空间最多的硬盘,而是综合存储权重和数据保护规则,确定数据在整个集群中的放置位置。
其中,故障域是一个重要概念。
故障域可以设置为主机、机架、机房等不同层级。
例如,在主机级故障域下,Ceph通常要求同一PG的不同副本位于不同主机,避免单台服务器故障同时损坏全部副本。
如果故障域设置为机架,则可以进一步要求副本分布到不同机架,以降低单个机架断电或网络故障带来的影响。
这种设计提升了数据保护能力,但同时限制了存储空间的使用方式。
对于采用三副本策略、每个故障域只允许放置一个副本的存储池,每个PG都需要三个不同的故障域。
如果整个集群只有三个故障域,那么每个PG都会涉及全部三个故障域。
因此,即使其中一个故障域的容量远远超过其他两个,也无法无限增加副本。
从表面看,这是存储空间没有得到充分利用;从数据保护角度看,则是Ceph在严格遵守管理员配置的副本隔离要求。
CRUSH并不是无法识别剩余空间,而是不能为了使用这些空间,随意违反既定的数据放置规则。
多增加一台存储服务器,就能解决容量不均衡吗?
Ceph官方进一步指出,即使增加第四个故障域,如果容量分布仍然极不均衡,问题也可能继续存在。
官方给出的另一个示例由四台主机组成,CRUSH权重分别为100、100、100和1701。
集群总原始容量达到2001个单位。
由于采用三副本策略,每个PG需要选择四台主机中的三个进行副本放置。
从节点数量看,集群已经不再是三个节点对应三个副本,具备了额外的故障域。
但容量分布仍然存在严重问题。
其中一台主机拥有1701个单位的存储权重,另外三台加起来只有300。
由于同一个PG不能在这台大容量主机上重复放置多个副本,因此,大节点最多也只能承担每个PG的一个副本。
即使通过理想的均衡分布,存储池可容纳的逻辑数据量也只能达到约142.5个单位。
与之对应,大容量节点仍然有约1566个单位的存储空间无法被有效使用,占整个集群原始容量的比例同样约为78%。
这一结果说明,仅仅增加故障域数量,并不能自动消除容量配置不合理带来的影响。
在每个PG需要放置三个副本、每个故障域最多放置一个副本的条件下,任何单个故障域能够有效承担的副本容量,都不能超过全池实际副本数据量的三分之一。
换成容量规划的角度,如果采用三副本策略,一个故障域的容量不应超过其他故障域总容量的一半,否则在这种放置模型下,超出的部分就可能无法被充分使用。
当然,具体可用容量还会受到PG分布、OSD利用率、存储池配置和其他因素影响。
Ceph此次分析的重点,并不是要求所有存储服务器必须采用完全相同的硬盘容量,而是提醒管理员不要让某个故障域的容量与其他节点出现过于悬殊的差距。
平衡器能够改善数据分布,但不能突破副本保护规则
Ceph还有一个容易被忽视的容量优化组件,即Balancer平衡器。
在多节点集群中,即使不同故障域的容量配置合理,CRUSH算法产生的数据分布也不一定达到完全理想的状态。
这是因为CRUSH需要依据权重和选择规则确定PG位置,实际结果可能出现某些OSD或故障域利用率略高、其他节点利用率略低的情况。
当部分OSD率先接近满盘阈值时,整个存储池可能提前受到容量限制。
Ceph官方此次举例说明,在四个故障域权重分别为100、100、100和150的三副本集群中,如果能够实现理想均衡,存储池可以容纳约142.5个单位的逻辑数据。
但如果完全依赖CRUSH原始放置结果、不使用Balancer进一步调整,实际可能在约132个单位时就受到较小故障域的容量限制。
Balancer可以利用upmap机制重新调整部分PG与OSD之间的映射关系,改善数据分布的不均衡问题。
Ceph官方建议保持Balancer启用,并指出其默认使用upmap模式。
不过,Balancer不是突破故障域规则的工具。
它可以改善PG分布,使存储空间利用更接近当前架构允许的上限,却不能让三副本数据在只有三个主机级故障域的情况下,随意把两个副本放到同一台大容量服务器上。
因此,对于容量严重不均衡的集群,单纯启用Balancer并不能彻底解决问题,仍然需要从节点容量配置和CRUSH规则层面进行调整。
比空间浪费更严重的,是故障后没有足够容量恢复副本
如果说78%的容量闲置主要影响存储投资效率,那么Ceph此次分析涉及的另一个问题,则直接关系数据恢复能力。
在分布式存储系统中,能够正常保存三份副本,并不代表发生节点故障后一定能够立即重新建立三份副本。
假设三台Ceph存储服务器的容量权重均为100,集群采用三副本策略,每个PG在三台服务器上分别保存一个副本。
在默认95%满盘阈值下,整个存储池的逻辑容量上限约为95个单位。
如果其中一台服务器发生故障,另外两台服务器虽然仍然保留数据副本,但由于集群只剩下两个主机级故障域,已经没有第三个故障域能够重新放置缺失的副本。
这意味着,相关PG可能继续处于降级状态,直到故障服务器恢复,或者集群新增符合放置规则的故障域。
对于需要长期保障数据冗余的生产环境,这显然不是理想状态。
而即使只是某台服务器上的一个OSD发生故障,也可能出现容量不足的问题。
Ceph官方在三个容量权重均为100的故障域中,模拟其中一个节点损失权重为10的OSD。
故障发生后,该节点剩余容量变为90。
由于每个PG仍然需要在该主机上保存一个副本,存储池的理论容量上限会从95下降到85.5。
更重要的是,Ceph默认还有独立的回填容量阈值。
官方示例采用的backfillfull_ratio为90%,低于95%的full_ratio。
如果故障前存储池的逻辑数据量已经超过81个单位,那么故障发生后,即使仍有部分空闲空间,也可能因为达到回填限制,无法完成全部缺失副本的恢复。
这说明,判断一个Ceph集群是否安全,不能只看当前还有多少容量可用。
更关键的是,发生磁盘、OSD或整台服务器故障后,剩余节点是否仍有足够空间完成数据重建。
如果存储系统平时已经长期运行在较高容量利用率下,一旦发生故障,可能面临恢复空间不足、PG持续降级以及数据保护能力下降等问题。
这类风险往往不会在系统正常运行时直接表现出来,却可能在真正需要容灾恢复时暴露。
三副本集群为什么更适合规划至少四个故障域?
针对故障恢复问题,Ceph官方给出了一个明确的规划建议:故障域数量最好至少比每个PG需要的数据副本或分片数量多一个。
对于三副本存储池,如果采用主机级故障域,意味着至少规划四个独立主机故障域更为合理。
对于采用4+2纠删码的存储池,每个PG需要放置六个数据或校验分片,则可以考虑至少七个故障域。
这里需要区分数据副本数量与集群能够容忍的故障数量。
增加一个额外故障域,不代表系统可以自动承受任意数量的同时故障。
它的重要作用是,为数据重新放置和故障后恢复提供额外空间。
Ceph官方使用四台容量权重均为100的主机作为示例。
在三副本配置下,该集群的逻辑容量上限约为126.7个单位。
如果其中一个权重为10的OSD发生故障,存储池容量上限下降到约123.5。
相比只有三台主机的情况,额外故障域能够帮助Ceph更灵活地重新分配副本。
在官方模拟条件下,只要原有数据量低于约117个单位,就具备完成该次故障后完整副本恢复的容量条件。
如果发生的是整台主机故障,四节点集群在剩余三台主机满足容量要求的情况下,仍然可以重新建立完整的三副本保护。
但这也意味着必须提前保留足够恢复空间。
官方示例指出,四节点集群发生整台主机故障后,如果数据量低于90个单位,才具备完成相应副本重建的空间条件。
因此,额外故障域与容量预留需要共同考虑。
对于存储集群而言,增加节点不仅是增加容量,更是在为故障恢复创造可用的位置。
对象存储、云硬盘和企业备份系统都需要关注这一问题
Ceph被广泛用于构建分布式存储平台,包括RADOS Gateway对象存储、RBD块存储以及CephFS文件存储等场景。
在IDC和云计算环境中,Ceph还经常承担虚拟机磁盘、云主机数据卷、企业文件服务以及备份数据存储等基础设施职责。
不同业务的数据访问方式可能有所不同,但底层存储池仍然需要遵守相应的CRUSH放置规则。
例如,采用Ceph RBD提供云主机磁盘的服务商,可能持续向集群增加NVMe SSD或大容量企业级SSD,以满足更多虚拟机的存储需求。
如果扩容时仅新增少数高容量节点,而其他故障域没有同步扩展,就可能形成明显的容量不均衡。
最终,即使新增服务器的硬盘仍有大量空闲空间,也未必能够继续按照原有副本规则承载更多业务数据。
对于Ceph RGW对象存储,这个问题同样值得注意。
企业可能需要存储大量图片、视频、日志和备份文件,容量增长速度较快。如果没有合理规划故障域和存储池的数据保护方式,后续扩容可能面临额外的硬件采购成本。
尤其是把Ceph作为备份目标的企业,更不能只依据当前备份文件的容量决定集群规模。
备份系统通常还需要考虑保留周期、增量数据增长、历史版本以及恢复期间的额外空间需求。
一旦存储集群发生OSD故障,备份数据本身也需要保持足够的冗余保护。
如果Ceph存储池因为容量或故障域限制无法完成副本恢复,那么即使备份软件仍然显示任务正常,底层存储的抗故障能力也可能已经下降。
因此,备份系统的可靠性不仅取决于备份软件是否正确执行任务,还取决于承载备份数据的存储平台是否具备持续恢复能力。
企业如何检查自己的Ceph集群是否存在类似问题?
对于已经运行Ceph的企业,不需要因为官方公布了78%的极端示例,就认定自己的集群存在严重容量浪费。
更合理的做法,是根据现有存储池配置和故障域分布进行检查。
首先,需要明确存储池采用的是三副本、其他副本数量,还是纠删码方案。
不同数据保护方式对应的副本和分片数量不同,对故障域数量的要求也会发生变化。
其次,需要查看CRUSH规则实际使用的故障域层级。
如果存储池使用host作为故障域,就应该重点关注不同主机之间的容量分布。
如果使用rack或其他更高层级作为故障域,则需要按照相应层级统计容量,不能只比较单台服务器。
管理员可以通过以下命令查看OSD、故障域和容量情况:
ceph osd tree
ceph osd df tree
ceph osd crush rule dump
ceph df detail
其中,OSD容量和CRUSH权重信息可以帮助判断是否存在明显不均衡,存储池容量信息则有助于了解当前实际使用情况。
还应检查集群的Balancer状态,以及当前OSD利用率、PG状态和容量阈值。
对于已经接近满盘阈值的集群,不建议在缺乏评估的情况下直接修改CRUSH权重或放置规则。
因为调整这些参数可能触发数据重新分布,带来大量网络传输、磁盘读写和回填操作。
如果当前存储业务负载较高,贸然触发大规模数据迁移,还可能影响业务延迟和吞吐。
Ceph官方此次发布的文章同时提供了故障域容量计算器,可以根据不同副本数量、故障域权重、满盘阈值以及模拟故障条件,估算当前架构的容量限制。
官方还介绍了重新编写的PG Calc工具,用于辅助规划Placement Group数量及相关存储池配置。
对于准备扩容的企业,这类工具可以在实际采购硬盘和调整集群结构之前,帮助发现潜在的容量配置问题。
需要注意,计算器提供的是基于给定模型和配置参数的估算,真实生产集群还需结合数据分布、OSD状态和实际业务负载验证。
Ceph扩容真正需要计算的,不只是每TB存储成本
Ceph此次公布的容量分析,对IDC存储平台建设具有直接参考意义。
在硬件采购阶段,企业通常会比较不同服务器的硬盘数量、单盘容量、NVMe性能以及整机成本。
这些指标决定了存储系统的基础资源,但不能独立决定最终能够向客户提供多少可靠的可用容量。
对于采用副本保护的分布式存储,原始容量首先需要扣除数据冗余带来的开销。
在此基础上,还需要考虑CRUSH故障域限制、数据放置均衡程度、容量阈值以及故障恢复预留空间。
如果只用全部硬盘容量除以副本数量来估算最终可售容量,很容易高估存储平台的实际承载能力。
更合理的规划方式,是根据目标业务的数据规模与保护等级,反向计算需要多少故障域、每个故障域应该配置多少容量,以及发生单节点或单机故障后是否还能够完成数据恢复。
对于已经拥有Ceph集群的企业,扩容时也未必需要优先采购容量最大的单台服务器。
有时候,将新增硬盘分散部署到多个现有故障域,或者通过新增容量合理的独立故障域改善集群结构,可能比集中扩容一台高规格服务器更有价值。
当然,是否需要调整存储架构,仍应根据当前CRUSH规则、节点数量、网络条件和实际容量需求判断。
对于使用纠删码的集群,还需要结合数据分片与校验分片数量重新计算,不能直接套用三副本的容量公式。
存储空间没有用完,不代表集群还能安全扩容
Ceph官方11月11日公布的CRUSH容量分析,最值得关注的并不是78%这个数字本身,而是它揭示了分布式存储容量规划与数据保护规则之间的关系。
在特定配置下,硬盘空间明明还大量空闲,存储池却可能无法继续有效使用;同样,一个看起来容量充足的集群,也可能在节点发生故障后,因为缺乏合适的副本放置位置而无法完成恢复。
这两种现象看似不同,实际上都与故障域设计有关。
对于使用Ceph提供云硬盘、对象存储、企业文件服务和数据备份的企业而言,合理的容量规划应同时回答两个问题:正常运行时能够存储多少数据,以及故障发生后还能否维持既定的数据保护能力。
前者关系存储投资效率,后者直接影响业务可靠性。
随着企业存储需求持续增长,Ceph集群扩容已经不只是不断增加硬盘容量的问题。如何在不同节点之间合理分配资源、保留足够恢复空间,并让CRUSH规则与实际硬件架构相匹配,才是决定分布式存储系统能否长期稳定运行的关键。
对于正在规划新存储集群或准备大规模扩容的企业,提前检查故障域容量分布,往往比等到系统出现容量告警后再调整,更容易控制成本和运维风险。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/9084.html
