Ceph出现nearfull告警时,怎样判断是容量不足还是数据分布不均?

发布人:A5数据发布时间:2026-10-30 09:55阅读量:74

Ceph 出现 nearfull 告警,首先要区分两件事:集群总容量是否接近上限,以及是否只有少数 OSD 的使用率明显偏高。nearfull 通常反映单个 OSD 达到接近满盘的阈值,不等于整个集群的平均利用率已经很高;因此,看到告警后不能只看集群剩余容量,也不宜立即扩容或手动调权重。

告警的直接后果是可用写入空间变少。如果继续增长,部分 OSD 或 PG 可能进一步达到 backfillfull、full 等状态,影响回填或写入。排查时应先确认告警对象和阈值,再沿着容量分布、数据放置、磁盘与系统、网络及服务状态逐层定位。

先确认 nearfull 告警指向什么

先查看集群健康详情、OSD 使用率和集群容量概览:

ceph health detail
ceph osd df
ceph osd df tree
ceph df

不同 Ceph 版本的输出字段和展示格式可能略有差异,重点关注:

  • health detail 中列出的 nearfull OSD 编号,以及是否同时存在 backfillfull、full、PG 不活跃或恢复受阻等告警。
  • osd df 中各 OSD 的 USE%、已用量、可用量和权重。判断分布时,应比较同一设备类别、容量相近的 OSD;不同容量的 OSD 不能只按绝对已用量比较。
  • osd df tree 中 OSD 与主机、CRUSH 层级的关系。多个高利用率 OSD 若集中在同一主机、机架或设备类别,可能是局部放置或故障域问题。
  • ceph df 中集群原始容量、可用量,以及各池的已用空间和配额状态。

假设某集群有 10 个容量相近的 OSD,大部分使用率约为 70%,但其中两个达到 88%;即使集群整体平均使用率仍不高,也可能触发 nearfull。这是典型的分布不均线索,但还不能仅凭这组数字断定根因:需要继续确认这两个 OSD 上的 PG、池和数据类型是否具有共同特征。

先确认 nearfull 告警指向什么配图

Ceph 的 nearfull、backfillfull 和 full 阈值由集群配置决定,常见默认值可能分别在约 85%、90% 和 95% 附近,但实际环境可能被修改,也可能受版本、配置覆盖和集群策略影响。应核实当前值,而不是直接按默认值判断:

ceph osd dump
ceph config dump

在输出中检查相关的 nearfull_ratio、backfillfull_ratio 和 full_ratio。如需进一步确认单个守护进程生效的配置,可结合当前版本支持的配置查询命令核验。不要为了消除告警而随意调高阈值:这不会增加物理空间,反而可能让集群在更紧张时才报告风险。

建立原因树:总量、分布,还是容量之外的问题

可以按下面的分支判断,避免把所有磁盘告警都归结为“磁盘不够”:

建立原因树:总量、分布,还是容量之外的问题配图

观察结果优先考虑下一步核对
集群原始可用空间已很少,多数 OSD 使用率接近总容量不足或增长超出规划池数据增长、复制或纠删码开销、保留策略
总体可用空间尚可,少数同类 OSD 明显偏满数据分布不均、权重或 CRUSH 放置差异高利用率 OSD 的 PG、池、主机及权重
OSD 使用率未接近阈值,但主机某个挂载点告急系统盘、日志盘或其他文件系统容量问题df、df -i、目录占用、日志轮转
容量尚可,但恢复、回填或客户端操作变慢I/O 延迟、网络或守护进程异常OSD 性能、网络错误、服务日志、PG 状态
告警只出现在特定池或设备类别池配置、设备类别或数据放置约束池副本数、CRUSH 规则、设备类别、配额

注意区分 Ceph 的原始容量和业务可用容量。副本池写入一份逻辑数据,通常需要占用多份原始空间;例如三副本池在理想情况下,原始空间开销约为逻辑数据的三倍,实际还受元数据、对象大小、碎片和分布影响。纠删码池的开销则取决于数据块与编码块配置。不能把 ceph df 中的池数据量直接当成磁盘原始占用,也不能仅用“总容量减去已用量”估算所有池都可继续写入的空间。

逐层排除:从池与 PG 到 OSD 分布

检查是否是少数 OSD 承载了更多 PG 或数据

nearfull OSD 的编号确定后,检查其 PG 分布以及对应的池:

ceph osd find <OSD编号>
ceph pg ls-by-osd <OSD编号>
ceph osd pool ls detail

将 <OSD编号> 替换为实际 OSD 编号。相关命令在不同版本中可能有显示差异;如果某条命令不受当前版本支持,先用 ceph help 查询该版本可用的等效命令。

关注以下情况:

  • PG 数量或数据量在少数 OSD 上偏多。 这可能与 CRUSH 权重、OSD 容量、池的放置规则或集群近期拓扑变化有关。
  • 高利用率 OSD 集中在某个设备类别或故障域。 例如某一类设备被特定池使用,其他容量却不能为该池提供空间。
  • 某些 PG 长时间处于 remapped、backfilling、backfill_wait 或其他非稳定状态。 这提示数据迁移或恢复可能未完成,但要结合告警、恢复速率和剩余空间判断原因。
  • 池的副本数、纠删码参数或 CRUSH 规则与预期不一致。 这会改变原始空间消耗和可放置范围。

单纯 PG 数量较多不一定意味着数据占用更大,PG 里的对象大小也可能不同。应将 PG 状态、池数据量和 OSD 实际利用率一起看。若同一池在不同 OSD 上的对象量差异很大,或多个高利用率 OSD 对应同一放置规则,才更支持分布或放置约束方向。

对照权重、CRUSH 层级与近期变更

查看 OSD 权重及其所在树状结构:

对照权重、CRUSH 层级与近期变更配图

ceph osd tree
ceph osd crush tree

检查近期开过哪些变更:是否新增或移除了 OSD、替换磁盘、调整过 CRUSH 权重,是否改变池的 CRUSH 规则、设备类别或副本数,是否发生过主机故障或大规模恢复。

权重应与实际可用于存储数据的容量和集群设计相匹配。若某 OSD 的权重明显高于同类设备,它可能被分配更多数据;若权重偏低,也可能导致其周边设备承担更多数据。另一方面,如果高利用率 OSD 的权重已经与容量匹配,问题可能是该池只能使用有限设备,或其数据增长快于其他池。不要仅凭 USE% 高就直接执行 reweight:错误调权可能引发大量数据迁移,增加磁盘 I/O 和网络负载,且未必能解决根本约束。

如果集群启用了 PG autoscaler,应同时检查池的 PG 数量、autoscaler 提示与池使用情况。调整 PG 数或放置规则属于集群级变更,应先评估迁移规模、可用空间和维护窗口,并按照当前 Ceph 版本与既定变更流程操作。

排除容量之外的磁盘与系统问题

nearfull 是空间使用率告警,但同一时段的磁盘异常也可能影响恢复和迁移,甚至造成主机其他挂载点告警。下面这些检查应与 Ceph OSD 利用率分开进行。

文件系统容量与 inode

在 OSD 主机上查看挂载点容量和 inode:

df -hT
df -i

df -hT 用于查看文件系统空间和类型,df -i 用于检查 inode 使用情况。若某个日志盘或系统分区接近满载,可能导致服务无法写日志、系统运行异常;但这不等同于 BlueStore OSD 数据盘达到 nearfull。

BlueStore 通常直接管理块设备上的对象存储数据,不依赖传统文件系统中的文件 inode。因此,df -i 显示某个主机文件系统的 inode 耗尽,不能直接解释为 BlueStore OSD 的 nearfull。若环境使用 FileStore、文件系统型 OSD,或有其他服务把数据写在文件系统上,则还需结合 OSD 后端、数据目录和挂载关系判断。不要在未确认 OSD 类型与路径前,把某个目录占用直接对应到 OSD 数据使用率。

排除容量之外的磁盘与系统问题配图

I/O 延迟与磁盘健康

I/O 延迟不会直接制造已经存在的对象空间占用,但会拖慢恢复、回填或客户端请求,使空间失衡持续更久。查看 OSD 性能统计和主机磁盘状态:

ceph osd perf
iostat -x 1 5

ceph osd perf 可用于观察 OSD 的提交与应用延迟;iostat 的字段和可用性取决于操作系统及已安装工具。重点关注高利用率 OSD 是否同时出现明显高于同类设备的延迟、持续高利用率或异常队列。若怀疑磁盘介质故障,再结合系统内核日志、磁盘健康工具和设备厂商支持的诊断方式检查;执行任何可能触发设备测试的操作前,应确认其适用性和对业务 I/O 的影响。

如果只是单次采样偏高,不足以认定磁盘损坏。应观察一段时间,并与恢复流量、业务高峰和同主机其他设备对照。高延迟可能由磁盘、控制器、主机负载或网络存储路径造成,需要进一步定位。

日志增长与主机空间

检查系统日志和 Ceph 服务日志是否快速增长,以及它们所在文件系统是否与 OSD 数据盘共用空间:

journalctl --disk-usage
du -sh /var/log

上述路径是常见示例,实际服务日志位置会随发行版、Ceph 部署方式和日志配置变化。日志增长可能填满系统盘或日志盘,但如果这些文件与 OSD 数据不在同一存储空间中,就不会直接让 OSD 数据使用率变高。若发现日志异常增长,应先确认日志来源、轮转策略和服务故障原因;不要直接删除正在使用的日志文件,也不要通过清空日志来掩盖持续报错。清理前需确认保留要求、备份与影响范围。

网络、服务与应用层:确认回填为什么没有跟上

若集群整体还有空间,但告警 OSD 长时间不能恢复到更均衡状态,应继续排查迁移受阻的原因。

网络层

检查 OSD 主机之间是否存在丢包、接口错误、链路速率异常或网络拥塞。可先查看主机接口计数器与系统日志,再结合 Ceph 的恢复、回填速率观察。若异常集中在某台主机或某条链路,而相关 PG 同时处于回填等待或迁移状态,网络问题可能是恢复变慢的原因之一。

网络变慢不会凭空增加 OSD 上已有的数据,但会拖慢数据重新分布,使 nearfull 状态维持更久。若网络正常而回填仍慢,应转查磁盘延迟、OSD 负载、恢复限速设置及集群的安全水位限制。不要在业务高峰期间盲目提高恢复速度,过量迁移可能争用磁盘和网络资源。

服务层

核实告警 OSD 是否在线、是否频繁重启,以及 MON、MGR 和 OSD 服务是否存在相关错误:

ceph -s
ceph osd stat

根据部署方式查看对应服务状态和日志。例如,使用 systemd 管理服务的环境,可查询实际存在的 OSD 服务单元;容器化部署则应使用对应编排工具查看容器状态。不要假设所有环境都采用相同的服务名、日志路径或部署方式。

如果 OSD 反复掉线,恢复过程可能被打断,数据也可能在其他 OSD 上暂时重新分布。此时应先确认故障 OSD 的状态和相关 PG 状态,再决定修复、替换或恢复操作。不要在未确认数据副本和故障影响范围前随意删除 OSD 或修改 CRUSH 结构。

应用与池层

若某个池的增长特别快,需检查其数据增长来源:对象数量是否突增、保留周期是否失效、快照或备份是否增加、业务是否写入了超出预期的数据。还要检查池的配额、复制策略和 CRUSH 规则是否符合预期。

池配额触发与 OSD nearfull 是不同层面的限制。即使池配额尚有余量,承载该池数据的少数 OSD 也可能先接近阈值;反过来,OSD 有空间也不代表触发配额的池可以继续写入。应分别判断池的使用与配额、OSD 的实际空间以及放置约束。

定位根因与恢复验证

可以用两类典型判断收敛根因:

  • 更像容量不足: 多数同类 OSD 的使用率都较高,集群原始可用空间持续下降;多个池都在增长,且没有足够的可放置空间。此时应按增长速度、冗余开销和扩容周期评估容量规划,而不是只处理单个高利用率 OSD。
  • 更像数据分布不均: 集群总体尚有空间,但少数 OSD 明显偏满;高利用率与特定池、CRUSH 规则、设备类别、OSD 权重或近期拓扑变更相关。此时应修正放置或权重问题,并确保有足够空间承接迁移。
  • 更像恢复受阻而非根因本身: PG 长时间未回到稳定状态,同时伴随 OSD 离线、磁盘高延迟、网络异常或回填受限。先恢复服务和传输条件,再评估空间是否仍然不均。

修复可能涉及扩容、替换故障设备、调整池的放置策略或纠正不合理权重。它们都会影响数据迁移、业务 I/O 或数据保护状态。涉及权重、池配置、CRUSH 规则或 OSD 移除等集群级变更前,应保存当前配置与拓扑信息,确认集群健康状态、可用空间、变更范围和回退方案,并通过维护流程执行。若变更后出现 PG 状态恶化或迁移负载超出预期,应按预先准备的变更记录评估回退,不要同时叠加多个未经验证的调整。

恢复后再次检查:

ceph health detail
ceph osd df
ceph df
ceph -s

成功恢复不应只看 nearfull 告警是否消失,还应确认:高利用率 OSD 与同类设备之间的差距是否缩小;集群和池仍有合理可用空间;PG 回到预期稳定状态;没有新增 backfillfull、full 或 OSD 离线告警;业务读写和恢复延迟恢复到可接受范围。若告警消失后相关 OSD 使用率仍持续上升,说明数据增长或放置约束可能仍未解决。

复发监控点

持续监控比单次告警处理更能区分容量趋势和分布问题。建议按 OSD、池、主机和设备类别分别观察:

  • OSD 使用率及同类 OSD 之间的差距,重点关注长期偏高且持续扩大的个体。
  • 集群原始可用空间、池增长速度、数据冗余开销和容量水位趋势。
  • PG 的恢复、回填和稳定状态,以及恢复期间的磁盘延迟和网络错误。
  • OSD、系统盘、日志盘各自的文件系统空间;仅对文件系统适用的场景,再单独监控 inode 使用率。
  • 日志轮转与异常日志增长,避免系统盘或日志盘先于 OSD 数据盘耗尽。

当总容量余量持续下降时,按容量规划处理;当少数 OSD 长期偏离同类设备时,按分布、权重和放置规则处理;当容量尚有但回填迟迟不能完成时,再沿磁盘、网络和服务状态查找阻塞点。这个区分能避免把“空间不够”“空间放得不均”和“空间重新分布不动”混成同一个问题。

面向 Ceph 存储及数据服务部署,A5idc数据提供香港、日本等地区的物理服务器资源,产品涵盖常规服务器与大容量存储配置,可为不同规模的数据存放和业务运行提供硬件基础。香港存储系列配备企业级机械硬盘,日本部分方案提供多盘 HDD 或 SSD 选择;多地区资源也便于结合业务部署位置与存储需求规划基础设施。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/6531.html

相关推荐