Ceph恢复与回填迟迟未完成,存储服务器上该从哪些状态和指标定位原因

发布人:A5数据发布时间:2026-10-25 09:06阅读量:72

Ceph恢复或回填长时间没有完成时,不能只盯着“剩余百分比”或某一块磁盘的利用率。先确认集群是否仍有待处理的PG,再结合PG状态、OSD延迟、磁盘队列、网络丢包、容量水位、恢复限流和客户端IO判断:是恢复任务没有真正启动,还是已经在推进但速度被某个资源限制。

在存储服务器上,最有价值的证据通常来自四组数据:ceph -s与ceph health detail反映集群状态,PG状态说明卡在哪个阶段,ceph osd perf和主机IO指标说明OSD是否被磁盘拖慢,网络与客户端指标则用来确认恢复流量是否受到传输或业务负载影响。下面按“确认症状—建立原因树—逐层排除—定位根因—验证恢复”的顺序展开。

Ceph恢复与回填的推进,既受OSD磁盘、主机资源和网络条件影响,也与业务负载下的资源配置有关。A5数据提供香港、美国、日本等地区的物理服务器租用,覆盖存储型服务器及多种CPU、内存、SSD、NVMe和大容量HDD配置,可为数据存储、数据库及多任务业务提供不同的硬件资源基础;各地区也有不同线路方案,适配不同部署区域与网络需求。

先确认:到底是未完成、推进缓慢,还是状态显示滞后

恢复和回填的含义不同:

  • Recovery通常用于恢复丢失的副本,例如某个OSD故障后,Ceph把缺失对象复制到新的目标OSD。
  • Backfill通常用于PG迁移或CRUSH布局变化,例如OSD加入、移除、标记为out,或者规则变化后,PG中的已有数据需要重新放置。
  • Misplaced表示数据副本仍然存在,但位置尚未符合当前CRUSH计算结果。
  • Degraded表示部分对象的副本数量不足,需要恢复。
  • Undersized表示PG当前可用的acting set小于池配置的副本数,原因可能是OSD数量不足、OSD不可用或CRUSH规则无法找到足够目标。

先在有管理权限的节点执行只读检查。以下命令适用于常见Ceph部署,具体字段会随Ceph版本变化:

ceph -s
ceph health detail
ceph pg stat
ceph osd tree
ceph osd df tree
ceph osd perf

重点不是某一次输出,而是连续采样后的变化趋势。例如,以下是模拟状态:

recovery  12840/640000 objects degraded (2.0%)
           420 GiB misplaced
recovery io 0 B/s, 0 objects/s

如果连续数分钟仍有degraded或misplaced对象,但恢复速率为0,才可以初步判断任务处于停滞。若状态变为:

recovery  11700/640000 objects degraded (1.8%)
recovery io 82 MiB/s, 31 objects/s

则说明恢复正在推进,只是速度可能较低,不能直接归类为故障。

还要注意管理面板的刷新周期。若命令行中的PG数量持续下降,而页面上的百分比不变,应先检查监控采集或缓存,而不是修改Ceph参数。

用时间线还原故障发生顺序

恢复慢的根因通常发生在恢复开始之前。建议把以下事件按照时间排列:

  1. 首次出现degraded、undersized或misplaced的时间。
  2. OSD被标记为down、out或发生重启的时间。
  3. 网络设备、网卡、交换机端口或主机内核出现异常的时间。
  4. 最近一次CRUSH规则、池副本数、OSD权重或容量调整的时间。
  5. norecover、nobackfill、noout等集群标志被设置的时间。
  6. 客户端IO突增、备份任务、批量迁移或大规模删除开始的时间。

可以从Ceph状态和OSD日志中获取时间线。以systemd部署、OSD编号为12的示例:

journalctl -u ceph-osd@12 --since "2025-01-10 10:00:00" --until "2025-01-10 12:00:00"

容器化或编排部署的服务名可能不同,应先通过部署工具查看实际守护进程名称,不要直接套用systemd服务名。

时间线能够区分两类问题:如果恢复开始前就发生OSD反复掉线,应优先排查服务、硬件和网络;如果恢复开始后才出现磁盘延迟升高或客户端延迟上升,则更可能是恢复流量与业务IO竞争。

建立原因树:先看PG和集群状态

PG状态是定位入口。不同状态对应的排查方向并不相同。

观察到的状态通常说明下一步重点
active+degradedPG可服务,但部分副本缺失查目标OSD、恢复速率、磁盘和网络
active+undersizedacting set数量不足查OSD可用性、CRUSH规则和副本要求
active+remappedPG目标位置已变化,等待迁移或回填查backfill_wait、容量和回填限制
backfill_wait已进入回填队列但暂未执行查并发限制、OSD负载和集群标志
backfilling正在执行回填查有效速率和磁盘、网络瓶颈
recovery_wait恢复任务排队查恢复并发、mClock策略和客户端竞争
recovery_toofull或backfill_toofull目标OSD容量水位不允许继续查ceph osd df tree和full ratio
peering、incomplete、stalePG无法正常建立或确认权威副本查OSD连接、日志和PG详细状态
active+cleanPG已恢复并达到正常状态确认是否仍有其他池或PG未完成

针对异常PG,可以进一步查询单个PG。下面的1.a只是示例PG ID:

ceph pg query 1.a

重点查看acting、up、recovery_state、blocked_by和目标OSD等字段。不同版本的字段名称可能略有差异,可使用以下命令查看当前版本支持的查询帮助:

ceph help pg query

如果大量PG集中指向同一个目标OSD,问题可能在该OSD的磁盘、容量或网络路径;如果PG分散但全部处于recovery_wait,更像是全局策略或业务负载限制。

建立原因树:先看PG和集群状态配图

网络层:确认恢复流量是否能稳定到达目标OSD

Ceph使用的网络不一定只有一张。如果配置了独立的cluster network,副本复制和恢复流量通常走该网络;如果没有独立网络,客户端流量和恢复流量可能共享public network。因此,不能只检查存储服务器的业务网卡。

重点观察以下指标:

  • 网卡收发丢包、CRC错误、队列丢弃和链路重置。
  • OSD之间的TCP重传、连接重置和连接超时。
  • 交换机端口错误、拥塞、流控或链路协商异常。
  • public network与cluster network是否存在MTU不一致。
  • 恢复期间网络吞吐是否达到链路或交换机端口上限。

主机侧可以先做低风险检查:

ip -s link
ss -s
ethtool -S eno1
nstat -az

其中eno1仅为示例网卡名,应替换为实际承载Ceph通信的接口。若网卡计数持续增加rx_errors、tx_errors、CRC或丢弃,不能通过提高恢复并发来解决,应该先处理链路、网卡、交换机端口或MTU问题。

Ceph日志中如果反复出现连接重置、heartbeat超时、OSD之间无法保持连接等信息,也应优先按网络或OSD存活性排查。单纯使用ping只能说明ICMP路径基本可达,不能证明Ceph实际使用的TCP通信稳定。

系统与磁盘层:区分OSD慢、设备慢和主机资源不足

当PG状态显示正在recovering或backfilling,但速率很低,下一步要把Ceph指标和主机指标对齐。

1. 查看OSD操作延迟

ceph osd perf

常见输出会包含OSD编号、提交延迟和应用延迟。若某个OSD的延迟明显高于其他OSD,且大量PG正写入该OSD,优先检查它对应的设备和主机。需要注意,ceph osd perf是OSD层面的结果,不能代替磁盘层面的await、队列长度和设备错误统计。

2. 查看主机CPU、内存和IO等待

iostat -x 1 10
vmstat 1 10
pidstat -d 1 10

可以按以下方式判断:

  • await持续升高、%util接近设备上限,通常是存储设备或队列拥塞。
  • wa较高而CPU空闲,说明进程主要在等待IO。
  • CPU长期满载或虚拟机存在明显steal,可能限制BlueStore、校验和压缩等处理。
  • 内存紧张、频繁换页或出现OOM,会导致OSD响应抖动甚至重启。
  • 多个OSD同时变慢而单盘没有明显异常,要检查主机PCIe、HBA、阵列控制器或共享存储路径。

还要确认OSD的BlueStore数据、DB和WAL实际位于哪些设备上。可以使用只读命令查看:

ceph-volume lvm list

若DB/WAL设备与恢复目标共享一块繁忙的SSD,数据盘利用率看似不高,OSD提交延迟仍可能很高。

内核和设备日志同样重要:

dmesg -T | egrep -i 'error|reset|timeout|nvme|scsi|blk_update'

对于SMART检查,应先确认设备映射关系,避免把错误设备当成OSD盘操作。检查本身通常是只读的,但长时间自检可能增加设备负载,不宜在高峰期随意启动。

Ceph服务层:查标志、OSD抖动和恢复策略

如果磁盘和网络没有明显异常,重点检查Ceph自身是否被配置为等待或限流。

集群标志

维护期间常见的norecover、nobackfill、norebalance会直接影响数据迁移。noout虽然不等于禁止恢复,但会影响OSD被自动标记为out后的处理结果,也可能让故障长期处于不完整状态。

可以先记录当前状态:

ceph osd dump | grep -E 'flags|full|nearfull'
ceph health detail

如果确认某个全局标志是维护遗留,且已经满足解除条件,再按实际标志处理。例如:

ceph osd unset norecover
ceph osd unset nobackfill

这类命令会影响集群范围内的PG。执行前应保存当前状态、确认没有正在进行的维护或故障隔离,并准备回滚方案;回滚不是“恢复服务”这么笼统,而是重新设置刚才解除的同一个标志。不要在没有确认状态的情况下批量执行unset。

恢复并发与mClock策略

恢复速度受到多个因素共同限制,包括OSD恢复并发、回填并发、客户端IO优先级、磁盘性能和网络容量。不同Ceph版本、不同调度策略下,旧版参数不一定直接生效。

先查看参数帮助和有效配置:

ceph config help osd_max_backfills
ceph config help osd_recovery_max_active
ceph config help osd_mclock_profile
ceph config dump

如果启用了mClock,osd_mclock_profile可能比传统恢复并发参数更能决定资源分配。此时不能看到osd_max_backfills数值较小就直接修改,还要确认参数来源、作用范围和当前调度策略。

提高恢复并发可能缩短恢复时间,也可能造成客户端IO延迟上升、磁盘队列堆积,甚至引发更多OSD超时。只有在网络、磁盘和容量都健康,并且业务能够承受额外IO时,才适合小范围、可回滚地调整。修改前记录有效值,修改后观察客户端延迟和OSD错误,出现恶化就恢复原配置。

容量与CRUSH布局

如果PG处于recovery_toofull或backfill_toofull,目标OSD没有足够空间,调高恢复并发不会有帮助。应检查:

ceph df
ceph osd df tree
ceph osd pool ls detail

重点观察是否存在单个OSD明显偏满、池副本数变化、CRUSH权重异常或某类设备已经接近容量阈值。不要为了让回填继续而盲目降低full ratio,也不要直接删除对象或使用强制丢弃未知对象的方式“清理”PG;这可能把容量问题变成数据风险。

如果状态是peering或incomplete,处理重点是找回可用OSD、恢复网络连接和确认权威副本,而不是调节恢复速率。未确认数据来源前,不应使用可能导致未找到对象被标记丢失的强制操作。

应用层:判断恢复是否被业务IO压住

Ceph恢复并不是独立于业务运行的后台任务。RBD随机写、CephFS大量小文件操作、对象存储批量上传或备份任务,都可能与恢复共享OSD、网络和CPU。

从以下现象可以判断业务竞争:

  • 恢复速率不为零,但客户端读写延迟同步升高。
  • ceph -s中的客户端IO在故障期间明显增加。
  • 业务高峰结束后,恢复速率自然提高。
  • 多个OSD的提交延迟一起升高,而网络错误和设备错误并不明显。

可以结合池级统计和业务监控查看:

ceph osd pool stats
ceph -s

如果确认业务竞争是主要原因,优先采用可解释、可回滚的措施,例如错开批量任务、降低备份并发、调整应用侧队列或在维护窗口恢复。不要仅通过提高Ceph恢复并发“抢资源”,否则可能导致业务超时,并进一步造成OSD抖动。

用指标组合定位,而不是依赖单一现象

以下组合可以作为现场判断的快速索引:

状态与指标组合更可能的原因处理方向
有degraded,恢复速率为0,存在norecover恢复被集群标志阻止核对维护状态后解除对应标志
有misplaced,大量backfill_wait,磁盘并不繁忙回填队列或并发限制检查回填策略、mClock和有效配置
recovery_toofull,单个目标OSD接近满载目标容量不足或数据分布不均增加空间、修正布局,避免盲目调阈值
PG长期peering或incompleteOSD不可达、连接异常或副本信息不完整查OSD日志、网络和PG详细状态
ceph osd perf延迟高,iostat的await和util同步升高磁盘、DB/WAL或共享设备瓶颈查设备健康、队列和故障日志
OSD频繁down/up,日志有超时或重启服务、硬件或网络抖动先稳定OSD,不要直接提高恢复并发
网络丢包、重传和交换机错误增加网络路径不稳定修复链路、MTU或端口问题
网络和设备正常,业务IO高峰时恢复下降客户端竞争资源错峰或降低业务并发,评估恢复策略

估算恢复时间,判断是慢还是没有进展

可以用待迁移数据量除以有效恢复速率做一个粗略估算,但应统一单位,并把它当作趋势参考。

例如待迁移数据量约为500 GiB,有效恢复速率约80 MiB/s:

  • 500 GiB = 500 × 1024 MiB = 512000 MiB
  • 预计秒数 = 512000 ÷ 80 = 6400秒
  • 6400秒 ÷ 3600 ≈ 1.78小时

实际时间通常更长,因为恢复速率会波动,Ceph还要处理元数据、校验、复制、客户端IO和不同设备之间的不均衡。如果待处理对象数连续下降,即使估算时间较长,也属于“慢但在推进”;如果待处理对象数、恢复速率和目标OSD状态在多个采样周期内都没有变化,才应按停滞处理。

修复后如何验证恢复真正完成

修复动作完成后,不要只看告警消失。建议分三个层次验证:

  1. PG状态恢复
   ceph -s
   ceph health detail
   ceph pg stat

确认相关池的degraded、undersized、misplaced数量持续下降,最终回到active+clean。如果仍有stale、incomplete或peering,不能认为恢复完成。

  1. 资源指标恢复

再次检查:

   ceph osd perf
   iostat -x 1 10

确认异常OSD的提交延迟、磁盘队列和主机IO等待回到可接受范围。恢复完成但设备延迟仍持续偏高,可能还有硬件或业务问题未解决。

  1. 业务与配置验证

检查客户端读写延迟、错误率和超时;确认临时设置的集群标志已经按计划恢复;确认没有遗留norecover、nobackfill或不符合预期的全局限流配置。最后复核容量分布,确保不是某个OSD刚好恢复完成但已经接近满载。

复发监控点

为了避免下次只看到“恢复很慢”而缺少证据,监控应同时覆盖状态、趋势和资源:

  • PG的degraded、undersized、misplaced数量及持续时间。
  • recovery_wait、backfill_wait、recovery_toofull和backfill_toofull出现次数。
  • 集群恢复速率、待处理对象数和待迁移数据量的下降趋势。
  • 每个OSD的提交延迟、应用延迟、重启次数和down/up抖动。
  • 磁盘await、利用率、队列长度、SMART异常和内核重置记录。
  • public network、cluster network及交换机端口的丢包、错误和重传。
  • nearfull、full水位以及OSD之间的容量偏斜。
  • 客户端IOPS、吞吐、延迟和错误率,特别是恢复期间的变化。
  • norecover、nobackfill、noout等集群标志的设置与解除操作。

告警条件可以按环境基线制定。例如,待恢复PG数量在连续多个采样周期内不下降、恢复速率持续为零、OSD延迟达到平时数倍,或单个OSD容量明显高于同类设备时触发人工检查。阈值不宜脱离硬件和业务基线统一套用,关键是保留故障前后时间序列,让恢复状态、主机指标和业务影响能够在同一条时间线上对应起来。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5601.html

相关推荐