存储服务器出现Ceph慢请求,如何结合延迟与磁盘指标定位瓶颈

发布人:A5数据发布时间:2026-11-09 10:52阅读量:71

Ceph出现慢请求时,不能只看 HEALTH_WARN、CPU使用率或某一块磁盘的 %util。更可靠的判断方式,是把客户端响应时间、Ceph OSD提交延迟、磁盘等待时间、队列深度、网络状态以及应用和数据库等待放在同一个时间窗口内对照:如果这些指标在同一时刻同步恶化,才有较强的因果关联;如果只有一个指标异常,则应先排除监控口径或替代原因。

通常,客户端请求变慢且 ceph osd perf 中某些 OSD 的 commit_latency、apply_latency 同步升高,同时对应设备的 await、队列深度和写入等待明显增加,才可以优先判断为OSD后端存储路径拥塞。若Ceph延迟升高但磁盘延迟正常,则还要继续检查CPU、内存回收、网络丢包、OSD队列、PG恢复,以及应用或数据库自身的等待。

先明确Ceph“慢请求”代表什么

Ceph告警中的慢请求,表示某些操作在OSD侧等待时间过长,或者请求在OSD队列、PG处理、日志提交、数据落盘等阶段停留过久。它不等同于客户端看到的完整响应时间,也不直接等同于某块磁盘的硬件响应时间。

一次典型的写请求可能经过以下路径:

客户端或应用发起请求 → 网络传输 → 主OSD接收并排队 → 副本OSD处理 → BlueStore及其DB/WAL设备提交 → 数据盘写入 → OSD返回结果 → 应用获得响应。

先明确Ceph“慢请求”代表什么配图

其中任一环节出现排队,都会让客户端感知到延迟上升。例如:

  • OSD侧 commit_latency 升高,可能说明事务提交相关路径变慢,但不必然代表数据盘本身故障。
  • apply_latency 升高,可能与OSD处理、事务应用、内部队列或后端设备等待有关。
  • iostat 的 await 是块设备请求平均等待时间,反映的是操作系统块层观测结果,不是单个Ceph请求的完整耗时。
  • ceph -s 中的慢请求数量或最老慢请求时间,适合确认集群是否持续积压,但不适合单独定位CPU、网络或磁盘原因。

不同Ceph版本、存储后端和部署方式的字段含义、输出格式可能略有差异。因此,先记录版本信息,再结合多项指标判断,不要把某个字段当作唯一结论。

建立统一的观察窗口

慢请求通常是一个时间事件,而不是静态属性。排查时应至少保留故障前、故障中和恢复后的数据。短时抖动可观察5至10分钟;如果业务峰值、备份或恢复任务周期较长,建议覆盖一个完整业务周期。

先在管理节点获取集群状态:

date -Is
ceph version
ceph -s
ceph health detail
ceph osd perf
ceph osd df tree
ceph pg stat

重点记录以下信息:

  • 慢请求首次出现的时间、持续时间和最老请求年龄。
  • 是否同时出现OSD down、PG异常、peering、recovery或backfill。
  • 哪些OSD的提交延迟明显高于其他OSD。
  • 数据分布是否不均衡,是否存在少数OSD接近满载。
  • 故障发生前是否有OSD重启、网络切换、磁盘替换或配置变更。

随后在疑似OSD所在的存储服务器上,按照相同时间间隔采集系统指标:

iostat -xz 1 10
vmstat 1 10
sar -n DEV 1 10
ss -s

如果已经确定具体OSD进程,可以进一步观察进程级资源使用情况:

pidstat -u -r -d -p <OSD_PID> 1 10

iostat、vmstat和pidstat通常由sysstat工具包提供。<OSD_PID>需要替换为实际进程号,不要直接套用示例值。存储设备名称也要先通过主机的设备清单确认,不能仅凭OSD编号猜测对应的块设备。

对齐数据时,至少统一以下时间和粒度:

  1. 客户端记录的请求开始、结束和超时时间。
  2. Ceph告警或OSD性能指标的采样时间。
  3. iostat等系统指标的采样区间。
  4. 应用日志、数据库慢查询和网络监控的时间戳。

如果客户端日志使用本地时间、Ceph监控使用UTC,或者不同节点时间不同步,容易把两个不同时段的事件误认为同一故障。排查前应确认节点时间同步状态。

先用延迟和磁盘指标确认存储路径

关注“延迟升高”和“磁盘排队”是否同时出现

在疑似磁盘瓶颈中,最有价值的不是单独看吞吐量,而是观察以下指标是否同步变化:

  • Ceph OSD的 commit_latency、apply_latency。
  • 块设备的 await、读写等待时间。
  • avgqu-sz或同类队列深度指标。
  • %util、读写IOPS和实际读写带宽。
  • OSD所在进程的CPU和系统IO等待。
  • 客户端请求的p95、p99延迟和超时率。

以下数据为便于说明构造的模拟监控数据,不代表某个实际集群:

先用延迟和磁盘指标确认存储路径配图

时间段客户端p99OSD commit延迟目标设备await队列深度设备util现象判断
10:00-10:0535 ms4 ms5 ms1.146%正常基线
10:05-10:10180 ms48 ms52 ms9.882%存储路径开始排队
10:10-10:151.8 s310 ms145 ms31.499%磁盘或其前置队列明显拥塞
10:15-10:2042 ms5 ms6 ms1.349%负载恢复后延迟回落

如果多个OSD在同一节点上出现相似变化,而且客户端延迟也同步升高,说明问题更可能位于该节点的共享资源,例如磁盘组、DB/WAL设备、HBA、PCIe通道或节点级IO调度,而不是某一个PG的偶发抖动。

如果只有一个OSD延迟升高,应先确认该OSD对应的设备是否出现:

  • 读写等待明显高于同节点其他设备。
  • 队列持续增长而不是单个采样点突刺。
  • 设备错误、超时、重置或链路异常。
  • BlueStore的DB/WAL设备与数据设备之间存在局部拥塞。
  • OSD数据分布过热,导致请求集中到少数PG或OSD。

不要把%util当作磁盘瓶颈的充分条件

%util接近100%只表示采样期间设备较为繁忙,并不能直接证明设备已经达到性能上限。高并发NVMe设备可能在高利用率下仍有较低延迟;机械盘在较低利用率下也可能因为随机IO或寻道出现较高等待。

更有意义的组合是:

  • %util持续偏高;
  • await或读写等待相对业务基线显著增加;
  • 队列深度随请求量增加而持续堆积;
  • Ceph OSD提交延迟与设备等待在相同时间段升高;
  • 降低业务IO或恢复任务后,多个延迟指标一起回落。

如果只有吞吐量增加,但await、队列和客户端p99没有变化,通常不能直接判定为瓶颈。反过来,如果吞吐量并不高,但随机IO使队列和等待时间持续升高,也可能已经形成存储瓶颈。

区分数据盘、DB和WAL设备

BlueStore环境中,OSD可能同时使用数据设备、block.db和block.wal。发生慢请求时,不能只观察容量最大的那块数据盘。

需要确认:

  • 数据盘是否承担大量随机读写。
  • block.db是否放在单独SSD或NVMe上。
  • block.wal是否与其他高负载设备共享。
  • 多个OSD是否共享同一个物理设备、控制器或PCIe链路。
  • 设备的写缓存、掉电保护和固件状态是否符合部署要求。

如果数据盘的await正常,但承载DB或WAL的设备队列明显升高,OSD提交延迟仍可能变大。此时直接更换数据盘或增加容量,未必能解决慢请求。

A5idc数据提供香港、美国、日本等地区的物理服务器资源,覆盖SSD、NVMe及大容量企业级硬盘方案,可为Ceph数据盘、DB/WAL设备以及备份归档节点提供不同存储基础。结合AMD EPYC、Xeon等处理器、不同内存配置和相应线路带宽,能够支持存储集群、数据库及多任务业务的节点部署。

用联动关系排除其他瓶颈

CPU瓶颈:看OSD进程和运行队列,而不是只看总CPU

CPU不足可能使OSD无法及时处理请求、计算校验、完成压缩,或者处理大量网络和事务事件。判断CPU瓶颈时,应同时观察:

  • ceph-osd进程的用户态和内核态CPU。
  • 主机整体的system CPU、iowait和steal。
  • vmstat中的运行队列。
  • OSD延迟与CPU升高是否同步。
  • 磁盘await和队列是否保持正常。

典型特征是:OSD延迟明显升高,OSD进程CPU长期接近单核或多核上限,运行队列变长,而对应磁盘的await和队列没有同步恶化。若CPU升高的同时磁盘等待也很高,CPU可能只是IO拥塞后的伴随现象,不能先下CPU瓶颈结论。

还要注意虚拟化环境中的steal time。如果宿主机调度不足,虚拟机内看到的CPU使用率不一定很高,但OSD仍会出现处理不及时的现象。

内存瓶颈:重点看回收、换入换出和缺页

Linux显示的内存使用率较高,不代表一定缺内存。Ceph和文件系统会使用缓存,缓存占用本身并不是故障证据。

更应关注:

  • vmstat中的si、so是否持续非零。
  • free -h中的available是否快速下降。
  • major page fault是否增加。
  • OSD进程是否被OOM终止或频繁重启。
  • 内存回收是否与客户端p99、OSD延迟在同一时间发生。

如果出现持续swap、严重内存回收或OOM,系统可能把本应及时处理的OSD工作推迟,形成慢请求。但如果只有“used内存较高”,没有换入换出、缺页和延迟联动,就不应直接把内存判为瓶颈。

网络瓶颈:比较Ceph延迟和接口质量

Ceph通常涉及客户端网络和OSD之间的集群网络。副本写入、恢复和回填会放大网络影响。检查时要同时看接口带宽、丢包、错误、重传和连接状态:

sar -n DEV 1 10
ip -s link
ss -s

如果系统支持网卡厂商统计,还可以读取指定接口的计数器:

ethtool -S <网卡名>

网络瓶颈的典型表现包括:

  • 客户端p99与OSD延迟同步升高。
  • 磁盘await和队列相对正常。
  • 网卡出现丢包、错误、重传或带宽持续接近链路上限。
  • 只有经过某个交换链路、网卡或节点的OSD异常。
  • 跨节点副本写入比本地读请求更明显地变慢。

带宽达到较高水平并不必然表示网络已经成为瓶颈;如果没有丢包、重传和延迟排队,可能只是业务流量增加。相反,低带宽下的错误包或链路抖动,也可能造成明显的Ceph慢请求。

恢复、回填和PG状态:不要误判成磁盘故障

OSD恢复、PG回填、数据均衡和副本修复会同时消耗磁盘、网络和CPU资源。它们常常造成客户端延迟上升,但根因是后台任务与前台业务争用资源。

通过以下信息确认集群是否处于恢复阶段:

ceph -s
ceph health detail
ceph pg stat

如果慢请求从恢复任务开始后出现,多个OSD的磁盘队列和网络流量同时升高,业务负载本身没有明显变化,那么应优先考虑恢复争用,而不是立即认定某块盘损坏。

还要观察是否只有少数OSD成为热点。ceph osd df tree可以帮助检查容量和负载分布,但容量均衡不等于IO负载均衡。一个容量使用率正常的OSD,仍可能因为热点PG、业务访问模式或副本布局而承担更多IO。

应用和数据库瓶颈:确认慢请求是否真的来自Ceph

应用响应时间变长,不一定代表Ceph变慢。应用线程池耗尽、连接池等待、锁竞争、序列化开销和下游接口超时,都可能让最终响应时间升高。

应把以下指标与Ceph时间线对照:

  • 应用请求p50、p95、p99和超时率。
  • 应用线程池、连接池和队列等待。
  • 数据库连接数、锁等待、事务提交时间和慢查询。
  • 数据库自身的磁盘延迟与IOPS。
  • Ceph客户端侧请求耗时。

若应用和数据库延迟升高,但Ceph的OSD延迟、磁盘等待和网络指标均保持基线水平,优先检查应用或数据库。若数据库提交延迟与Ceph慢请求同一时间升高,且数据库所在RBD或文件系统的IO等待同步增加,才更支持“Ceph存储路径向上游传导”的判断。

按固定顺序形成瓶颈判断

可以将排查过程压缩为六个动作,避免看到单点异常就修改配置。

1. 建立观察窗口

记录故障发生前后至少一段完整时间,保存客户端延迟、超时率、慢请求告警、OSD延迟和系统指标。对于周期性故障,还要覆盖业务峰值、备份、快照或恢复任务。

2. 找到变化最先出现的指标

比较各指标的时间顺序:

  • 是客户端先变慢,还是Ceph先出现慢请求?
  • 是磁盘队列先增长,还是OSD CPU先升高?
  • 网络错误是在延迟上升前出现,还是延迟上升后的结果?
  • PG恢复是否恰好在同一时间开始?

最早出现且能在多个相关指标中复现的变化,通常比故障结束时仍然存在的指标更有诊断价值。

3. 检查Ceph延迟是否集中在特定OSD

查看ceph osd perf,比较各OSD的延迟分布,不要只看集群平均值。集群平均延迟可能掩盖一个高延迟OSD,也可能把少量热点请求稀释掉。

如果高延迟集中在同一节点或同一设备组,继续检查本地IO;如果所有OSD同步升高,应扩大到网络、恢复任务、集群级负载和客户端请求量。

4. 将OSD延迟与磁盘指标联动

对照目标设备的await、读写等待、队列深度和利用率:

按固定顺序形成瓶颈判断配图

  • OSD延迟高、磁盘等待高、队列增长:优先检查磁盘、DB/WAL、控制器和共享设备。
  • OSD延迟高、磁盘等待低、OSD CPU高:优先检查CPU调度、校验、压缩和进程争用。
  • OSD延迟高、磁盘等待低、网络错误或重传高:优先检查网络链路。
  • OSD延迟高但系统指标均正常:检查PG状态、OSD内部队列、版本问题和监控采样差异。

5. 排除替代解释

确认是否存在恢复、回填、备份、快照、容量接近上限、应用突发流量或数据库锁等待。还要确认磁盘指标采集的是正确设备,不能因为OSD编号与设备名称没有直接对应关系而误判。

6. 进行可控复测

在不改变多个变量的情况下,观察负载降低、后台任务结束或流量回落后指标是否一起恢复。需要进一步验证时,应使用与生产业务相近的请求类型和并发度,在测试集群或隔离资源中进行。

不建议直接在生产池执行高并发基准测试来“验证磁盘是否慢”,因为测试本身可能扩大慢请求范围。任何涉及暂停服务、迁移OSD、调整恢复参数或更换设备的操作,都应先确认副本健康、保留配置和回滚路径,并评估对业务可用性的影响。

用模拟数据理解几种常见结果

以下示例用于说明判断逻辑,数据为模拟值。

场景客户端p99OSD延迟磁盘await/队列CPU或网络更合理的初步判断
A40 ms升至1.6 s5 ms升至280 ms6 ms升至130 ms,队列持续增长CPU中等,网络无错误后端磁盘、DB/WAL或共享存储路径拥塞
B35 ms升至900 ms8 ms升至260 ms5 ms,队列无明显变化OSD进程CPU接近上限,运行队列变长CPU处理或调度瓶颈
C30 ms升至1.2 s6 ms升至210 ms7 ms,设备利用率中等网卡重传、丢包或错误增加网络链路或接口质量问题
D应用p99升高,Ceph侧基本不变4至7 ms基本稳定数据库锁等待和连接池等待升高应用或数据库瓶颈
E业务p99与OSD延迟同步升高多个OSD同时升高多块盘队列同步增加ceph -s显示恢复或回填后台恢复任务与前台业务争用

场景A仍然需要进一步确认是数据盘、DB/WAL、控制器还是共享设备;“磁盘路径拥塞”是阶段性判断,不是对某块硬盘故障的最终结论。场景B中如果CPU升高是在磁盘队列增长之后出现,也可能是IO拥塞带来的系统开销,因此时间顺序很重要。场景E则不宜只更换磁盘,因为恢复任务、网络带宽和OSD调度都可能参与其中。

复测时保留同一组指标

完成一次调整、负载变化或后台任务结束后,应再次使用相同时间粒度采集:

  • 客户端p50、p95、p99和错误率。
  • ceph -s、ceph health detail中的慢请求与PG状态。
  • ceph osd perf的提交和应用延迟。
  • 目标设备的await、读写IOPS、队列深度和利用率。
  • OSD进程CPU、主机运行队列、iowait、内存回收。
  • 客户端网络与集群网络的带宽、丢包、重传。
  • 应用线程池、数据库连接池、锁等待和慢查询。

如果调整后客户端延迟下降,但OSD延迟和磁盘队列没有变化,可能只是应用流量回落或请求类型改变;如果磁盘等待下降而OSD延迟仍高,则应继续检查OSD进程、网络和PG状态;只有多个相关指标按同一方向恢复,才可以认为定位结论得到复测支持。

下一次告警时同时观察什么

下次出现Ceph慢请求,不要只截取一条ceph health detail输出。建议同时保留一组带时间戳的指标:

客户端p99/超时率 + Ceph慢请求年龄 + OSD commit/apply延迟 + 目标设备await/队列/%util + OSD CPU/运行队列 + 网络错误/重传 + PG恢复状态 + 应用或数据库等待。

这组数据能够把“请求变慢”拆分为存储后端排队、OSD处理不足、网络传输异常、集群后台任务争用,以及应用数据库自身等待等不同路径。判断的重点不是寻找一个适用于所有环境的固定阈值,而是确认多个指标是否在同一时间、同一对象和同一方向上发生变化。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/8413.html