存储服务器出现Ceph慢请求,如何结合延迟与磁盘指标定位瓶颈
Ceph出现慢请求时,不能只看 HEALTH_WARN、CPU使用率或某一块磁盘的 %util。更可靠的判断方式,是把客户端响应时间、Ceph OSD提交延迟、磁盘等待时间、队列深度、网络状态以及应用和数据库等待放在同一个时间窗口内对照:如果这些指标在同一时刻同步恶化,才有较强的因果关联;如果只有一个指标异常,则应先排除监控口径或替代原因。
通常,客户端请求变慢且 ceph osd perf 中某些 OSD 的 commit_latency、apply_latency 同步升高,同时对应设备的 await、队列深度和写入等待明显增加,才可以优先判断为OSD后端存储路径拥塞。若Ceph延迟升高但磁盘延迟正常,则还要继续检查CPU、内存回收、网络丢包、OSD队列、PG恢复,以及应用或数据库自身的等待。
先明确Ceph“慢请求”代表什么
Ceph告警中的慢请求,表示某些操作在OSD侧等待时间过长,或者请求在OSD队列、PG处理、日志提交、数据落盘等阶段停留过久。它不等同于客户端看到的完整响应时间,也不直接等同于某块磁盘的硬件响应时间。
一次典型的写请求可能经过以下路径:
客户端或应用发起请求 → 网络传输 → 主OSD接收并排队 → 副本OSD处理 → BlueStore及其DB/WAL设备提交 → 数据盘写入 → OSD返回结果 → 应用获得响应。

其中任一环节出现排队,都会让客户端感知到延迟上升。例如:
- OSD侧
commit_latency升高,可能说明事务提交相关路径变慢,但不必然代表数据盘本身故障。 apply_latency升高,可能与OSD处理、事务应用、内部队列或后端设备等待有关。iostat的await是块设备请求平均等待时间,反映的是操作系统块层观测结果,不是单个Ceph请求的完整耗时。ceph -s中的慢请求数量或最老慢请求时间,适合确认集群是否持续积压,但不适合单独定位CPU、网络或磁盘原因。
不同Ceph版本、存储后端和部署方式的字段含义、输出格式可能略有差异。因此,先记录版本信息,再结合多项指标判断,不要把某个字段当作唯一结论。
建立统一的观察窗口
慢请求通常是一个时间事件,而不是静态属性。排查时应至少保留故障前、故障中和恢复后的数据。短时抖动可观察5至10分钟;如果业务峰值、备份或恢复任务周期较长,建议覆盖一个完整业务周期。
先在管理节点获取集群状态:
date -Is
ceph version
ceph -s
ceph health detail
ceph osd perf
ceph osd df tree
ceph pg stat
重点记录以下信息:
- 慢请求首次出现的时间、持续时间和最老请求年龄。
- 是否同时出现OSD down、PG异常、peering、recovery或backfill。
- 哪些OSD的提交延迟明显高于其他OSD。
- 数据分布是否不均衡,是否存在少数OSD接近满载。
- 故障发生前是否有OSD重启、网络切换、磁盘替换或配置变更。
随后在疑似OSD所在的存储服务器上,按照相同时间间隔采集系统指标:
iostat -xz 1 10
vmstat 1 10
sar -n DEV 1 10
ss -s
如果已经确定具体OSD进程,可以进一步观察进程级资源使用情况:
pidstat -u -r -d -p <OSD_PID> 1 10
iostat、vmstat和pidstat通常由sysstat工具包提供。<OSD_PID>需要替换为实际进程号,不要直接套用示例值。存储设备名称也要先通过主机的设备清单确认,不能仅凭OSD编号猜测对应的块设备。
对齐数据时,至少统一以下时间和粒度:
- 客户端记录的请求开始、结束和超时时间。
- Ceph告警或OSD性能指标的采样时间。
iostat等系统指标的采样区间。- 应用日志、数据库慢查询和网络监控的时间戳。
如果客户端日志使用本地时间、Ceph监控使用UTC,或者不同节点时间不同步,容易把两个不同时段的事件误认为同一故障。排查前应确认节点时间同步状态。
先用延迟和磁盘指标确认存储路径
关注“延迟升高”和“磁盘排队”是否同时出现
在疑似磁盘瓶颈中,最有价值的不是单独看吞吐量,而是观察以下指标是否同步变化:
- Ceph OSD的
commit_latency、apply_latency。 - 块设备的
await、读写等待时间。 avgqu-sz或同类队列深度指标。%util、读写IOPS和实际读写带宽。- OSD所在进程的CPU和系统IO等待。
- 客户端请求的p95、p99延迟和超时率。
以下数据为便于说明构造的模拟监控数据,不代表某个实际集群:

| 时间段 | 客户端p99 | OSD commit延迟 | 目标设备await | 队列深度 | 设备util | 现象判断 |
|---|---|---|---|---|---|---|
| 10:00-10:05 | 35 ms | 4 ms | 5 ms | 1.1 | 46% | 正常基线 |
| 10:05-10:10 | 180 ms | 48 ms | 52 ms | 9.8 | 82% | 存储路径开始排队 |
| 10:10-10:15 | 1.8 s | 310 ms | 145 ms | 31.4 | 99% | 磁盘或其前置队列明显拥塞 |
| 10:15-10:20 | 42 ms | 5 ms | 6 ms | 1.3 | 49% | 负载恢复后延迟回落 |
如果多个OSD在同一节点上出现相似变化,而且客户端延迟也同步升高,说明问题更可能位于该节点的共享资源,例如磁盘组、DB/WAL设备、HBA、PCIe通道或节点级IO调度,而不是某一个PG的偶发抖动。
如果只有一个OSD延迟升高,应先确认该OSD对应的设备是否出现:
- 读写等待明显高于同节点其他设备。
- 队列持续增长而不是单个采样点突刺。
- 设备错误、超时、重置或链路异常。
- BlueStore的DB/WAL设备与数据设备之间存在局部拥塞。
- OSD数据分布过热,导致请求集中到少数PG或OSD。
不要把%util当作磁盘瓶颈的充分条件
%util接近100%只表示采样期间设备较为繁忙,并不能直接证明设备已经达到性能上限。高并发NVMe设备可能在高利用率下仍有较低延迟;机械盘在较低利用率下也可能因为随机IO或寻道出现较高等待。
更有意义的组合是:
%util持续偏高;await或读写等待相对业务基线显著增加;- 队列深度随请求量增加而持续堆积;
- Ceph OSD提交延迟与设备等待在相同时间段升高;
- 降低业务IO或恢复任务后,多个延迟指标一起回落。
如果只有吞吐量增加,但await、队列和客户端p99没有变化,通常不能直接判定为瓶颈。反过来,如果吞吐量并不高,但随机IO使队列和等待时间持续升高,也可能已经形成存储瓶颈。
区分数据盘、DB和WAL设备
BlueStore环境中,OSD可能同时使用数据设备、block.db和block.wal。发生慢请求时,不能只观察容量最大的那块数据盘。
需要确认:
- 数据盘是否承担大量随机读写。
block.db是否放在单独SSD或NVMe上。block.wal是否与其他高负载设备共享。- 多个OSD是否共享同一个物理设备、控制器或PCIe链路。
- 设备的写缓存、掉电保护和固件状态是否符合部署要求。
如果数据盘的await正常,但承载DB或WAL的设备队列明显升高,OSD提交延迟仍可能变大。此时直接更换数据盘或增加容量,未必能解决慢请求。
A5idc数据提供香港、美国、日本等地区的物理服务器资源,覆盖SSD、NVMe及大容量企业级硬盘方案,可为Ceph数据盘、DB/WAL设备以及备份归档节点提供不同存储基础。结合AMD EPYC、Xeon等处理器、不同内存配置和相应线路带宽,能够支持存储集群、数据库及多任务业务的节点部署。
用联动关系排除其他瓶颈
CPU瓶颈:看OSD进程和运行队列,而不是只看总CPU
CPU不足可能使OSD无法及时处理请求、计算校验、完成压缩,或者处理大量网络和事务事件。判断CPU瓶颈时,应同时观察:
ceph-osd进程的用户态和内核态CPU。- 主机整体的system CPU、iowait和steal。
vmstat中的运行队列。- OSD延迟与CPU升高是否同步。
- 磁盘
await和队列是否保持正常。
典型特征是:OSD延迟明显升高,OSD进程CPU长期接近单核或多核上限,运行队列变长,而对应磁盘的await和队列没有同步恶化。若CPU升高的同时磁盘等待也很高,CPU可能只是IO拥塞后的伴随现象,不能先下CPU瓶颈结论。
还要注意虚拟化环境中的steal time。如果宿主机调度不足,虚拟机内看到的CPU使用率不一定很高,但OSD仍会出现处理不及时的现象。
内存瓶颈:重点看回收、换入换出和缺页
Linux显示的内存使用率较高,不代表一定缺内存。Ceph和文件系统会使用缓存,缓存占用本身并不是故障证据。
更应关注:
vmstat中的si、so是否持续非零。free -h中的available是否快速下降。- major page fault是否增加。
- OSD进程是否被OOM终止或频繁重启。
- 内存回收是否与客户端p99、OSD延迟在同一时间发生。
如果出现持续swap、严重内存回收或OOM,系统可能把本应及时处理的OSD工作推迟,形成慢请求。但如果只有“used内存较高”,没有换入换出、缺页和延迟联动,就不应直接把内存判为瓶颈。
网络瓶颈:比较Ceph延迟和接口质量
Ceph通常涉及客户端网络和OSD之间的集群网络。副本写入、恢复和回填会放大网络影响。检查时要同时看接口带宽、丢包、错误、重传和连接状态:
sar -n DEV 1 10
ip -s link
ss -s
如果系统支持网卡厂商统计,还可以读取指定接口的计数器:
ethtool -S <网卡名>
网络瓶颈的典型表现包括:
- 客户端p99与OSD延迟同步升高。
- 磁盘
await和队列相对正常。 - 网卡出现丢包、错误、重传或带宽持续接近链路上限。
- 只有经过某个交换链路、网卡或节点的OSD异常。
- 跨节点副本写入比本地读请求更明显地变慢。
带宽达到较高水平并不必然表示网络已经成为瓶颈;如果没有丢包、重传和延迟排队,可能只是业务流量增加。相反,低带宽下的错误包或链路抖动,也可能造成明显的Ceph慢请求。
恢复、回填和PG状态:不要误判成磁盘故障
OSD恢复、PG回填、数据均衡和副本修复会同时消耗磁盘、网络和CPU资源。它们常常造成客户端延迟上升,但根因是后台任务与前台业务争用资源。
通过以下信息确认集群是否处于恢复阶段:
ceph -s
ceph health detail
ceph pg stat
如果慢请求从恢复任务开始后出现,多个OSD的磁盘队列和网络流量同时升高,业务负载本身没有明显变化,那么应优先考虑恢复争用,而不是立即认定某块盘损坏。
还要观察是否只有少数OSD成为热点。ceph osd df tree可以帮助检查容量和负载分布,但容量均衡不等于IO负载均衡。一个容量使用率正常的OSD,仍可能因为热点PG、业务访问模式或副本布局而承担更多IO。
应用和数据库瓶颈:确认慢请求是否真的来自Ceph
应用响应时间变长,不一定代表Ceph变慢。应用线程池耗尽、连接池等待、锁竞争、序列化开销和下游接口超时,都可能让最终响应时间升高。
应把以下指标与Ceph时间线对照:
- 应用请求p50、p95、p99和超时率。
- 应用线程池、连接池和队列等待。
- 数据库连接数、锁等待、事务提交时间和慢查询。
- 数据库自身的磁盘延迟与IOPS。
- Ceph客户端侧请求耗时。
若应用和数据库延迟升高,但Ceph的OSD延迟、磁盘等待和网络指标均保持基线水平,优先检查应用或数据库。若数据库提交延迟与Ceph慢请求同一时间升高,且数据库所在RBD或文件系统的IO等待同步增加,才更支持“Ceph存储路径向上游传导”的判断。
按固定顺序形成瓶颈判断
可以将排查过程压缩为六个动作,避免看到单点异常就修改配置。
1. 建立观察窗口
记录故障发生前后至少一段完整时间,保存客户端延迟、超时率、慢请求告警、OSD延迟和系统指标。对于周期性故障,还要覆盖业务峰值、备份、快照或恢复任务。
2. 找到变化最先出现的指标
比较各指标的时间顺序:
- 是客户端先变慢,还是Ceph先出现慢请求?
- 是磁盘队列先增长,还是OSD CPU先升高?
- 网络错误是在延迟上升前出现,还是延迟上升后的结果?
- PG恢复是否恰好在同一时间开始?
最早出现且能在多个相关指标中复现的变化,通常比故障结束时仍然存在的指标更有诊断价值。
3. 检查Ceph延迟是否集中在特定OSD
查看ceph osd perf,比较各OSD的延迟分布,不要只看集群平均值。集群平均延迟可能掩盖一个高延迟OSD,也可能把少量热点请求稀释掉。
如果高延迟集中在同一节点或同一设备组,继续检查本地IO;如果所有OSD同步升高,应扩大到网络、恢复任务、集群级负载和客户端请求量。
4. 将OSD延迟与磁盘指标联动
对照目标设备的await、读写等待、队列深度和利用率:

- OSD延迟高、磁盘等待高、队列增长:优先检查磁盘、DB/WAL、控制器和共享设备。
- OSD延迟高、磁盘等待低、OSD CPU高:优先检查CPU调度、校验、压缩和进程争用。
- OSD延迟高、磁盘等待低、网络错误或重传高:优先检查网络链路。
- OSD延迟高但系统指标均正常:检查PG状态、OSD内部队列、版本问题和监控采样差异。
5. 排除替代解释
确认是否存在恢复、回填、备份、快照、容量接近上限、应用突发流量或数据库锁等待。还要确认磁盘指标采集的是正确设备,不能因为OSD编号与设备名称没有直接对应关系而误判。
6. 进行可控复测
在不改变多个变量的情况下,观察负载降低、后台任务结束或流量回落后指标是否一起恢复。需要进一步验证时,应使用与生产业务相近的请求类型和并发度,在测试集群或隔离资源中进行。
不建议直接在生产池执行高并发基准测试来“验证磁盘是否慢”,因为测试本身可能扩大慢请求范围。任何涉及暂停服务、迁移OSD、调整恢复参数或更换设备的操作,都应先确认副本健康、保留配置和回滚路径,并评估对业务可用性的影响。
用模拟数据理解几种常见结果
以下示例用于说明判断逻辑,数据为模拟值。
| 场景 | 客户端p99 | OSD延迟 | 磁盘await/队列 | CPU或网络 | 更合理的初步判断 |
|---|---|---|---|---|---|
| A | 40 ms升至1.6 s | 5 ms升至280 ms | 6 ms升至130 ms,队列持续增长 | CPU中等,网络无错误 | 后端磁盘、DB/WAL或共享存储路径拥塞 |
| B | 35 ms升至900 ms | 8 ms升至260 ms | 5 ms,队列无明显变化 | OSD进程CPU接近上限,运行队列变长 | CPU处理或调度瓶颈 |
| C | 30 ms升至1.2 s | 6 ms升至210 ms | 7 ms,设备利用率中等 | 网卡重传、丢包或错误增加 | 网络链路或接口质量问题 |
| D | 应用p99升高,Ceph侧基本不变 | 4至7 ms | 基本稳定 | 数据库锁等待和连接池等待升高 | 应用或数据库瓶颈 |
| E | 业务p99与OSD延迟同步升高 | 多个OSD同时升高 | 多块盘队列同步增加 | ceph -s显示恢复或回填 | 后台恢复任务与前台业务争用 |
场景A仍然需要进一步确认是数据盘、DB/WAL、控制器还是共享设备;“磁盘路径拥塞”是阶段性判断,不是对某块硬盘故障的最终结论。场景B中如果CPU升高是在磁盘队列增长之后出现,也可能是IO拥塞带来的系统开销,因此时间顺序很重要。场景E则不宜只更换磁盘,因为恢复任务、网络带宽和OSD调度都可能参与其中。
复测时保留同一组指标
完成一次调整、负载变化或后台任务结束后,应再次使用相同时间粒度采集:
- 客户端p50、p95、p99和错误率。
ceph -s、ceph health detail中的慢请求与PG状态。ceph osd perf的提交和应用延迟。- 目标设备的
await、读写IOPS、队列深度和利用率。 - OSD进程CPU、主机运行队列、iowait、内存回收。
- 客户端网络与集群网络的带宽、丢包、重传。
- 应用线程池、数据库连接池、锁等待和慢查询。
如果调整后客户端延迟下降,但OSD延迟和磁盘队列没有变化,可能只是应用流量回落或请求类型改变;如果磁盘等待下降而OSD延迟仍高,则应继续检查OSD进程、网络和PG状态;只有多个相关指标按同一方向恢复,才可以认为定位结论得到复测支持。
下一次告警时同时观察什么
下次出现Ceph慢请求,不要只截取一条ceph health detail输出。建议同时保留一组带时间戳的指标:
客户端p99/超时率 + Ceph慢请求年龄 + OSD commit/apply延迟 + 目标设备await/队列/%util + OSD CPU/运行队列 + 网络错误/重传 + PG恢复状态 + 应用或数据库等待。
这组数据能够把“请求变慢”拆分为存储后端排队、OSD处理不足、网络传输异常、集群后台任务争用,以及应用数据库自身等待等不同路径。判断的重点不是寻找一个适用于所有环境的固定阈值,而是确认多个指标是否在同一时间、同一对象和同一方向上发生变化。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/8413.html