Ceph慢请求如何分层排查?从存储服务器定位延迟来源
Ceph慢请求通常表现为客户端读写延迟升高、请求超时,或集群出现 slow ops 告警;但这不等于某块磁盘已经损坏。延迟可能来自客户端到存储节点的网络、主机资源争用、OSD处理与副本确认,也可能出现在RBD、CephFS或RGW的上层服务。排查时要先确认影响范围,再沿请求路径逐层缩小范围,不能仅凭一条告警就重启OSD或更换磁盘。
判断的关键是把“客户端感受到的慢”与“Ceph内部哪一段在等待”对应起来。以下命令和日志格式会因Ceph版本、部署方式及发行版有所差异;执行前应确认当前集群版本和命令支持情况。示例输出用于说明判断方法,不代表特定环境的实测结果。
一、先确认症状和影响范围
先记录延迟开始时间、持续时长、受影响的客户端和业务类型,并确认问题是持续存在还是间歇出现。最好同时收集客户端侧的读写延迟、超时率和吞吐变化;仅看到某个时刻的集群状态,往往不足以还原故障过程。
在管理节点查看集群健康状态和OSD延迟概况:
ceph -s
ceph health detail
ceph osd perf
重点确认以下信息:
HEALTH_WARN或HEALTH_ERR是否包含慢请求、OSD down、PG异常、恢复或回填等提示。- 慢请求集中在哪些OSD,还是分散在多个节点。
- 集群是否正进行恢复、回填、深度清理,或者近期有OSD上线、下线和拓扑变化。
- 客户端症状是否与告警时间吻合。集群告警时间和业务延迟时间不一致时,应继续核对时钟同步、日志时区和采集间隔。
ceph osd perf中的提交延迟和应用延迟可用于发现异常OSD,但它们不是客户端端到端延迟,也不能单独说明根因。不同版本对字段和统计口径可能有差异,比较时应以同一集群、同一时段的OSD之间及历史基线为参照。
按影响范围划分问题
| 观察到的范围 | 优先怀疑方向 | 下一步核对 |
|---|---|---|
| 单个客户端或单台应用服务器变慢 | 客户端负载、网卡、驱动、连接路径、客户端配置 | 对比其他客户端访问同一池或同一文件系统的表现 |
| 某个池、文件系统或网关业务变慢 | 对应PG、OSD分布、MDS或RGW服务 | 查对象所在PG、相关守护进程和同一业务的请求日志 |
| 多种业务同时变慢 | 网络核心路径、OSD节点资源、集群恢复或共享设备 | 对比多个客户端、多个池与多个存储节点的时间序列 |
| 少数OSD延迟明显突出 | 节点网卡、磁盘、CPU、内存及该OSD所在PG | 将OSD编号映射到主机、设备和机架,再核对主机指标 |
这一步的目标不是直接判定原因,而是判断故障是否具有共同的节点、链路或服务依赖。
二、建立请求路径上的原因树
常见的排查路径可以概括为:客户端发起读写,经网络到达Ceph服务进程,再由OSD处理PG和副本操作,最终等待本地设备及相关副本完成。具体路径因协议和业务类型不同而异。

- 客户端与网络层:客户端CPU或网卡拥塞、丢包、MTU不一致、交换机端口错误,可能使请求迟到或重传。
- 存储主机系统层:CPU争用、内存压力、软中断积压、磁盘队列过长等,会拖慢OSD进程或设备I/O。
- Ceph服务层:OSD忙于恢复、回填、清理或其他请求;PG状态异常;副本响应变慢。
- 业务入口与上层服务:RBD客户端、CephFS的MDS、RGW前端或其依赖服务可能成为瓶颈。OSD没有明显延迟,并不代表上层路径一定正常。
- 数据与设备层:单盘延迟、控制器或文件系统问题可能影响所在OSD;副本数和数据分布则决定一次写入需要等待哪些参与者。
排查顺序宜由外到内、由低风险到高风险:先比对客户端和节点指标,再检查Ceph请求状态和设备I/O。先取证、再做干预;避免在原因未明时批量重启守护进程、改变恢复参数或移除OSD。
三、先排除客户端与网络路径
客户端是否是局部瓶颈
在受影响客户端与未受影响客户端之间进行对照。若只有一台客户端异常,检查该机CPU、内存、网卡队列、内核日志,以及对应客户端进程的CPU和I/O等待;同时确认客户端软件版本和连接配置是否一致。
需要注意,客户端本地缓存、工作负载变化和并发数上升都可能改变延迟。对比时应尽量使用同一业务操作和相近负载,不能仅凭两台机器的瞬时吞吐量下结论。
网络是否存在丢包或拥塞
在客户端和相关存储节点上检查接口计数、错误和链路状态:
ip -s link
ethtool -S <网卡名>
ss -s
<网卡名>应替换为实际接口名称。检查RX/TX errors、丢包、丢弃、重传以及链路速率是否在故障时间段发生变化。不同网卡驱动的ethtool -S字段名称不同,需按驱动含义解释,不能把所有计数增长都等同于故障。
若环境允许,可对客户端到存储节点的业务网络进行受控连通性和丢包检查。普通ping只能观察ICMP路径,不能证明Ceph业务流量完全正常;测试时还要确认目标地址对应的是实际业务网段。若仅特定机架或特定节点异常,优先核对交换机端口、链路聚合、VLAN和MTU配置,并与网络团队确认端口计数及变更记录。
判断分支:
- 客户端到多个存储节点都出现丢包或重传:重点看客户端网卡、上联链路和交换路径。
- 仅到少数节点异常:重点看对应存储节点网卡、交换机端口或机架链路。
- 网络计数正常,Ceph日志显示请求卡在OSD处理阶段:转向主机资源和OSD内部状态,避免无依据地反复调整网络参数。
四、检查存储主机资源与设备I/O
登录慢请求涉及的OSD主机,在问题发生时段采集CPU、内存、磁盘及内核信息。Linux上可使用以下工具;若系统未安装相应软件包,应先按发行版确认工具来源。
uptime
free -h
iostat -xz 1 5
vmstat 1 5
dmesg -T | tail -n 100
iostat中的await表示设备I/O平均等待时间,%util可辅助观察设备忙碌情况,但不能脱离设备类型、队列深度和基线单独判定故障。NVMe、SATA盘和云块设备的正常延迟区间不同,不能用一个固定阈值套用所有设备。vmstat中持续偏高的wa、频繁交换或运行队列积压,也需要结合CPU、内存和业务负载分析。
进一步核对:
- CPU:OSD进程是否持续高占用;软中断是否集中在少数CPU;是否有其他进程争抢CPU。
- 内存:是否出现内存压力、交换活动或OOM记录。内存不足可能导致缓存效果下降,也可能拖慢进程调度。
- 磁盘:延迟是否集中在某一块设备,是否出现超时、重置或介质错误;将设备映射到OSD时,应以部署配置和设备清单为准。
- 主机与容器限制:容器CPU配额、内存限制及宿主机负载是否导致OSD被节流。容器化部署还需检查容器运行时和编排平台的事件。
如果只有一个OSD所在设备延迟明显,而同机其他设备正常,根因更可能在该设备、控制器通道或对应进程;若同一主机多个OSD同时变慢,则应先调查主机级CPU、内存、网卡或共享控制器。
Ceph慢请求涉及主机资源、设备I/O和网络路径,A5idc数据提供香港、美国、日本等地区的物理服务器,覆盖AMD EPYC、Xeon平台及NVMe、SSD、大容量HDD等存储配置。结合各地区的线路与带宽选项,这些资源可为Ceph存储节点、业务入口和备份归档场景提供硬件与网络基础。
五、利用Ceph慢请求定位等待阶段
在管理节点复查OSD延迟和集群事件,并将异常OSD映射到主机:
ceph osd perf
ceph osd tree
ceph health detail
若确定了具体OSD,可查看其当前操作和历史操作。不同版本支持的管理命令不完全相同,可先用ceph help核对;支持时可尝试:
ceph tell osd.<ID> dump_ops_in_flight
ceph tell osd.<ID> dump_historic_ops
将<ID>替换为OSD编号。输出可能较大,建议只在确认的异常OSD上采集,并记录时间。某些部署也可通过该OSD主机上的管理套接字查看状态;套接字路径和访问方式取决于部署工具及版本,不应假设固定路径。
慢请求日志常包含“正在等待什么”的阶段信息。可按字段和上下文推断方向:
- 等待磁盘或提交完成:对照设备延迟、内核错误、OSD进程负载和同机其他设备。
- 等待副本或子操作:找出慢副本所在OSD,检查其节点、链路和PG分布。主OSD不一定是根因,慢的可能是副本OSD。
- 等待PG可用或PG状态异常:检查相关PG状态、OSD上下线以及恢复、回填活动。
- 请求长期排队但OSD和设备指标正常:继续核对客户端网络、进程调度及请求是否在更上层服务排队。
例如,模拟日志可能类似:
slow request ... currently waiting for subop on osd.17
这类信息提示应继续检查相关子操作和OSD 17,而不是直接认定接收请求的主OSD故障。日志文本会随版本改变,判断应结合前后操作阶段、OSD编号、时间戳和同一时段的指标。

若集群正在恢复或回填,慢请求可能与后台数据迁移争用资源有关。此时先确认恢复范围、影响对象和资源压力,再按变更流程评估是否需要调整恢复行为。不要为快速消除告警而直接清除PG状态、强行下线OSD或大幅改变恢复参数,这些操作可能扩大影响并掩盖原始证据。
六、按业务类型检查上层服务
OSD指标正常时,不能据此排除Ceph问题,但应把排查范围延伸到具体业务入口。
- RBD:对比不同客户端、不同卷和同一卷的延迟。若只有单台客户端慢,优先检查客户端主机和连接路径;若多个客户端访问同一卷都慢,再关联该卷数据所在PG与OSD。不要通过未受控的高并发压测验证,避免将集群负载进一步抬高。
- CephFS:检查MDS是否存在负载升高、请求积压或相关告警,并确认问题是目录元数据操作变慢,还是文件数据读写变慢。前者应重点关注MDS和元数据热点,后者继续追踪对应数据PG和OSD。
- RGW:分别观察网关入口响应时间、请求错误率和后端存储延迟。如果入口本身排队或CPU饱和,而OSD提交延迟正常,应检查网关实例、负载均衡和应用请求特征;如果多个网关实例同时出现后端等待,则进一步看存储侧和共享依赖。
上层服务日志应与Ceph告警使用统一时间基准。若前端响应时间升高早于OSD慢请求,或只有一个入口实例异常,原因可能在服务入口或主机;若OSD慢请求先出现并扩散到多个业务,存储路径的可能性更高。
七、综合证据定位根因并验证恢复
建议把故障时间线整理成“业务症状—涉及客户端—异常OSD—主机指标—请求等待阶段—集群事件”。根因应能解释影响范围和时间关系,而不只是与故障同时出现。
例如,某业务延迟上升,同时少数OSD的提交延迟升高;这些OSD集中在一台主机,iostat也显示对应设备等待时间持续偏高,而其他主机和客户端网络指标接近基线。此时设备或其控制器链路是更有力的调查方向。反过来,如果OSD延迟整体正常、只有一个RGW实例响应变慢,且该实例CPU持续饱和,应先核对网关侧,而不是更换存储设备。
采取修复措施前,先保留相关日志、指标和集群状态,并确认变更影响范围。涉及设备更换、OSD退出、参数调整或服务重启时,应依据集群冗余状态、运维流程和版本文档制定操作及回退方案;不要在PG健康状况不明时同时处理多个OSD。
恢复验证至少应覆盖:
- 同一业务操作的延迟和超时率回到可接受范围,并持续观察一段时间,而不是只看单次请求。
ceph -s和ceph health detail中相关告警消退,PG状态稳定。- 异常OSD的延迟与同类节点接近,主机磁盘、网络和资源指标恢复到自身基线附近。
- 若发生过恢复或回填,确认其进度和资源占用不会再次压低前台业务表现。
八、设置复发监控点
监控应覆盖业务端到端响应时间和错误率、Ceph的慢请求与OSD提交延迟、PG异常与恢复状态,以及主机CPU、内存、磁盘延迟和网卡错误计数。最好同时保留趋势和故障时间窗口,便于区分短暂尖峰与持续退化。
告警阈值应以业务SLO、设备类型和集群历史基线制定,不宜把某个通用毫秒数作为所有环境的统一标准。对复发事件,重点观察是否总是落在同一OSD、同一主机、同一网段或同一业务入口;持续出现的固定关联,通常比单次峰值更能指向需要治理的环节。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/7057.html


