Ceph集群显示健康但客户端延迟偏高,如何关联网络与磁盘状态定位原因?
Ceph 显示 HEALTH_OK,不等于客户端请求一定足够快:健康状态主要反映集群是否触发已定义的健康检查,客户端延迟则还受请求排队、网络往返和 OSD 磁盘处理影响。定位时应把业务端延迟、相关 OSD 的处理时延、网络变化、磁盘状态和日志放进同一时间窗口,而不是只看集群健康状态或某个节点的利用率。
先确认延迟升高发生在哪类请求、哪个业务端和哪个存储池,再沿请求可能经过的路径寻找同步变化。如果客户端 p99 上升时,相关 OSD 的 apply_latency、磁盘 await 同时升高,而网络重传没有明显变化,磁盘或 OSD 排队更值得优先检查;若 OSD 磁盘指标平稳,但网络重传、丢包或往返时延同步恶化,则网络路径更可疑。

先建立可比较的观察窗口
确定客户端延迟的统计口径和时间范围,例如观察某个业务实例、某个存储池的读写请求 p95、p99。不要把平均值和 p99 混为一谈:少量长尾请求可能显著抬高 p99,却不会明显改变平均值。
将业务监控、Prometheus 指标、Ceph 日志和主机监控统一到同一时区,并确认主机时钟同步。采集间隔也要考虑在内:如果指标每 30 秒抓取一次,持续几秒的尖峰可能只在业务日志或应用指标中出现。建议同时检查故障前后的基线,而不只截取延迟最高的单个时刻。
| 观察对象 | 重点记录 | 用途 |
|---|---|---|
| 客户端或业务 | 请求类型、存储池、p95/p99、超时和重试 | 确认影响范围与起始时间 |
| Ceph OSD | commit_latency、apply_latency、慢请求相关告警 | 判断 OSD 处理是否同步变慢 |
| 网络 | 接口错误和丢包、TCP 重传、链路利用率 | 判断客户端访问路径或 OSD 间通信是否异常 |
| 磁盘 | await、队列长度、设备错误、IOPS 和吞吐 | 判断设备响应或排队是否恶化 |
| 日志与变更 | 慢请求、设备或网络告警、部署和配置变更 | 对照指标拐点,排除巧合 |
从业务延迟定位到相关 OSD
先确认集群整体状态和 OSD 延迟快照:
ceph -s
ceph health detail
ceph osd perf
ceph osd perf 通常列出各 OSD 的 commit_latency 和 apply_latency,单位为毫秒。连续采集几次,比只看单次快照更容易判断变化是否与客户端延迟同步:
watch -n 5 ceph osd perf
若只有少数 OSD 的延迟明显上升,重点检查这些 OSD 是否承载了受影响请求对应的 PG。可结合业务侧的对象或 PG 信息定位;已知 PG 时执行:
ceph pg map <pgid>
若已知存储池和对象名,也可查询对象映射:
ceph osd map <pool> <object>
映射结果可帮助找到该对象当前关联的 PG 和 OSD。注意,PG 映射和 OSD 延迟是定位线索,并不能单独证明根因:客户端请求还包含网络传输、请求排队及副本处理等开销;OSD 的汇总延迟也不等同于某个客户端请求的端到端延迟。
若环境通过 Prometheus 暴露 OSD 延迟指标,可先在 Prometheus 中检查指标名称、标签和单位。不同 Ceph 版本及监控配置可能存在差异,不要在未核对元数据时直接比较数值。部分环境可用以下查询观察每个 OSD 的平均写操作延迟变化:
sum by (ceph_daemon) (rate(ceph_osd_op_w_latency_sum[5m]))
/
sum by (ceph_daemon) (rate(ceph_osd_op_w_latency_count[5m]))
这类 sum/count 查询得到的是窗口内的平均值,不是 p95 或 p99。若要判断长尾,请以客户端直方图或其他明确提供分位数的数据为准;不要从平均值推断尾延迟。
判断网络变化是否与延迟同步
网络排查至少区分两条路径:客户端到 OSD 的访问路径,以及 OSD 之间可能使用的集群网络。具体取决于集群配置和请求路径。只检查 OSD 主机间通信,可能漏掉客户端侧问题;只检查客户端网卡,也可能漏掉副本通信异常。

在相关客户端和 OSD 主机上,对照同一时间窗口查看接口计数器和 TCP 状态:
ip -s link show dev <interface>
ethtool -S <interface>
nstat -az | grep -E 'TcpRetransSegs|TcpExtTCPTimeouts'
ss -ti
将这些结果与网卡错误、丢包、TCP 重传和链路利用率的时间序列一起看。ethtool -S 的计数器名称由网卡驱动决定;累计计数应比较故障前后的增量,不能仅凭数值较大就判定故障。ss -ti 也只是当前连接状态的快照,最好与业务请求时间和监控曲线一起解释。
如果客户端 p99 上升时,相关链路的重传或丢包也增加,而 OSD 磁盘等待时间基本平稳,网络方向的证据会更强。反过来,若网络计数器没有变化,并不自动证明网络正常:还要确认采集的是实际经过的接口,并检查链路两端是否存在一致的观测。
ICMP 延迟可以作为辅助线索,但它不等同于 Ceph 请求使用的完整传输路径,也不能单独排除网络问题。需要额外做带宽测试时,应先评估测试流量对生产链路的影响,并避免未经评估就在繁忙链路上运行高负载测试。
判断磁盘与 OSD 排队是否相关
在承载相关 OSD 数据的主机上,观察设备延迟和队列变化:
iostat -x 1
重点对照 await、aqu-sz、读写吞吐、IOPS 和 %util 的变化。await 或队列长度随客户端延迟同步上升,通常比单看 %util 更有参考价值。尤其是并行能力较高的设备,%util 接近 100% 不一定单独意味着设备已达到实际处理上限;还要结合设备类型、队列和业务负载变化判断。
确认 OSD 与设备的对应关系后,再解释主机指标。部署方式和 BlueStore 布局会影响数据盘、DB/WAL 设备与 OSD 的对应关系;如果 DB/WAL 位于独立设备,只查看数据盘可能遗漏关键延迟来源。可根据当前部署方式核对设备映射,例如在使用 LVM 部署的环境中:

ceph-volume lvm list
该命令只用于查看映射,不会修复或重建 OSD。若磁盘队列升高同时伴随 OSD apply_latency 升高,且同一组 PG 的客户端延迟也恶化,磁盘或 OSD 处理排队的解释更有支持。若只有主机整体磁盘利用率升高,却与受影响的 OSD、PG 和业务请求对不上,可能是其他负载造成的伴随现象。
把日志、告警和指标放回同一时间线
在找到异常 OSD 后,查询其对应时间范围的日志。以 systemd 管理的 OSD 服务为例:
journalctl -u ceph-osd@17 --since "10 minutes ago"
实际服务名和日志获取方式可能因部署方式而异;如果使用容器化部署,应从对应的容器日志入口获取同一时间段的数据。重点关注慢请求、心跳异常、设备错误或重置、BlueStore/RocksDB 相关报错,以及它们是否紧邻业务延迟拐点出现。单条告警可能是结果而非原因,需结合前后指标判断。
可以按时间整理一条简短事件线:

| 时间 | 业务表现 | 网络信号 | 磁盘与 OSD 信号 | 需要验证的方向 |
|---|---|---|---|---|
| 10:02 | p99 处于基线 | 重传无明显变化 | await 与 OSD 延迟平稳 | 建立正常参考 |
| 10:04 | p99 开始升高 | 仍接近基线 | 少数 OSD 的 apply_latency、磁盘队列上升 | 核对 PG 与设备映射 |
| 10:06 | 超时或重试增加 | 仍无同步恶化 | 相关 OSD 日志出现慢请求 | 检查设备延迟及该 OSD 的请求负载 |
上表仅展示分析方法,不代表固定阈值。若实际数据表现为网络重传先升高、随后业务 p99 和 OSD 请求延迟上升,分析重点应转向网络路径;如果日志显示设备错误早于业务异常,则应优先确认设备状态。先后顺序和受影响对象,能帮助区分根因与后续反应。
用关联结果缩小范围,再做复测
可按以下证据组合形成初步判断:
- 更支持磁盘或 OSD 排队:受影响请求落到的 OSD 延迟升高;对应设备
await或队列同步增加;网络丢包和重传没有相同时间的明显变化。 - 更支持网络问题:客户端到 OSD 或 OSD 间的相关链路出现错误、丢包或重传;这些变化与请求延迟拐点一致;对应磁盘指标没有同步恶化。
- 仍不能定位:业务 p99 升高,但采集到的 OSD、网络和磁盘指标没有变化。此时应先核对时间同步、采集间隔、指标标签和请求到 PG/OSD 的映射,再检查是否有重试、客户端排队或未覆盖的网络路径。
原因处理后,用相同的业务请求类型、相同存储池和相近负载再次观察。比较故障前后客户端 p95/p99、相关 OSD 的延迟、网络错误与重传、设备等待时间和队列变化;若客户端延迟下降但 OSD 指标仍高,或反之,都需要继续检查端到端路径,而不是仅凭 HEALTH_OK 判定问题已解决。下一次排查时,同时保留客户端分位延迟、PG/OSD 映射、OSD commit/apply 延迟、链路重传和磁盘队列,通常比单独盯住一个健康状态或利用率更容易缩小范围。
A5数据提供多地区物理服务器,存储方案涵盖 SSD、NVMe 与大容量 HDD,网络线路则按地区及产品系列配置,可为数据服务和多节点部署提供不同的底层硬件资源选择。对于涉及 Ceph 的环境,磁盘类型、节点资源与网络链路可结合相应配置规划;各产品的资源组合依所属方案而异。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/9954.html



