香港服务器的Linux负载过高,如何区分CPU繁忙与磁盘I/O等待?
Linux 的 load average 高,并不能直接证明香港服务器的 CPU 已经跑满。Linux 负载统计的是处于可运行状态的任务,以及部分处于不可中断睡眠状态的任务;后者常见于等待块设备、文件系统或其他内核资源。因此,单看 uptime、top 顶部的负载数字,容易把磁盘 I/O 堵塞误判成 CPU 繁忙。
区分两类问题,应在同一时间窗口内把负载、CPU 各状态、运行队列、磁盘延迟与队列、内存换入换出、进程状态、网络连接数、业务响应时间和错误率放在一起看:CPU 繁忙通常表现为 user/system 占比高、运行队列持续增长、某些进程占用 CPU 明显;磁盘 I/O 等待则更常见于 iowait 升高、D 状态进程增加、磁盘 await 和队列长度上升,而用户态 CPU 反而不高。
先理解负载数字代表什么
uptime 或 top 中的三个负载值分别代表近 1 分钟、5 分钟和 15 分钟的平均负载。例如:
uptime
可能看到:
10:20:15 up 35 days, 4:12, 2 users, load average: 8.60, 7.90, 4.20
这表示最近 1 分钟的平均负载约为 8.60,近 5 分钟约为 7.90,近 15 分钟约为 4.20。它不是百分比,也不等于 CPU 使用率。
Linux 负载主要包含两类任务:

- 处于
R状态、正在运行或等待 CPU 调度的任务; - 处于
D状态、正在进行不可中断等待的任务,常见原因包括块设备 I/O、文件系统操作、部分驱动或远程文件系统等待。
因此,同样是“负载为 8”,在不同配置上的含义可能完全不同。8 个逻辑 CPU 上的负载 8,表示运行压力已经接近处理能力;16 个逻辑 CPU 上的负载 8,未必存在 CPU 饱和;而 4 个逻辑 CPU 上如果有大量进程处于 D 状态,CPU 使用率可能不高,业务仍会出现明显延迟。
可以先用下面的方式查看逻辑 CPU 数量,并进行粗略归一化:
nproc
uptime
负载归一化值可以按“当前负载 ÷ 逻辑 CPU 数量”估算。不过,这个值只能用于建立观察背景,不能单独作为故障结论。还需要确认 CPU 是否真的忙、任务是在排队,还是被磁盘或其他资源卡住。
建立同一时间的观察窗口
高负载排查的第一个重点不是立即执行某条命令,而是避免不同时间点的数据互相误导。短时突发、持续性拥塞、周期性任务造成的抖动,判断方式并不相同。
建议至少记录以下时间点:
date -Is
uptime
nproc
如果问题正在发生,可以连续观察 5 到 10 分钟;如果是瞬时卡顿,可以使用 1 秒采样间隔持续 30 秒至 2 分钟。常见的基础命令如下:
vmstat 1 10
mpstat -P ALL 1 10
iostat -xz 1 10
pidstat -dru -p ALL 1 10
其中:
vmstat关注运行队列、阻塞任务、内存和换入换出;mpstat关注每个 CPU 的用户态、内核态、I/O 等待和窃取时间;iostat关注块设备的吞吐、延迟、队列和忙碌程度;pidstat将 CPU、内存和磁盘 I/O 进一步关联到进程。
mpstat、iostat、pidstat 和 sar 通常由 sysstat 提供。如果系统中没有这些命令,不要为了应急排查而在业务高峰期随意安装软件包;可以先使用已经存在的 top、vmstat、ps、free 和 ss,再在维护窗口补充监控工具。
观察时应尽量保留“开始时间—高负载时间—恢复时间”三个阶段的数据。只在负载最高的瞬间查看一次,可能错过磁盘队列已经恢复或 CPU 峰值已经结束的情况。
先看 CPU:高负载是否伴随真正的计算压力
CPU 繁忙的典型联动关系
CPU 瓶颈通常不是单看“CPU 使用率超过多少”,而是观察以下指标是否在同一时间共同变化:
user或system持续较高;idle持续较低;vmstat中的r持续接近或超过逻辑 CPU 数量;- 一个或多个进程在
top、pidstat中持续占用 CPU; - 磁盘
await较低,设备队列没有同步明显增长; - 应用响应时间和错误率随着 CPU 队列变长而恶化。
可执行:
mpstat -P ALL 1 5
典型的示例结果可能类似:
Average: all %usr %sys %iowait %idle
Average: all 78.4 12.1 1.2 8.3
这个示例中,用户态和内核态合计占用较高,iowait 只有约 1%,说明 CPU 主要在执行计算,而不是停下来等待存储设备。
再配合:
vmstat 1 5
重点查看 r、b、si、so、us、sy、wa 和 id:
r:可运行、等待 CPU 调度的任务数;b:处于阻塞状态的任务数;si、so:换入和换出;us、sy:用户态和内核态 CPU 时间;wa:I/O 等待相关的 CPU 时间;id:空闲时间。
如果一台服务器有 8 个逻辑 CPU,r 长时间维持在 10 到 20,且 us、sy 较高,通常更接近 CPU 调度压力。这里的“长时间”比某个瞬时数字更重要,因为编译、压缩、短时加密等任务可能只造成几秒钟的正常峰值。
将 CPU 占用定位到进程
top -b -n 1 -o %CPU | head -n 25
或者:
pidstat -u -p ALL 1 5
如果某个 Web 工作进程、数据库进程、脚本解释器或压缩任务在每个采样周期都位于 CPU 占用前列,并且业务响应时间与它的 CPU 占用同步变化,CPU 瓶颈的可信度会明显提高。
还要区分用户态 CPU和内核态 CPU:
user较高,常见于业务计算、脚本执行、数据处理、加密或压缩;system较高,可能与系统调用、网络协议栈、文件系统操作、上下文切换有关;soft较高,可能与网络包处理、中断和高连接速率有关;steal较高,表示虚拟机被宿主机或其他虚拟 CPU 任务暂时占用,不能简单归因于应用本身。
在香港服务器上,如果业务存在大量跨区域请求、TLS 连接建立、短连接或小包通信,system、softirq 和连接处理开销可能同时增加。此时仍应先确认磁盘延迟和队列是否正常,不能看到 system 高就直接判定为磁盘故障。
再看磁盘:I/O 等待是否形成了可验证的队列
iowait 升高只是线索,不是结论
mpstat 或 vmstat 中的 iowait 表示 CPU 有时间处于等待 I/O 完成的状态,但它并不直接证明某一块本地磁盘就是根因。等待对象可能是:
- 本地 SSD、云盘或机械盘;
- 文件系统元数据操作;
- 设备队列拥塞;
- 内存不足引起的页面回收或交换;
- 远程挂载或某些驱动路径;
- 存储设备本身的服务延迟增加。
所以,wa 高时要继续看块设备实际表现:
iostat -xz 1 5
常见字段可以这样理解:
| 指标 | 含义 | 联动判断 |
|---|---|---|
r/s、w/s | 每秒读写请求数 | 识别读密集或写密集变化 |
rkB/s、wkB/s | 每秒读写数据量 | 判断吞吐是否突然增加 |
await | 请求从进入到完成的平均等待时间,通常以毫秒表示 | 延迟上升时,应用更容易出现排队 |
aqu-sz 或 avgqu-sz | 平均设备队列长度 | 与请求堆积是否同步 |
%util | 设备处于忙碌状态的时间比例 | 适合与延迟和队列一起观察 |
r_await、w_await | 读请求和写请求的平均等待时间 | 区分读延迟还是写延迟主导 |
假设观察到如下示例数据:
Device r/s w/s rkB/s wkB/s aqu-sz await %util
vda 35.0 82.0 420.0 860.0 6.4 118.0 98.5
如果这几项数据与高负载同时出现,并且 vmstat 中 b 增加、进程中 D 状态任务增多,那么磁盘 I/O 堵塞的判断就比较有依据。这里的关键不是 %util 单独达到某个数值,而是“延迟、队列、阻塞进程和业务响应”同时恶化。
不同存储设备的并行能力不同,%util 接近 100% 也不能脱离 await 和队列解释。某些设备在高并发下仍能保持较低延迟,另一些设备的队列稍微增加就会让数据库或日志写入明显变慢。
查看哪些进程正在产生或等待 I/O
pidstat -d -p ALL 1 5
重点观察:
kB_rd/s、kB_wr/s:进程实际读写量;iodelay:进程因 I/O 延迟消耗的时间,具体显示方式取决于工具版本;- 进程读写量是否与设备整体变化同步;
- 是否存在少数进程持续写入日志、临时文件、缓存或数据库文件。
查看进程状态:
ps -eo state,pid,ppid,comm,wchan:32 --sort=state
也可以统计当前 D 状态进程数量:
ps -eo state= | awk '$1 ~ /^D/ {n++} END {print n+0}'
D 状态增多是磁盘或内核等待的重要线索,但不是“看到 D 就等于本地磁盘坏了”。如果 wchan 显示的是块设备、文件系统或具体驱动相关等待,同时 iostat 中延迟和队列也上升,证据链更完整。若进程只是等待锁、远程文件系统或其他内核资源,则需要结合系统日志和应用调用关系继续确认。
一个典型的 I/O 等待示例
下面是一组用于解释判断过程的模拟数据,并非某台实际香港服务器的监控结果:
| 指标 | 高负载时示例值 | 恢复后示例值 |
|---|---|---|
| 8 个逻辑 CPU 的 1 分钟负载 | 8.6 | 2.1 |
CPU user + system | 13% | 18% |
CPU iowait | 41% | 4% |
vmstat 的 r | 3 | 2 |
vmstat 的 b | 16 | 1 |
磁盘 await | 120 ms | 6 ms |
磁盘 %util | 98% | 32% |
D 状态进程 | 14 | 0 |
| 应用 P95 响应时间 | 2.8 s | 420 ms |
这里负载较高,但运行队列 r 没有明显超过 CPU 数量,用户态和内核态 CPU 也不高;相反,iowait、阻塞任务、磁盘延迟、设备忙碌时间和应用 P95 同步上升,更符合 I/O 等待。
排除内存压力引发的“伪磁盘问题”
内存不足经常会把问题表现成磁盘等待。系统为了回收内存,可能回收页面、写入交换区,或者频繁从交换区读回数据。此时应用看到的是磁盘延迟,根因却可能是内存压力。
先检查:
free -h
关注 available,不要只看 free。Linux 会把部分空闲内存用于页缓存,因此 free 较小并不必然表示内存不足。
继续观察:
vmstat 1 10
重点看:
si:从交换区读入内存的速率;so:从内存写入交换区的速率;free:可用内存的粗略变化;r:运行队列;b:阻塞任务;wa:I/O 等待。
如果高负载期间 si、so 持续非零,available 持续下降,磁盘读写和 await 同时变高,应优先排查内存压力,而不是立即更换磁盘或扩大磁盘吞吐。
还可以使用:
sar -W 1 5
如果系统启用了内核日志记录,可查看是否出现 OOM 或内存回收相关信息:
journalctl -k --since "10 minutes ago"
这条命令只读取内核日志,不会修改系统。若权限不足,应使用具备日志读取权限的账号,或由管理员提供对应时间段的日志。
内存问题与 I/O 问题可以按下面方式区分:
| 观察结果 | 更值得优先怀疑的方向 |
|---|---|
available 下降、si/so 持续增加、磁盘读延迟上升 | 内存压力或交换导致的 I/O |
available 稳定、si/so 接近 0、写队列和 w_await 上升 | 日志、数据库或文件写入拥塞 |
CPU user 很高、交换正常、磁盘延迟低 | 计算型 CPU 瓶颈 |
| 内存、磁盘和 CPU 都在变化 | 可能存在级联问题,应按时间先后判断起因 |
不要仅因为服务器使用了较多缓存就清理页缓存。清理缓存可能造成新的磁盘读取和业务抖动,通常不能作为高负载的常规处理办法。
把连接数、网络和业务指标放入同一时间线
香港服务器承载跨地区访问时,网络距离、连接建立频率、带宽使用和对端响应时间都可能影响业务体验,但它们不一定会直接造成本地磁盘 I/O 等待。
先看连接概况:
ss -s
查看监听端口及队列:
ss -lnt
统计已建立连接数量:
ss -tan state established | wc -l
如果某个监听端口的 Recv-Q 或 Send-Q 持续增长,说明应用处理速度、内核队列或网络发送能力可能跟不上请求到达速度。此时还应结合:
sar -n DEV 1 5
sar -n TCP,ETCP 1 5
关注网卡吞吐、丢包、重传、连接建立速率和失败连接数。
网络因素通常有几种表现:
- 连接数增长,但 CPU、磁盘队列都正常:可能是访问量增加、长连接增多或连接释放不及时;
- 连接数和
softirq/system同时升高:可能是网络包处理或连接管理消耗 CPU; - 应用响应时间升高,但服务器 CPU、磁盘、内存均正常:需要检查上游服务、跨区域链路、DNS、TLS 建连和应用自身等待;
- 连接数增加后,应用日志写入量也增加,随后磁盘
w_await上升:网络流量可能是触发因素,但直接瓶颈仍在日志或存储写入。
业务侧至少应同步记录请求量、P50/P95/P99 响应时间、超时数和 5xx 错误率。仅看服务器资源,无法判断“资源变忙”是否已经转化为用户可感知的故障。
用多指标联动形成判断
可以把一次高负载事件按下面的顺序复盘:
- 先确认时间范围:记录负载开始、峰值和恢复时间,区分瞬时峰值还是持续拥塞。
- 确认 CPU 是否真的繁忙:查看
mpstat的user/system/idle/steal,以及vmstat的r。 - 确认是否存在 I/O 等待:查看
iowait、vmstat的b、iostat的await、队列和%util。 - 排除内存引发的二次 I/O:检查
available、si/so、OOM 日志和内存回收迹象。 - 定位进程状态:用
top、pidstat和ps判断是高 CPU 进程、I/O 进程,还是大量D状态任务。 - 关联连接与业务结果:将连接数、网卡速率、重传、请求量、响应时间和错误率对齐到同一时间轴。
- 让指标恢复后再次采样:对比故障期和恢复期,确认哪些指标先恢复,哪些指标只是跟随变化。
下面的对照表适合在现场快速初判,但不应替代完整采样:
| 现象组合 | 初步判断 | 还需要排除 |
|---|---|---|
us/sy 高、r 高、磁盘 await 低、少数进程 CPU 高 | CPU 计算或调度压力 | CPU 配额、steal、网络软中断 |
iowait 高、b 和 D 状态多、await 与队列同步升高 | 存储或文件系统等待 | 交换、远程挂载、驱动异常 |
si/so 增加、available 下降、读延迟上升 | 内存压力导致的 I/O | 内存泄漏、进程上限、容器限制 |
连接数和 softirq 高、磁盘正常 | 网络包处理或连接管理压力 | 带宽、重传、应用线程模型 |
| 负载高但 CPU、磁盘、内存均正常 | 任务状态或观测遗漏 | 采样时段、远程依赖、容器/虚拟机指标 |
例如,8 个逻辑 CPU 上负载从 2 增至 9,如果同时看到 us 从 20% 增至 85%、r 从 2 增至 15、磁盘 await 仍为 5 ms,那么应优先调查 CPU 消耗最高的进程。反过来,如果负载增至 9 时 us 只有 8%、wa 达到 35%、b 为 12、磁盘 await 从 8 ms 增至 150 ms,则更接近 I/O 队列阻塞。

复测时不要只看负载是否下降
完成日志限速、任务错峰、应用参数调整或存储侧处理后,应重新观察相同指标,而不是只确认 load average 回落。
一次有效复测至少应确认:
- 1、5、15 分钟负载是否依次回落;
- CPU
r、us、sy、wa、steal是否恢复到原有水平; - 磁盘
await、队列和%util是否同步下降; D状态进程是否减少;available、si/so是否恢复;- 连接队列、重传和应用请求量是否正常;
- P95/P99 响应时间和错误率是否同时改善。
如果只看到负载下降,但磁盘 await 仍高,可能是请求量暂时下降;如果 CPU 恢复而业务响应仍慢,可能存在网络或上游依赖;如果磁盘恢复但 si/so 仍持续,内存问题尚未解决。复测的价值就在于确认指标之间的因果方向,而不是把一个下降的数字当作故障已经消失。
下一次遇到香港服务器负载升高时,建议至少同时保留这样一组指标:load average + nproc、mpstat 的 CPU 分项、vmstat 的 r/b/si/so、iostat 的 await/aqu-sz/%util、ps 中的 D 状态、ss 的连接与队列、网卡重传,以及业务响应时间和错误率。只有把这些数据放在同一时间语境中,才能较可靠地区分“CPU 正在计算”与“任务正在等待磁盘或其他 I/O”。
面对香港服务器上的计算压力、磁盘等待与跨地区访问需求,A5idc数据提供不同档位的香港物理服务器,涵盖Xeon Gold、AMD EPYC等处理器平台,以及SSD或NVMe存储配置,可为业务后台、数据库和接口服务提供相应的计算与存储资源。部分产品提供CN2或国际带宽选择,便于结合访问地区和业务流量安排网络资源。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/8748.html



