香港服务器的Linux负载过高,如何区分CPU繁忙与磁盘I/O等待?

发布人:A5数据发布时间:2026-11-11 10:38阅读量:63

Linux 的 load average 高,并不能直接证明香港服务器的 CPU 已经跑满。Linux 负载统计的是处于可运行状态的任务,以及部分处于不可中断睡眠状态的任务;后者常见于等待块设备、文件系统或其他内核资源。因此,单看 uptime、top 顶部的负载数字,容易把磁盘 I/O 堵塞误判成 CPU 繁忙。

区分两类问题,应在同一时间窗口内把负载、CPU 各状态、运行队列、磁盘延迟与队列、内存换入换出、进程状态、网络连接数、业务响应时间和错误率放在一起看:CPU 繁忙通常表现为 user/system 占比高、运行队列持续增长、某些进程占用 CPU 明显;磁盘 I/O 等待则更常见于 iowait 升高、D 状态进程增加、磁盘 await 和队列长度上升,而用户态 CPU 反而不高。

先理解负载数字代表什么

uptime 或 top 中的三个负载值分别代表近 1 分钟、5 分钟和 15 分钟的平均负载。例如:

uptime

可能看到:

10:20:15 up 35 days,  4:12,  2 users,  load average: 8.60, 7.90, 4.20

这表示最近 1 分钟的平均负载约为 8.60,近 5 分钟约为 7.90,近 15 分钟约为 4.20。它不是百分比,也不等于 CPU 使用率。

Linux 负载主要包含两类任务:

先理解负载数字代表什么配图

  • 处于 R 状态、正在运行或等待 CPU 调度的任务;
  • 处于 D 状态、正在进行不可中断等待的任务,常见原因包括块设备 I/O、文件系统操作、部分驱动或远程文件系统等待。

因此,同样是“负载为 8”,在不同配置上的含义可能完全不同。8 个逻辑 CPU 上的负载 8,表示运行压力已经接近处理能力;16 个逻辑 CPU 上的负载 8,未必存在 CPU 饱和;而 4 个逻辑 CPU 上如果有大量进程处于 D 状态,CPU 使用率可能不高,业务仍会出现明显延迟。

可以先用下面的方式查看逻辑 CPU 数量,并进行粗略归一化:

nproc
uptime

负载归一化值可以按“当前负载 ÷ 逻辑 CPU 数量”估算。不过,这个值只能用于建立观察背景,不能单独作为故障结论。还需要确认 CPU 是否真的忙、任务是在排队,还是被磁盘或其他资源卡住。

建立同一时间的观察窗口

高负载排查的第一个重点不是立即执行某条命令,而是避免不同时间点的数据互相误导。短时突发、持续性拥塞、周期性任务造成的抖动,判断方式并不相同。

建议至少记录以下时间点:

date -Is
uptime
nproc

如果问题正在发生,可以连续观察 5 到 10 分钟;如果是瞬时卡顿,可以使用 1 秒采样间隔持续 30 秒至 2 分钟。常见的基础命令如下:

vmstat 1 10
mpstat -P ALL 1 10
iostat -xz 1 10
pidstat -dru -p ALL 1 10

其中:

  • vmstat 关注运行队列、阻塞任务、内存和换入换出;
  • mpstat 关注每个 CPU 的用户态、内核态、I/O 等待和窃取时间;
  • iostat 关注块设备的吞吐、延迟、队列和忙碌程度;
  • pidstat 将 CPU、内存和磁盘 I/O 进一步关联到进程。

mpstat、iostat、pidstat 和 sar 通常由 sysstat 提供。如果系统中没有这些命令,不要为了应急排查而在业务高峰期随意安装软件包;可以先使用已经存在的 top、vmstat、ps、free 和 ss,再在维护窗口补充监控工具。

观察时应尽量保留“开始时间—高负载时间—恢复时间”三个阶段的数据。只在负载最高的瞬间查看一次,可能错过磁盘队列已经恢复或 CPU 峰值已经结束的情况。

先看 CPU:高负载是否伴随真正的计算压力

CPU 繁忙的典型联动关系

CPU 瓶颈通常不是单看“CPU 使用率超过多少”,而是观察以下指标是否在同一时间共同变化:

  • user 或 system 持续较高;
  • idle 持续较低;
  • vmstat 中的 r 持续接近或超过逻辑 CPU 数量;
  • 一个或多个进程在 top、pidstat 中持续占用 CPU;
  • 磁盘 await 较低,设备队列没有同步明显增长;
  • 应用响应时间和错误率随着 CPU 队列变长而恶化。

可执行:

mpstat -P ALL 1 5

典型的示例结果可能类似:

Average:     all    %usr   %sys  %iowait  %idle
Average:     all    78.4   12.1      1.2     8.3

这个示例中,用户态和内核态合计占用较高,iowait 只有约 1%,说明 CPU 主要在执行计算,而不是停下来等待存储设备。

再配合:

vmstat 1 5

重点查看 r、b、si、so、us、sy、wa 和 id:

  • r:可运行、等待 CPU 调度的任务数;
  • b:处于阻塞状态的任务数;
  • si、so:换入和换出;
  • us、sy:用户态和内核态 CPU 时间;
  • wa:I/O 等待相关的 CPU 时间;
  • id:空闲时间。

如果一台服务器有 8 个逻辑 CPU,r 长时间维持在 10 到 20,且 us、sy 较高,通常更接近 CPU 调度压力。这里的“长时间”比某个瞬时数字更重要,因为编译、压缩、短时加密等任务可能只造成几秒钟的正常峰值。

将 CPU 占用定位到进程

top -b -n 1 -o %CPU | head -n 25

或者:

pidstat -u -p ALL 1 5

如果某个 Web 工作进程、数据库进程、脚本解释器或压缩任务在每个采样周期都位于 CPU 占用前列,并且业务响应时间与它的 CPU 占用同步变化,CPU 瓶颈的可信度会明显提高。

还要区分用户态 CPU和内核态 CPU:

  • user 较高,常见于业务计算、脚本执行、数据处理、加密或压缩;
  • system 较高,可能与系统调用、网络协议栈、文件系统操作、上下文切换有关;
  • soft 较高,可能与网络包处理、中断和高连接速率有关;
  • steal 较高,表示虚拟机被宿主机或其他虚拟 CPU 任务暂时占用,不能简单归因于应用本身。

在香港服务器上,如果业务存在大量跨区域请求、TLS 连接建立、短连接或小包通信,system、softirq 和连接处理开销可能同时增加。此时仍应先确认磁盘延迟和队列是否正常,不能看到 system 高就直接判定为磁盘故障。

再看磁盘:I/O 等待是否形成了可验证的队列

iowait 升高只是线索,不是结论

mpstat 或 vmstat 中的 iowait 表示 CPU 有时间处于等待 I/O 完成的状态,但它并不直接证明某一块本地磁盘就是根因。等待对象可能是:

  • 本地 SSD、云盘或机械盘;
  • 文件系统元数据操作;
  • 设备队列拥塞;
  • 内存不足引起的页面回收或交换;
  • 远程挂载或某些驱动路径;
  • 存储设备本身的服务延迟增加。

所以,wa 高时要继续看块设备实际表现:

iostat -xz 1 5

常见字段可以这样理解:

指标含义联动判断
r/s、w/s每秒读写请求数识别读密集或写密集变化
rkB/s、wkB/s每秒读写数据量判断吞吐是否突然增加
await请求从进入到完成的平均等待时间,通常以毫秒表示延迟上升时,应用更容易出现排队
aqu-sz 或 avgqu-sz平均设备队列长度与请求堆积是否同步
%util设备处于忙碌状态的时间比例适合与延迟和队列一起观察
r_await、w_await读请求和写请求的平均等待时间区分读延迟还是写延迟主导

假设观察到如下示例数据:

Device   r/s   w/s  rkB/s  wkB/s  aqu-sz  await  %util
vda     35.0  82.0  420.0  860.0     6.4  118.0   98.5

如果这几项数据与高负载同时出现,并且 vmstat 中 b 增加、进程中 D 状态任务增多,那么磁盘 I/O 堵塞的判断就比较有依据。这里的关键不是 %util 单独达到某个数值,而是“延迟、队列、阻塞进程和业务响应”同时恶化。

不同存储设备的并行能力不同,%util 接近 100% 也不能脱离 await 和队列解释。某些设备在高并发下仍能保持较低延迟,另一些设备的队列稍微增加就会让数据库或日志写入明显变慢。

查看哪些进程正在产生或等待 I/O

pidstat -d -p ALL 1 5

重点观察:

  • kB_rd/s、kB_wr/s:进程实际读写量;
  • iodelay:进程因 I/O 延迟消耗的时间,具体显示方式取决于工具版本;
  • 进程读写量是否与设备整体变化同步;
  • 是否存在少数进程持续写入日志、临时文件、缓存或数据库文件。

查看进程状态:

ps -eo state,pid,ppid,comm,wchan:32 --sort=state

也可以统计当前 D 状态进程数量:

ps -eo state= | awk '$1 ~ /^D/ {n++} END {print n+0}'

D 状态增多是磁盘或内核等待的重要线索,但不是“看到 D 就等于本地磁盘坏了”。如果 wchan 显示的是块设备、文件系统或具体驱动相关等待,同时 iostat 中延迟和队列也上升,证据链更完整。若进程只是等待锁、远程文件系统或其他内核资源,则需要结合系统日志和应用调用关系继续确认。

一个典型的 I/O 等待示例

下面是一组用于解释判断过程的模拟数据,并非某台实际香港服务器的监控结果:

指标高负载时示例值恢复后示例值
8 个逻辑 CPU 的 1 分钟负载8.62.1
CPU user + system13%18%
CPU iowait41%4%
vmstat 的 r32
vmstat 的 b161
磁盘 await120 ms6 ms
磁盘 %util98%32%
D 状态进程140
应用 P95 响应时间2.8 s420 ms

这里负载较高,但运行队列 r 没有明显超过 CPU 数量,用户态和内核态 CPU 也不高;相反,iowait、阻塞任务、磁盘延迟、设备忙碌时间和应用 P95 同步上升,更符合 I/O 等待。

排除内存压力引发的“伪磁盘问题”

内存不足经常会把问题表现成磁盘等待。系统为了回收内存,可能回收页面、写入交换区,或者频繁从交换区读回数据。此时应用看到的是磁盘延迟,根因却可能是内存压力。

先检查:

free -h

关注 available,不要只看 free。Linux 会把部分空闲内存用于页缓存,因此 free 较小并不必然表示内存不足。

继续观察:

vmstat 1 10

重点看:

  • si:从交换区读入内存的速率;
  • so:从内存写入交换区的速率;
  • free:可用内存的粗略变化;
  • r:运行队列;
  • b:阻塞任务;
  • wa:I/O 等待。

如果高负载期间 si、so 持续非零,available 持续下降,磁盘读写和 await 同时变高,应优先排查内存压力,而不是立即更换磁盘或扩大磁盘吞吐。

还可以使用:

sar -W 1 5

如果系统启用了内核日志记录,可查看是否出现 OOM 或内存回收相关信息:

journalctl -k --since "10 minutes ago"

这条命令只读取内核日志,不会修改系统。若权限不足,应使用具备日志读取权限的账号,或由管理员提供对应时间段的日志。

内存问题与 I/O 问题可以按下面方式区分:

观察结果更值得优先怀疑的方向
available 下降、si/so 持续增加、磁盘读延迟上升内存压力或交换导致的 I/O
available 稳定、si/so 接近 0、写队列和 w_await 上升日志、数据库或文件写入拥塞
CPU user 很高、交换正常、磁盘延迟低计算型 CPU 瓶颈
内存、磁盘和 CPU 都在变化可能存在级联问题,应按时间先后判断起因

不要仅因为服务器使用了较多缓存就清理页缓存。清理缓存可能造成新的磁盘读取和业务抖动,通常不能作为高负载的常规处理办法。

把连接数、网络和业务指标放入同一时间线

香港服务器承载跨地区访问时,网络距离、连接建立频率、带宽使用和对端响应时间都可能影响业务体验,但它们不一定会直接造成本地磁盘 I/O 等待。

先看连接概况:

ss -s

查看监听端口及队列:

ss -lnt

统计已建立连接数量:

ss -tan state established | wc -l

如果某个监听端口的 Recv-Q 或 Send-Q 持续增长,说明应用处理速度、内核队列或网络发送能力可能跟不上请求到达速度。此时还应结合:

sar -n DEV 1 5
sar -n TCP,ETCP 1 5

关注网卡吞吐、丢包、重传、连接建立速率和失败连接数。

网络因素通常有几种表现:

  • 连接数增长,但 CPU、磁盘队列都正常:可能是访问量增加、长连接增多或连接释放不及时;
  • 连接数和 softirq/system 同时升高:可能是网络包处理或连接管理消耗 CPU;
  • 应用响应时间升高,但服务器 CPU、磁盘、内存均正常:需要检查上游服务、跨区域链路、DNS、TLS 建连和应用自身等待;
  • 连接数增加后,应用日志写入量也增加,随后磁盘 w_await 上升:网络流量可能是触发因素,但直接瓶颈仍在日志或存储写入。

业务侧至少应同步记录请求量、P50/P95/P99 响应时间、超时数和 5xx 错误率。仅看服务器资源,无法判断“资源变忙”是否已经转化为用户可感知的故障。

用多指标联动形成判断

可以把一次高负载事件按下面的顺序复盘:

  1. 先确认时间范围:记录负载开始、峰值和恢复时间,区分瞬时峰值还是持续拥塞。
  2. 确认 CPU 是否真的繁忙:查看 mpstat 的 user/system/idle/steal,以及 vmstat 的 r。
  3. 确认是否存在 I/O 等待:查看 iowait、vmstat 的 b、iostat 的 await、队列和 %util。
  4. 排除内存引发的二次 I/O:检查 available、si/so、OOM 日志和内存回收迹象。
  5. 定位进程状态:用 top、pidstat 和 ps 判断是高 CPU 进程、I/O 进程,还是大量 D 状态任务。
  6. 关联连接与业务结果:将连接数、网卡速率、重传、请求量、响应时间和错误率对齐到同一时间轴。
  7. 让指标恢复后再次采样:对比故障期和恢复期,确认哪些指标先恢复,哪些指标只是跟随变化。

下面的对照表适合在现场快速初判,但不应替代完整采样:

现象组合初步判断还需要排除
us/sy 高、r 高、磁盘 await 低、少数进程 CPU 高CPU 计算或调度压力CPU 配额、steal、网络软中断
iowait 高、b 和 D 状态多、await 与队列同步升高存储或文件系统等待交换、远程挂载、驱动异常
si/so 增加、available 下降、读延迟上升内存压力导致的 I/O内存泄漏、进程上限、容器限制
连接数和 softirq 高、磁盘正常网络包处理或连接管理压力带宽、重传、应用线程模型
负载高但 CPU、磁盘、内存均正常任务状态或观测遗漏采样时段、远程依赖、容器/虚拟机指标

例如,8 个逻辑 CPU 上负载从 2 增至 9,如果同时看到 us 从 20% 增至 85%、r 从 2 增至 15、磁盘 await 仍为 5 ms,那么应优先调查 CPU 消耗最高的进程。反过来,如果负载增至 9 时 us 只有 8%、wa 达到 35%、b 为 12、磁盘 await 从 8 ms 增至 150 ms,则更接近 I/O 队列阻塞。

用多指标联动形成判断配图

复测时不要只看负载是否下降

完成日志限速、任务错峰、应用参数调整或存储侧处理后,应重新观察相同指标,而不是只确认 load average 回落。

一次有效复测至少应确认:

  • 1、5、15 分钟负载是否依次回落;
  • CPU r、us、sy、wa、steal 是否恢复到原有水平;
  • 磁盘 await、队列和 %util 是否同步下降;
  • D 状态进程是否减少;
  • available、si/so 是否恢复;
  • 连接队列、重传和应用请求量是否正常;
  • P95/P99 响应时间和错误率是否同时改善。

如果只看到负载下降,但磁盘 await 仍高,可能是请求量暂时下降;如果 CPU 恢复而业务响应仍慢,可能存在网络或上游依赖;如果磁盘恢复但 si/so 仍持续,内存问题尚未解决。复测的价值就在于确认指标之间的因果方向,而不是把一个下降的数字当作故障已经消失。

下一次遇到香港服务器负载升高时,建议至少同时保留这样一组指标:load average + nproc、mpstat 的 CPU 分项、vmstat 的 r/b/si/so、iostat 的 await/aqu-sz/%util、ps 中的 D 状态、ss 的连接与队列、网卡重传,以及业务响应时间和错误率。只有把这些数据放在同一时间语境中,才能较可靠地区分“CPU 正在计算”与“任务正在等待磁盘或其他 I/O”。

面对香港服务器上的计算压力、磁盘等待与跨地区访问需求,A5idc数据提供不同档位的香港物理服务器,涵盖Xeon Gold、AMD EPYC等处理器平台,以及SSD或NVMe存储配置,可为业务后台、数据库和接口服务提供相应的计算与存储资源。部分产品提供CN2或国际带宽选择,便于结合访问地区和业务流量安排网络资源。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/8748.html

相关推荐