Linux用vmstat分析性能,哪些字段能区分CPU等待与磁盘瓶颈
看到 vmstat 中的 wa 升高,不能直接得出“磁盘已经成为瓶颈”的结论;看到 us 较高,也不能仅凭一个百分比判断应用在消耗 CPU。真正需要区分的是两类等待:一类是任务排队等待 CPU,通常表现为 r 持续高于可用逻辑 CPU 数量;另一类是 CPU 空闲但任务在等待 I/O,常见表现为 wa、b 升高。
判断磁盘瓶颈时,wa 只能作为线索,必须与 b、bi/bo、内存换入换出,以及 iostat 中的设备延迟、队列和利用率放在同一个时间窗口内观察。CPU 瓶颈则更依赖 r、us、sy、id 和逐核使用率。若再结合应用响应时间、错误率、数据库等待和网络丢包,才能形成可复测的判断。
A5idc数据提供中国香港、美国、日本、韩国、中国台湾、新加坡和马来西亚等地区的物理服务器,覆盖Xeon Gold、AMD EPYC、NVMe存储及多种带宽线路配置,可为网站后台、数据库、接口服务和多任务业务提供不同的CPU、内存、磁盘与网络资源组合。面对CPU排队、I/O等待和远程存储延迟等问题,这些区域化硬件与线路方案也为业务部署和性能指标对照提供了资源基础。
先建立可比较的观察窗口
性能数据必须带有时间语境。单次执行 vmstat 得到的数值只能说明某个瞬间或累计状态,无法直接解释一次请求变慢的原因。排查时应同时记录正常阶段和异常阶段,至少覆盖几十秒;对于定时任务、批处理或流量周期明显的系统,观察窗口应覆盖一个完整业务周期。
常用命令如下:
vmstat 1 20
这会每秒输出一次,共观察约 20 个采样点。Linux 上 vmstat 的第一行通常是从系统启动以来的平均或累计信息,不代表第一个 1 秒区间,应重点分析后续行。如果当前 procps 版本支持,也可以使用以下形式跳过首行:
vmstat -y 1 20
不同发行版的选项可能略有差异,遇到不支持的参数时先执行:
vmstat --help
为了将 vmstat 与应用延迟、数据库等待和磁盘指标对齐,可以在多个终端同时运行以下命令:
iostat -xz 1 20
mpstat -P ALL 1 20
pidstat -dru -t 1 20
其中:
iostat -xz用于查看块设备的延迟、队列和利用率;mpstat -P ALL用于观察每个逻辑 CPU,避免平均值掩盖单核过载;pidstat -dru -t用于定位进程及线程级 CPU、内存和 I/O 活动。
如果系统没有这些命令,它们通常由 sysstat 软件包提供,但安装软件包前应遵循生产环境变更流程,不要在业务高峰期直接修改系统。
vmstat 中与瓶颈判断最相关的字段
r 和 b:先区分排队与阻塞
procs 部分有两个关键字段:
| 字段 | 含义 | 判断重点 |
|---|---|---|
r | 正在运行或可运行、等待 CPU 调度的任务数 | 持续高于逻辑 CPU 数量时,说明 CPU 运行队列可能拥堵 |
b | 处于不可中断睡眠状态的任务数 | 常见于块设备、文件系统或部分远程 I/O 等等待,不等同于磁盘故障 |
r 不是百分比,而是任务数量。假设服务器有 8 个逻辑 CPU:
r长时间在 1~4 之间,通常不能仅凭此认为 CPU 排队;r持续在 12~20,且us或sy较高,CPU 竞争的可能性明显增加;r和b同时升高,可能是 CPU 与 I/O 混合瓶颈,不能强行归类为单一原因。
b 较高时,应用线程可能卡在文件读取、写回、fsync、块设备响应或远程文件系统上。它不能单独证明本地磁盘已经饱和,必须继续查看设备级延迟和队列。
us、sy、id、wa、st:看 CPU 时间花在哪里
cpu 部分通常包含以下字段:
| 字段 | 含义 | 与判断的关系 |
|---|---|---|
us | 用户态 CPU 时间比例 | 应用计算、用户态代码消耗 CPU 的线索 |
sy | 内核态 CPU 时间比例 | 系统调用、网络处理、文件系统、内核调度等消耗 CPU 的线索 |
id | 空闲时间比例 | CPU 没有执行任务的时间 |
wa | 等待 I/O 的时间比例 | CPU 处于等待 I/O 的时间线索,不等于磁盘利用率 |
st | 虚拟机被宿主机“偷走”的 CPU 时间比例 | 云主机或虚拟化环境中的宿主机争用线索 |
这里最容易误判的是 wa。wa 升高表示 CPU 有一部分时间处于 I/O wait 状态,但它并不说明等待对象一定是本地磁盘,也不说明设备已经达到吞吐上限。等待对象可能包括:
- 本地块设备;
- 文件系统写回或同步写;
- 远程文件系统;
- 存储后端的高延迟;
- 内存不足导致的交换 I/O;
- 某些虚拟化或内核 I/O 路径。
因此,wa=40% 只能表达“系统有明显 I/O 等待”,不能直接写成“磁盘使用率 40%”或“磁盘已满载”。

st 也需要单独排除。若 st 持续升高,虚拟机可能因为宿主机 CPU 争用而得不到运行时间,此时应用会变慢,但问题并非磁盘。云主机中应把 st 与实例规格、宿主机争用指标和业务延迟一起观察。
bi、bo:看块设备流量,不看设备是否一定饱和
io 部分的字段通常为:
bi:从块设备读入的速率;bo:写向块设备的速率。
它们反映块设备方向上的活动量,但具体单位和显示方式受 vmstat 版本及 -S 选项影响,不能把数值不经核对就当成 MB/s。更重要的是,流量高低和延迟高低不是同一个概念:
- 低吞吐也可能存在很高延迟,例如大量小块随机读或同步写;
- 高吞吐不一定是瓶颈,顺序读写可能仍有较低延迟;
bo增大可能是内核批量写回,不一定等同于应用当前发起了同等规模的同步写;bi/bo不高,也不能排除队列拥堵或单次 I/O 延迟过高。
所以,bi/bo 适合回答“有没有明显块设备活动”,而 iostat 更适合回答“设备是否因延迟、队列或利用率成为瓶颈”。
si、so:确认 wa 是否由内存压力引起
memory 部分的 si 和 so 分别表示从交换区换入、换出的速率。若两者在异常窗口内持续非零,同时出现:
wa升高;b增加;bi/bo增加;- 应用响应时间变长;
那么更准确的判断可能是“内存压力引发交换 I/O”,而不是“业务数据访问把磁盘打满”。
swpd 只表示当前使用了多少交换空间,不能单独判断系统正在发生严重换页。历史上曾经使用过交换区,不等于当前仍在持续换入换出。应优先观察 si/so 的变化,并结合内存压力指标:
free -h
cat /proc/pressure/memory
用多指标区分 CPU 排队与磁盘等待
可以按照“观察变化—寻找联动—排除替代解释—复测”的顺序处理。
第一步:先确认是否真的存在 CPU 运行队列
CPU 排队通常需要同时满足几个条件:
r持续高于逻辑 CPU 数量,而不是偶尔尖峰;us、sy或两者合计较高;id较低;wa不高,或者不是主要的 CPU 时间组成;iostat中磁盘延迟和队列没有同步恶化;- 应用响应时间与
r的变化大致同向。
例如,8 个逻辑 CPU 的服务器在一段模拟窗口中出现如下数据:
| 指标 | 正常阶段 | 异常阶段 |
|---|---|---|
r | 2~4 | 14~18 |
b | 0~1 | 0~2 |
us | 35% | 78% |
sy | 8% | 14% |
id | 55% | 7% |
wa | 2% | 1% |
st | 0% | 0% |
iostat await | 3 ms | 4 ms |
| 应用 P95 延迟 | 120 ms | 850 ms |
这组数据更接近 CPU 运行队列拥堵:r 显著增加,CPU 大部分时间用于用户态和内核态执行,wa 很低,存储延迟没有同步恶化。
但还要检查逐核数据。若总体 us 只有 20%,而某一个逻辑 CPU 接近 100%,可能是单线程应用、线程绑核或锁竞争,而不是整台机器拥有足够的 CPU 余量。此时应重点查看:
mpstat -P ALL 1 10
如果 sy 和上下文切换数 cs 同时很高,可能是大量系统调用、网络包处理、线程切换或小块 I/O 造成的内核开销。它仍然属于 CPU 侧问题,但不一定能通过简单增加业务线程解决。
第二步:检查 wa 是否与阻塞任务和设备延迟联动
磁盘或存储等待通常呈现另一种组合:
wa在异常窗口中明显升高;b同步增加;r不一定高,甚至可能低于逻辑 CPU 数量;us、sy不高,id+wa占比较大;bi/bo有变化,或虽然吞吐不高但设备延迟明显升高;iostat中await、aqu-sz、%util与应用延迟同向变化;- 应用错误率、请求队列或数据库 I/O 等待也同时增加。
一组模拟数据如下,服务器仍为 8 个逻辑 CPU:
| 指标 | 正常阶段 | I/O 异常阶段 |
|---|---|---|
r | 2~3 | 2~5 |
b | 0~1 | 8~12 |
us | 30% | 11% |
sy | 7% | 9% |
id | 60% | 28% |
wa | 2% | 52% |
si/so | 0 | 0 |
iostat await | 4 ms | 78 ms |
iostat aqu-sz | 0.2 | 6.1 |
iostat %util | 35% | 97% |
| 应用 P95 延迟 | 100 ms | 1.7 s |
这里的判断依据不是 wa=52% 一个字段,而是 wa、b、设备等待时间、队列长度和应用延迟同时发生变化。CPU 没有被计算任务占满,任务主要在等待存储完成。
需要注意,%util 接近 100% 对单队列设备的指示意义较强,但对现代多队列 NVMe、云盘或虚拟块设备不能机械解释为“绝对没有余量”。仍应结合 await、队列长度、读写比例、业务延迟和设备类型判断。
第三步:区分“磁盘瓶颈”与“内存换页造成的磁盘活动”
如果 wa、b、bi/bo 同时升高,但 si/so 也持续增加,应先处理内存压力这一替代解释。
例如:
| 指标 | 数据 |
|---|---|
r | 3~6 |
b | 6~10 |
us | 24% |
sy | 12% |
id | 14% |
wa | 48% |
si | 160 |
so | 230 |
磁盘 %util | 91% |
| 应用 P95 | 2.1 s |
这时可以说“存储设备正在承受较大压力”,但根因未必是业务读写量过大。持续换出说明内存回收或工作集超过可用内存,磁盘可能是在承接交换流量。应进一步检查进程内存、容器限制、文件缓存回收和内核内存压力,而不是直接把业务数据迁移到另一块磁盘。
wa 高但磁盘指标不高时,排除这些解释
远程文件系统或后端存储延迟
vmstat 的 I/O 等待不只对应本地盘。如果应用访问 NFS、分布式文件系统或虚拟化存储,设备本地吞吐可能并不高,但后端响应时间已经升高。此时可以检查挂载类型和应用访问路径:
findmnt -T /path/to/application-data
/path/to/application-data 需要替换为实际业务路径。不要仅凭本地磁盘的 bi/bo 或 %util 判断远程存储是否健康。
同步写或 fsync 导致单次延迟高
数据库日志、事务日志和部分应用会频繁执行同步写。此类场景的吞吐量可能不大,但每次写入都要等待持久化确认,因此更容易表现为请求延迟、b 和 wa 升高。应结合进程级 I/O 和数据库日志写入等待观察:
pidstat -d -p PID 1 10
将 PID 替换为目标进程号。若需要定位线程级行为,可以使用:
pidstat -dru -t -p PID 1 10
虚拟机 CPU 被宿主机抢占
如果 wa 并不突出,但 st 持续升高,或者 r、应用延迟与 st 同步变化,应优先排查虚拟 CPU 争用。此时增加磁盘带宽未必能改善问题。还应查看实例级监控中的 CPU steal、CPU 配额和宿主机资源指标。
网络问题被误认为 I/O 问题
vmstat 不展示网络吞吐、重传和网卡丢包。应用等待远程服务、数据库或对象存储响应时,本机 CPU 可能并不繁忙,某些等待也可能被归入 I/O 或阻塞状态。
可以补充观察:
sar -n DEV 1 10
ss -s
ip -s link
重点关注网卡丢包、错误、TCP 重传、连接数和 socket 队列。网络吞吐高不一定是网络瓶颈,低吞吐也不代表没有网络延迟;必须结合请求耗时、重传和对端响应时间。
把应用和数据库指标放进同一时间线
主机指标只能说明资源表现,不能直接说明哪个请求或哪个业务组件受到影响。形成判断时,至少应把以下业务指标与 vmstat 同步记录:
- 请求量、P50/P95/P99 响应时间;
- 超时数、错误率和重试次数;
- 应用线程池、连接池和任务队列长度;
- GC 暂停、锁等待和线程阻塞;
- 数据库活跃连接、锁等待、慢查询和日志写入等待;
- 外部依赖的响应时间和失败率。
例如,r 很高但应用 P95 没有变化,可能只是后台批处理占用 CPU;wa 很高但业务请求正常,可能是备份、日志归档或非核心任务产生的 I/O。只有当资源指标变化与受影响业务的时间点、请求量和错误率相互对应时,才适合把它作为业务瓶颈处理。
数据库场景还要区分“数据库主机存储慢”和“应用等待数据库连接”。前者通常会看到数据库进程的 I/O 等待、日志写入延迟和底层设备队列同步升高;后者可能表现为应用连接池耗尽,但数据库 CPU、磁盘和锁等待并不高。两者都可能让应用 P95 上升,却需要不同的处理方向。
用一组复测验证判断
第一次采样只能产生候选原因,不能代替复测。确认瓶颈时,应在不改变业务行为的前提下,分别记录正常窗口、异常窗口和采取措施后的窗口。
推荐的复测顺序如下:
- 记录逻辑 CPU 数、业务流量、应用 P95/P99、错误率和数据库连接情况。
- 用
vmstat连续采样,丢弃首行,标记异常开始和结束时间。 - 同步记录
iostat的设备延迟、队列、读写速率和利用率。 - 使用
mpstat -P ALL排除单核过载、CPU steal 和逐核分布不均。 - 使用
pidstat确认具体进程或线程是否产生 CPU、读写或上下文切换压力。 - 对照网络、应用和数据库时间线,排除远程依赖与业务自身排队。
- 处理一个主要候选因素后,用相同采样周期再次验证,而不是同时修改多个参数。
一个便于现场使用的判断表如下:
| 观察到的组合 | 更可能的方向 | 还需要确认的指标 |
|---|---|---|
r 高、us/sy 高、wa 低、id 低 | CPU 运行队列或计算压力 | mpstat -P ALL、线程 CPU、CPU 配额、应用队列 |
wa 高、b 高、await 和 aqu-sz 高 | 存储或文件系统等待 | 设备读写类型、%util、pidstat -d、挂载类型 |
wa 高、si/so 持续非零 | 内存压力引发交换 I/O | /proc/pressure/memory、进程内存、容器限制 |
st 高、应用延迟高、r 变化明显 | 虚拟化 CPU 争用 | 实例 CPU steal、配额、宿主机指标 |
vmstat 变化小但请求延迟高 | 网络、应用锁、连接池或数据库等待 | sar -n DEV、ss -s、线程池、数据库等待 |
r 和 b 同时高,CPU 与设备指标都恶化 | CPU 与 I/O 混合瓶颈 | 按进程、线程和请求类型拆分 |
不要把表中的组合当成固定阈值。比如 wa 达到 20% 在某些批处理系统中可能是正常现象,在低延迟交易服务中却可能已经影响请求;r 为 8 对 4 个逻辑 CPU 很可能意味着排队,对 32 个逻辑 CPU 则未必如此。业务延迟、请求量和错误率决定了这些资源变化是否构成实际瓶颈。
下一次采样时,建议至少同时保留这组指标:vmstat 的 r/b/si/so/bi/bo/us/sy/id/wa/st,iostat 的 await/aqu-sz/%util,mpstat 的逐核 CPU,pidstat 的进程级 CPU 与 I/O,以及应用 P95、错误率、队列长度和数据库等待。这样才能把“CPU 在等待”“任务在等待 CPU”和“磁盘正在变慢”放在同一条时间线上区分开。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/8402.html



