Linux vmstat输出中的r、si和wa分别怎么看,怎样结合CPU与磁盘指标判断瓶颈
单看 wa 高就判断磁盘慢、看到 si 非零就认定内存不足,容易把相关现象当成根因。vmstat 更适合用来观察同一时间窗口内的可运行进程、换页活动和 CPU 时间分布,再与磁盘延迟、内存压力及业务响应时间对照。
简单来说,r 表示正在运行或等待 CPU 的任务数;si 表示从交换空间换入内存的数据速率;wa 表示 CPU 时间中等待 I/O 完成的比例。三者都不能单独给出故障结论,关键要看它们是否与其他指标在同一时间段内同步变化。
先建立可比较的观察窗口
先连续采样,而不是只看一次输出。常用命令如下:
vmstat 1 10
它每秒输出一次,共采集 10 次。通常第一行是自系统启动以来的平均值,不代表当前这一秒;后续行才是各采样间隔的统计结果。判断当前负载时,应重点看后续行。不同版本的 procps 对选项支持可能不同;若支持 -y,可用它跳过启动以来的首行统计:
vmstat -y 1 10
若不确定是否支持,可先运行 vmstat --help 核验。
观察窗口应与业务异常发生的时间对齐。例如,接口延迟从 14:05 开始升高,就需要同时查看该时段的 vmstat、磁盘指标、内存指标和接口响应时间,而不是拿几小时前的系统快照作比较。采样间隔可先设为 1 秒,持续 1 至 2 分钟;如果问题发生得较慢,再补充更长时间的趋势数据。
以下是常见列的含义:
| 列 | 含义 | 判读重点 |
|---|---|---|
r | 可运行任务数,包括正在 CPU 上运行和等待 CPU 的任务 | 是否持续高于可用 CPU 核数,并伴随 CPU 忙碌或业务延迟 |
si | 每秒从交换空间换入内存的数据量 | 是否持续出现,并与内存压力、换页和业务变慢同步 |
so | 每秒从内存换出到交换空间的数据量 | 与 si 配合判断换页方向和持续性 |
us、sy | 用户态、内核态 CPU 时间比例 | CPU 时间主要消耗在哪一类工作上 |
id、wa | 空闲时间、I/O 等待时间比例 | CPU 是否闲置,以及是否有任务等待 I/O |
b | 不可中断睡眠状态的任务数 | 是否有任务集中等待 I/O 等不可中断操作 |
si、so 一般按每秒换页数据量显示,常见单位是 KiB/s;查看本机 vmstat 的帮助信息可确认输出口径。这里的 si、so 不应与磁盘 I/O 字节数直接画等号:换页只是内存管理活动,具体落在哪个设备、造成多大负载,还要通过设备指标确认。
先读 r:CPU 是否真的排队
r 不是 CPU 使用率,也不等同于系统负载。它表示处于可运行状态的任务数,其中包括正在运行的任务。因此,r 偶尔比 CPU 核数高,并不自动说明 CPU 已成为瓶颈。
更有价值的判断是把 r 与 CPU 时间和业务表现联动起来:
r持续高于可用 CPU 核数,且us或sy偏高、id偏低:任务有较多时间在争抢 CPU,CPU 瓶颈的可能性上升。r偏高,但id仍然较高:不能仅凭r判断 CPU 不够。短时采样错位、任务状态变化或其他资源等待,都可能造成表面上的不一致;应延长观察并检查进程级数据。r不高,但业务延迟很大:CPU 可能不是主要瓶颈。应检查磁盘延迟、内存换页、网络重传、锁等待及外部依赖响应时间。sy高于平时:可能有较多内核态工作,例如系统调用、网络包处理或文件系统活动,但不能仅凭这一列断定具体原因。
可用 nproc 查看系统可见的 CPU 数量,作为判断 r 的参照:
nproc
还应注意容器与虚拟机的 CPU 配额:系统显示的 CPU 数量不一定等于进程实际可使用的额度。若宿主机或容器设置了 CPU 限额,应结合配额和限流指标判断,不能只按物理核心数比较。
例如,某台 8 核机器在一个模拟窗口中,r 长时间维持在 14 左右,us 和 sy 合计约 95%,id 接近 0,同时接口延迟升高。这组信号比单独一个 r=14 更支持 CPU 争抢判断。反之,如果 r 短时升高后马上回落,业务响应时间也没有变化,通常不足以据此调整资源。
再读 si:区分偶发换页和持续内存压力
si 非零,说明采样期间有数据从交换空间换入内存,但不等于系统正在严重缺内存。少量、短时的换页可能出现在正常运行中,真正需要关注的是持续性,以及它是否与性能恶化同时出现。
优先把 si 与 so、可用内存、缺页活动、磁盘延迟和业务响应时间放在一起看:
si、so持续有值,si增大时响应时间也明显升高:换页可能正在增加内存访问延迟,尤其应核对交换空间所在设备的读写延迟。si偶尔出现,so接近零,业务时延稳定:可能只是短时换入,不能仅凭这一点判定内存瓶颈。si、so都接近零,但内存可用量较低:并不能由此证明内存充足。系统可能尚未触发明显换页,仍应检查内存压力、主要缺页和应用自身内存使用情况。si持续增加,但对应设备延迟不高、业务不受影响:需要进一步确认换页规模、应用访问模式及采样单位,避免把轻微活动误判成故障。
可以用 free -h 查看内存概况:
free -h
Linux 会利用空闲内存作为缓存,因此应优先关注 available,而不只是 free。若可用内存下降、si 和 so 连续出现,业务延迟上升,并且主要缺页或内存压力指标也增加,内存瓶颈的判断才更有依据。支持压力停滞信息(PSI)的系统还可查看 /proc/pressure/memory;它反映任务因内存资源不足而停滞的情况,可作为 vmstat 之外的佐证。
同时,要区分“发生了换页”和“交换空间本身是瓶颈”。交换空间可能位于不同的块设备上;如果该设备本身繁忙,换页读写可能与业务 I/O 竞争。需用设备级数据确认实际影响,而不是仅凭 si 推断是哪块磁盘变慢。
读 wa:I/O 等待不等于磁盘已经饱和
wa 是 CPU 时间统计中的 I/O 等待比例,不能直接解释成“磁盘使用率”或“磁盘延迟”。它提示系统中存在等待 I/O 完成的情况,但不指出具体设备、文件、进程,也不能证明 I/O 一定来自本地磁盘。文件系统、块设备及某些远端存储路径都可能涉及 I/O 等待。
判断 wa 时,重点看它是否与设备延迟、队列及业务变化一起出现:
| 观察组合 | 较合理的判断方向 |
|---|---|
wa 上升,设备读写延迟上升,队列积压,业务延迟同步升高 | 存储 I/O 瓶颈的可能性增加 |
wa 上升,但设备延迟和队列没有明显变化 | 暂不能认定本地磁盘饱和;检查其他 I/O 路径和进程行为 |
wa 偏低,但磁盘延迟高或少数请求很慢 | 平均值可能掩盖局部慢请求,需结合延迟分布和业务请求数据 |
wa 高,但 CPU 仍有大量空闲时间 | 说明 CPU 未被计算任务占满;不代表系统没有性能问题,也不等于磁盘已确认故障 |
可用 iostat 观察块设备读写速率、请求队列和延迟。该命令通常由 sysstat 软件包提供,具体选项可先用本机帮助核实:
iostat -xz 1 10
重点看设备的 r_await、w_await、队列相关字段和读写负载是否与 wa 同步变化。设备 %util 可作为辅助信息,但对并行度较高的存储设备,不能简单把某个固定的 %util 数值当成饱和线;应结合延迟、队列、设备类型及业务 SLO 判断。
例如,一组模拟数据中,wa 从约 2% 升至 25%,同一窗口内设备写延迟从约 3 毫秒升至 35 毫秒,队列持续增长,数据库写请求的 P95 延迟也从约 20 毫秒升至 110 毫秒。四者同时变化,比“wa 高于某个阈值”更能支持存储写入受限的推断。若只观察到 wa 升高,而设备延迟、队列和业务响应都稳定,则还不能作出同样结论。
把三类指标放回同一条时间线上
下表中的数据仅用于说明判读方法,不代表实际监控结果。假设一台 8 核机器连续采样,业务响应时间在约 40 秒内从 50 毫秒升至 180 毫秒:

| 时间段 | r | us+sy | si/so | wa | 设备延迟 | 接口 P95 |
|---|---|---|---|---|---|---|
| 14:00:00–14:00:20 | 3–5 | 55%–68% | 0 / 0 | 2%–5% | 3–5 ms | 50 ms |
| 14:00:20–14:00:40 | 6–9 | 72%–84% | 0 / 0 | 8%–12% | 8–12 ms | 95 ms |
| 14:00:40–14:01:00 | 15–18 | 93%–98% | 0 / 0 | 3%–6% | 4–6 ms | 180 ms |
第三个时间段中,r 明显高于 8,CPU 忙碌程度也很高,而设备延迟回到较低水平,且没有换页活动。若这些指标与业务延迟确实按同一时间轴对齐,那么 CPU 争抢比磁盘延迟或内存换页更像候选原因。但这仍是相关性判断;还需进一步确认热点进程是否在消耗 CPU、是否存在 CPU 配额限流,并检查同期是否有流量变化、错误率上升或依赖服务变慢。
可先用 pidstat 查看进程级 CPU 或 I/O 活动;它同样由 sysstat 提供:
pidstat -u -d 1 10
如果服务器没有该命令,先确认软件包是否安装。不要仅根据系统级汇总,将资源问题直接归因到某个应用。
排除替代解释,再形成判断
性能分析不能只问“哪个指标变了”,还要问“哪些同时变化的因素可能造成同样现象”。
CPU 忙碌但不一定是算力不足
r 高、us 或 sy 高、id 低,支持 CPU 资源紧张的判断,但也要检查 CPU 配额、限流和任务是否集中在少数核心。还应把流量、请求类型、错误率和响应时间放在一起看:如果请求量突然增加,CPU 使用上升可能是负载增加的结果,而不一定是系统出现了新的故障。
wa 高但不一定是本地磁盘问题
确认设备级延迟和队列是否同步恶化,查看负载发生在哪个设备;同时检查文件系统、远端存储和应用等待路径。如果业务主要依赖网络接口或外部服务,vmstat 中的 I/O 等待并不足以定位故障。网络方向应另外观察吞吐量、丢包、重传、连接错误和远端响应时间。
si 有值但不一定意味着需要扩容内存
检查换页是否持续、是否同时出现 so、可用内存是否持续下降,以及缺页、PSI 和业务延迟是否共同恶化。单次换入可能只是历史上不活跃的页面重新被访问;如果没有持续压力和性能影响,贸然调整内存配置可能解决不了真正的问题。
平均值正常也不代表没有慢请求
vmstat 和不少设备指标是时间窗口内的汇总。短暂的尖峰或少数请求的高延迟,可能被平均值稀释。需要将采样窗口与业务的 P95、P99 响应时间、超时率和错误率对齐;如果延迟升高但系统平均指标变化不大,应进一步看请求级跟踪、锁等待或外部依赖。
用复测确认判断,而不是直接下结论
一次指标联动只能形成候选原因。形成判断后,应保持业务负载和采样方式尽量可比,再复测同一组指标,观察候选信号是否重复出现,以及它变化时业务表现是否同步变化。
例如,怀疑 CPU 排队时,同时记录 r、CPU 使用、CPU 配额或限流、热点进程和请求延迟;怀疑存储 I/O 时,同时记录 wa、设备延迟、队列、读写速率及业务 P95;怀疑换页时,同时记录 si、so、available、内存 PSI、设备延迟和请求错误率。若候选指标消退后,业务延迟也随之恢复,因果关系更有说服力;若指标变化与业务表现没有稳定对应,则应重新检查解释,而不是把单次相关性当作定论。
下次遇到系统响应变慢,至少同时保留三组数据:vmstat 的 r、si、so、wa 与 CPU 时间;设备级延迟和队列;业务侧的请求量、P95/P99 响应时间和错误率。根据现象再补充内存 PSI、进程级 CPU/I/O,以及网络重传或外部依赖耗时,通常比单独盯着某一个百分比更容易找到有效的排查方向。
对于需要持续观察 CPU、内存、磁盘与网络协同表现的业务,A5idc数据提供香港、美国、日本、韩国、中国台湾、新加坡及马来西亚等地区的物理服务器资源,覆盖 Xeon Gold、AMD EPYC、GPU、存储及多IP等产品系列,并配备 SSD、NVMe、企业级机械硬盘和不同线路方案,可为网站、数据库、接口服务、容器及多任务计算提供相应的硬件与网络基础。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/8049.html



