Linux vmstat输出中的r、si和wa分别怎么看,怎样结合CPU与磁盘指标判断瓶颈

发布人:A5数据发布时间:2026-11-07 11:02阅读量:62

单看 wa 高就判断磁盘慢、看到 si 非零就认定内存不足,容易把相关现象当成根因。vmstat 更适合用来观察同一时间窗口内的可运行进程、换页活动和 CPU 时间分布,再与磁盘延迟、内存压力及业务响应时间对照。

简单来说,r 表示正在运行或等待 CPU 的任务数;si 表示从交换空间换入内存的数据速率;wa 表示 CPU 时间中等待 I/O 完成的比例。三者都不能单独给出故障结论,关键要看它们是否与其他指标在同一时间段内同步变化。

先建立可比较的观察窗口

先连续采样,而不是只看一次输出。常用命令如下:

vmstat 1 10

它每秒输出一次,共采集 10 次。通常第一行是自系统启动以来的平均值,不代表当前这一秒;后续行才是各采样间隔的统计结果。判断当前负载时,应重点看后续行。不同版本的 procps 对选项支持可能不同;若支持 -y,可用它跳过启动以来的首行统计:

vmstat -y 1 10

若不确定是否支持,可先运行 vmstat --help 核验。

观察窗口应与业务异常发生的时间对齐。例如,接口延迟从 14:05 开始升高,就需要同时查看该时段的 vmstat、磁盘指标、内存指标和接口响应时间,而不是拿几小时前的系统快照作比较。采样间隔可先设为 1 秒,持续 1 至 2 分钟;如果问题发生得较慢,再补充更长时间的趋势数据。

以下是常见列的含义:

列含义判读重点
r可运行任务数,包括正在 CPU 上运行和等待 CPU 的任务是否持续高于可用 CPU 核数,并伴随 CPU 忙碌或业务延迟
si每秒从交换空间换入内存的数据量是否持续出现,并与内存压力、换页和业务变慢同步
so每秒从内存换出到交换空间的数据量与 si 配合判断换页方向和持续性
us、sy用户态、内核态 CPU 时间比例CPU 时间主要消耗在哪一类工作上
id、wa空闲时间、I/O 等待时间比例CPU 是否闲置,以及是否有任务等待 I/O
b不可中断睡眠状态的任务数是否有任务集中等待 I/O 等不可中断操作

si、so 一般按每秒换页数据量显示,常见单位是 KiB/s;查看本机 vmstat 的帮助信息可确认输出口径。这里的 si、so 不应与磁盘 I/O 字节数直接画等号:换页只是内存管理活动,具体落在哪个设备、造成多大负载,还要通过设备指标确认。

先读 r:CPU 是否真的排队

r 不是 CPU 使用率,也不等同于系统负载。它表示处于可运行状态的任务数,其中包括正在运行的任务。因此,r 偶尔比 CPU 核数高,并不自动说明 CPU 已成为瓶颈。

更有价值的判断是把 r 与 CPU 时间和业务表现联动起来:

  • r 持续高于可用 CPU 核数,且 us 或 sy 偏高、id 偏低:任务有较多时间在争抢 CPU,CPU 瓶颈的可能性上升。
  • r 偏高,但 id 仍然较高:不能仅凭 r 判断 CPU 不够。短时采样错位、任务状态变化或其他资源等待,都可能造成表面上的不一致;应延长观察并检查进程级数据。
  • r 不高,但业务延迟很大:CPU 可能不是主要瓶颈。应检查磁盘延迟、内存换页、网络重传、锁等待及外部依赖响应时间。
  • sy 高于平时:可能有较多内核态工作,例如系统调用、网络包处理或文件系统活动,但不能仅凭这一列断定具体原因。

可用 nproc 查看系统可见的 CPU 数量,作为判断 r 的参照:

nproc

还应注意容器与虚拟机的 CPU 配额:系统显示的 CPU 数量不一定等于进程实际可使用的额度。若宿主机或容器设置了 CPU 限额,应结合配额和限流指标判断,不能只按物理核心数比较。

例如,某台 8 核机器在一个模拟窗口中,r 长时间维持在 14 左右,us 和 sy 合计约 95%,id 接近 0,同时接口延迟升高。这组信号比单独一个 r=14 更支持 CPU 争抢判断。反之,如果 r 短时升高后马上回落,业务响应时间也没有变化,通常不足以据此调整资源。

再读 si:区分偶发换页和持续内存压力

si 非零,说明采样期间有数据从交换空间换入内存,但不等于系统正在严重缺内存。少量、短时的换页可能出现在正常运行中,真正需要关注的是持续性,以及它是否与性能恶化同时出现。

优先把 si 与 so、可用内存、缺页活动、磁盘延迟和业务响应时间放在一起看:

  • si、so 持续有值,si 增大时响应时间也明显升高:换页可能正在增加内存访问延迟,尤其应核对交换空间所在设备的读写延迟。
  • si 偶尔出现,so 接近零,业务时延稳定:可能只是短时换入,不能仅凭这一点判定内存瓶颈。
  • si、so 都接近零,但内存可用量较低:并不能由此证明内存充足。系统可能尚未触发明显换页,仍应检查内存压力、主要缺页和应用自身内存使用情况。
  • si 持续增加,但对应设备延迟不高、业务不受影响:需要进一步确认换页规模、应用访问模式及采样单位,避免把轻微活动误判成故障。

可以用 free -h 查看内存概况:

free -h

Linux 会利用空闲内存作为缓存,因此应优先关注 available,而不只是 free。若可用内存下降、si 和 so 连续出现,业务延迟上升,并且主要缺页或内存压力指标也增加,内存瓶颈的判断才更有依据。支持压力停滞信息(PSI)的系统还可查看 /proc/pressure/memory;它反映任务因内存资源不足而停滞的情况,可作为 vmstat 之外的佐证。

同时,要区分“发生了换页”和“交换空间本身是瓶颈”。交换空间可能位于不同的块设备上;如果该设备本身繁忙,换页读写可能与业务 I/O 竞争。需用设备级数据确认实际影响,而不是仅凭 si 推断是哪块磁盘变慢。

读 wa:I/O 等待不等于磁盘已经饱和

wa 是 CPU 时间统计中的 I/O 等待比例,不能直接解释成“磁盘使用率”或“磁盘延迟”。它提示系统中存在等待 I/O 完成的情况,但不指出具体设备、文件、进程,也不能证明 I/O 一定来自本地磁盘。文件系统、块设备及某些远端存储路径都可能涉及 I/O 等待。

判断 wa 时,重点看它是否与设备延迟、队列及业务变化一起出现:

观察组合较合理的判断方向
wa 上升,设备读写延迟上升,队列积压,业务延迟同步升高存储 I/O 瓶颈的可能性增加
wa 上升,但设备延迟和队列没有明显变化暂不能认定本地磁盘饱和;检查其他 I/O 路径和进程行为
wa 偏低,但磁盘延迟高或少数请求很慢平均值可能掩盖局部慢请求,需结合延迟分布和业务请求数据
wa 高,但 CPU 仍有大量空闲时间说明 CPU 未被计算任务占满;不代表系统没有性能问题,也不等于磁盘已确认故障

可用 iostat 观察块设备读写速率、请求队列和延迟。该命令通常由 sysstat 软件包提供,具体选项可先用本机帮助核实:

iostat -xz 1 10

重点看设备的 r_await、w_await、队列相关字段和读写负载是否与 wa 同步变化。设备 %util 可作为辅助信息,但对并行度较高的存储设备,不能简单把某个固定的 %util 数值当成饱和线;应结合延迟、队列、设备类型及业务 SLO 判断。

例如,一组模拟数据中,wa 从约 2% 升至 25%,同一窗口内设备写延迟从约 3 毫秒升至 35 毫秒,队列持续增长,数据库写请求的 P95 延迟也从约 20 毫秒升至 110 毫秒。四者同时变化,比“wa 高于某个阈值”更能支持存储写入受限的推断。若只观察到 wa 升高,而设备延迟、队列和业务响应都稳定,则还不能作出同样结论。

把三类指标放回同一条时间线上

下表中的数据仅用于说明判读方法,不代表实际监控结果。假设一台 8 核机器连续采样,业务响应时间在约 40 秒内从 50 毫秒升至 180 毫秒:

把三类指标放回同一条时间线上配图

时间段rus+sysi/sowa设备延迟接口 P95
14:00:00–14:00:203–555%–68%0 / 02%–5%3–5 ms50 ms
14:00:20–14:00:406–972%–84%0 / 08%–12%8–12 ms95 ms
14:00:40–14:01:0015–1893%–98%0 / 03%–6%4–6 ms180 ms

第三个时间段中,r 明显高于 8,CPU 忙碌程度也很高,而设备延迟回到较低水平,且没有换页活动。若这些指标与业务延迟确实按同一时间轴对齐,那么 CPU 争抢比磁盘延迟或内存换页更像候选原因。但这仍是相关性判断;还需进一步确认热点进程是否在消耗 CPU、是否存在 CPU 配额限流,并检查同期是否有流量变化、错误率上升或依赖服务变慢。

可先用 pidstat 查看进程级 CPU 或 I/O 活动;它同样由 sysstat 提供:

pidstat -u -d 1 10

如果服务器没有该命令,先确认软件包是否安装。不要仅根据系统级汇总,将资源问题直接归因到某个应用。

排除替代解释,再形成判断

性能分析不能只问“哪个指标变了”,还要问“哪些同时变化的因素可能造成同样现象”。

CPU 忙碌但不一定是算力不足

r 高、us 或 sy 高、id 低,支持 CPU 资源紧张的判断,但也要检查 CPU 配额、限流和任务是否集中在少数核心。还应把流量、请求类型、错误率和响应时间放在一起看:如果请求量突然增加,CPU 使用上升可能是负载增加的结果,而不一定是系统出现了新的故障。

wa 高但不一定是本地磁盘问题

确认设备级延迟和队列是否同步恶化,查看负载发生在哪个设备;同时检查文件系统、远端存储和应用等待路径。如果业务主要依赖网络接口或外部服务,vmstat 中的 I/O 等待并不足以定位故障。网络方向应另外观察吞吐量、丢包、重传、连接错误和远端响应时间。

si 有值但不一定意味着需要扩容内存

检查换页是否持续、是否同时出现 so、可用内存是否持续下降,以及缺页、PSI 和业务延迟是否共同恶化。单次换入可能只是历史上不活跃的页面重新被访问;如果没有持续压力和性能影响,贸然调整内存配置可能解决不了真正的问题。

平均值正常也不代表没有慢请求

vmstat 和不少设备指标是时间窗口内的汇总。短暂的尖峰或少数请求的高延迟,可能被平均值稀释。需要将采样窗口与业务的 P95、P99 响应时间、超时率和错误率对齐;如果延迟升高但系统平均指标变化不大,应进一步看请求级跟踪、锁等待或外部依赖。

用复测确认判断,而不是直接下结论

一次指标联动只能形成候选原因。形成判断后,应保持业务负载和采样方式尽量可比,再复测同一组指标,观察候选信号是否重复出现,以及它变化时业务表现是否同步变化。

例如,怀疑 CPU 排队时,同时记录 r、CPU 使用、CPU 配额或限流、热点进程和请求延迟;怀疑存储 I/O 时,同时记录 wa、设备延迟、队列、读写速率及业务 P95;怀疑换页时,同时记录 si、so、available、内存 PSI、设备延迟和请求错误率。若候选指标消退后,业务延迟也随之恢复,因果关系更有说服力;若指标变化与业务表现没有稳定对应,则应重新检查解释,而不是把单次相关性当作定论。

下次遇到系统响应变慢,至少同时保留三组数据:vmstat 的 r、si、so、wa 与 CPU 时间;设备级延迟和队列;业务侧的请求量、P95/P99 响应时间和错误率。根据现象再补充内存 PSI、进程级 CPU/I/O,以及网络重传或外部依赖耗时,通常比单独盯着某一个百分比更容易找到有效的排查方向。

对于需要持续观察 CPU、内存、磁盘与网络协同表现的业务,A5idc数据提供香港、美国、日本、韩国、中国台湾、新加坡及马来西亚等地区的物理服务器资源,覆盖 Xeon Gold、AMD EPYC、GPU、存储及多IP等产品系列,并配备 SSD、NVMe、企业级机械硬盘和不同线路方案,可为网站、数据库、接口服务、容器及多任务计算提供相应的硬件与网络基础。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/8049.html

相关推荐