Linux如何用pidstat持续采样进程CPU与I/O,并识别瞬时负载来源?
线上服务器的负载偶尔升高,但等运维人员打开 top 时,进程可能已经恢复正常。此时可以在负载容易出现的时段,用 pidstat 按秒持续采样:先记录所有进程的 CPU 与 I/O,再按异常时间定位 PID,最后核对进程身份和系统整体状态。这样找到的是“哪个进程在采样窗口内产生了负载”,而不是仅凭某一刻的进程列表猜测。
最直接的命令是 pidstat -u -d -p ALL 1 120:每隔 1 秒采样一次,共采样 120 次,分别输出进程 CPU 和 I/O 统计。它适合捕捉持续数秒或反复出现的尖峰;如果进程在两次采样之间启动并退出,按秒采样仍可能漏掉,不能把“没有记录”当作“没有发生”。
现状与采样条件
pidstat 通常由 sysstat 软件包提供。这里针对已有 Linux 运维环境进行日常采样,不需要先启动常驻监控服务。采样前确认命令可用、当前时间和 CPU 数量,并记下业务告警使用的时区,避免事后对不上时间线。
command -v pidstat
pidstat -V
date '+%F %T %Z'
nproc
如果 command -v pidstat 没有返回路径,先按服务器现有的软件包管理流程确认是否允许安装 sysstat,不要把安装或修改服务配置混入一次临时排查。部分旧版本的输出字段与下文示例不同,应以本机 pidstat 的表头为准。
采集账户还需要能看到待排查的进程。普通账户、启用了 /proc 访问限制的系统,或者容器内部,可能只能观察到部分 PID。要判断宿主机整体负载,采样应在宿主机相应的 PID 视图中进行;要判断某个容器内的进程,也要核对容器内外 PID 是否一致。权限不足时先确认观察范围,不宜仅因为少了几行输出就直接调整系统权限。
日常操作:留下一段可回看的采样
告警正在出现时,可以先在终端做一个短窗口观察:
LC_ALL=C pidstat -u -d -p ALL 1 30
其中,-u 输出 CPU 使用情况,-d 输出 I/O 情况,-p ALL 指定观察所有可见进程,末尾的 1 30 表示间隔 1 秒、采样 30 次。LC_ALL=C 使字段名称和数字格式较为固定,便于回看或与其他记录对照。CPU 与 I/O 通常分为不同报表段输出,不能把相邻的两行直接当成同一个进程的全部指标。
如果尖峰不是每次都能赶上,改为将有限时长的采样写入文件。下面的命令只在当前账户的家目录创建日志,不修改业务进程;执行前应确认家目录有足够空间,且允许保存可能包含进程名称的运维记录。
umask 077
log_file="$HOME/pidstat-$(date +%Y%m%d-%H%M%S).log"
LC_ALL=C pidstat -u -d -p ALL 1 120 > "$log_file" 2>&1
printf '采样文件:%s\n' "$log_file"
这里最多采样约 120 秒,不是无限循环。umask 077 用于限制新建日志的默认访问权限。进程数量较多时,-p ALL 每秒可能输出大量行;应先用 30 秒窗口评估输出量,再决定是否延长,不要在磁盘空间紧张的服务器上长时间无上限地重定向输出。
采样结束后先检查文件是否包含预期时间段,以及 CPU、I/O 两类表头:
wc -l "$log_file"
head -n 20 "$log_file"
tail -n 30 "$log_file"
pidstat 给出的是采样间隔内的统计,不是精确到任意毫秒的瞬时值。若业务告警只持续几百毫秒,而采样间隔为 1 秒,峰值可能被平均,也可能因短命进程已退出而完全看不到。

结果检查:从时间、PID和指标三次缩小范围
先找到与业务告警重叠的采样时间,再分别查看该时间附近的 CPU 段和 I/O 段。不同版本的字段可能增减,判断时始终以本机表头为准。以下是便于说明的示例摘录,并非一次实际采样结果:
14:32:08 UID PID %usr %system %guest %wait %CPU CPU Command
14:32:08 1001 4321 78.00 8.00 0.00 0.00 86.00 3 app-worker
14:32:08 UID PID kB_rd/s kB_wr/s kB_ccwr/s iodelay Command
14:32:08 1001 5678 0.00 20480.00 0.00 12 batch-job
CPU 段重点看 %CPU、%usr、%system 和 PID。示例中的 PID 4321 在该间隔使用了约 86% 的一个 CPU 核心计算能力,且主要消耗在用户态。通常不加 -I 时,pidstat 的进程 CPU 百分比以单个 CPU 核心为参照;多线程进程可能超过 100%,不能直接把它理解为“整机 CPU 使用率 86%”。
I/O 段重点看 kB_rd/s、kB_wr/s、kB_ccwr/s 和 PID。示例中的 PID 5678 有较高的写入速率,但它与 CPU 段的 PID 4321 不同,不能把两种负载归因于同一个进程。kB_ccwr/s 表示取消写入的相关统计,不宜当作新增磁盘写入量直接相加。iodelay 反映任务的块 I/O 延迟统计,常见版本以时钟滴答计量;不要在未核对版本和单位前将数值“12”直接解释为 12 毫秒。
可以按下面的对应关系判断下一步,而不是只挑输出里最大的一个数字:
| 采样现象 | 可以先得出的判断 | 仍需核对的内容 |
|---|---|---|
同一 PID 连续多个间隔 %CPU 较高 | 该进程持续消耗 CPU | 整机 CPU 是否同时紧张、进程内哪个线程在运行 |
某 PID 仅一两个间隔 %CPU 突升 | 该进程与短时 CPU 尖峰在时间上吻合 | 是否与业务告警同一时间、是否周期性复现 |
| 某 PID 的读写速率连续偏高 | 该进程产生了较多可统计的 I/O | 对应块设备是否出现等待、是否还有其他并发进程 |
| 业务告警明显,但采样中没有突出 PID | 现有窗口尚不能归因 | 采样是否覆盖告警、进程是否短命、观察权限和 PID 视图是否正确 |
进程 I/O 速率高不等于磁盘已经成为瓶颈;反过来,读请求命中页缓存或部分 I/O 难以归到预期进程时,pidstat -d 中的数值也未必与业务层读写量一致。需要判断设备是否承压时,可在同一时段结合 iostat 观察设备指标:
iostat -xz 1 6
如果该命令可用,比较后续采样中的设备读写、await 等指标;首次输出在部分版本中可能是开机以来的平均值,不应直接拿它与某一秒的进程采样比较。await 升高也要结合设备、业务延迟和时间重合情况判断,不能仅凭一个数值认定故障。
锁定候选进程后再核实身份
从采样中记下候选 PID 后,先检查它是否仍存在、实际命令是什么。以下以 PID 4321 为例,使用时替换为本机采样得到的数字:
pid=4321
ps -p "$pid" -o pid,ppid,lstart,etime,stat,comm,args
重点核对启动时间、父进程和命令参数。采样结束后 PID 可能已经退出并被系统复用;如果 ps 显示的启动时间晚于采样时间,就不能把当前进程当作日志中的原进程。进程已退出时,应结合采样文件、应用日志或已有监控记录确认当时执行的任务,而不是凭现在相同的 PID 做处置。

如果候选进程仍在运行,而总 CPU 使用率高,需要区分是否由少数线程贡献:
pidstat -t -u -p "$pid" 1 10
-t 增加线程视角。查看输出中的任务、线程标识时,以实际表头区分进程汇总行与线程行,不要将两者的 %CPU 再相加。若怀疑进程 I/O 持续发生,则缩小到该 PID 重采样:
pidstat -d -p "$pid" 1 15
这种定向采样适合确认“已发现的进程是否仍在活动”,不适合代替最初的全进程采样:目标 PID 一旦退出,后续新启动的负载进程不会自动进入该命令的观察范围。
整机负载数字也要一并核对。uptime 中的 load average 是不同时间窗口的系统负载均值,不等同于 CPU 使用百分比,也不直接指出进程:
uptime
vmstat 1 6
在 vmstat 中观察后续采样的可运行任务数、阻塞任务数及 CPU 状态,并与机器 CPU 数量、业务告警时间比较。首行可能反映开机以来的统计,不应与某一秒的尖峰直接对应。若负载升高而 CPU 并不忙,应进一步排查等待和 I/O,而不是仅按 %CPU 排名处理进程。
没有抓到尖峰时怎么处理
排查先从采样范围和时间线入手,避免一上来重启进程或修改系统参数。
- 检查窗口是否重叠。 对照
date、业务告警时间及采样文件中的时间戳,确认时区和开始、结束时间。未覆盖告警时,应在下一次高发时段重新安排有限时长采样。 - 检查可见范围。 如果文件只有少量进程,确认执行账户权限、
/proc限制和是否处于容器内。观察范围不完整时,当前结果只能说明“可见进程中没有发现”,不能说明宿主机没有异常进程。 - 检查尖峰持续时间。 进程可能在两次 1 秒采样之间完成工作。可结合应用请求日志、定时任务执行记录与更高时间精度的现有监控;是否缩短采样间隔,应先评估输出量和额外开销。
- 区分 CPU 与等待。 若负载告警升高、进程
%CPU却不突出,查看同一时间的vmstat、设备统计及业务延迟。不要把 load average 当成 CPU 百分比,或把高 I/O 速率直接当成磁盘故障。 - 检查采样是否中途失败。 若日志末尾出现权限、写入或命令错误,先处理采集问题;日志不完整时,不用缺失的时段作排除判断。
以上步骤均以读取状态和短时采样为主。若后续考虑停止任务、调整调度频率或修改服务配置,那已属于业务变更:应先确认进程归属、影响范围和恢复方式,再按现有变更流程执行,不能仅凭一次 pidstat 峰值直接操作。
结束采样后的验收检查
有限次数的 pidstat 执行完毕会自行退出;若在前台提前结束,可用 Ctrl+C 停止采样,已写入的日志不会因此自动删除。日志可能包含进程名称和执行参数,应按服务器的运维记录要求保存,并在不再需要时由有权限的人员清理;本文的采样命令没有修改业务服务,无须重启服务来“恢复”。
进程 CPU 与 I/O 采样也能帮助运维人员了解服务器资源在业务运行中的使用情况。A5idc数据提供中国香港、美国、日本、韩国、中国台湾、新加坡和马来西亚等地区的物理服务器,涵盖常规建站、AMD计算及存储等方案,并提供不同的处理器、内存、磁盘与线路配置,可为网站、数据库、业务后台和多任务运行提供相应的硬件与网络资源基础。
- 采样文件覆盖了告警时间,CPU 与 I/O 表头、时间戳均可辨认。
- 候选 PID 的异常指标与告警在时间上吻合,并已核对进程启动时间,排除 PID 复用造成的误认。
- CPU 消耗、进程 I/O 与整机负载或设备指标分别核对,没有用单项指标直接推断根因。
- 若未找到候选进程,已记录采样间隔、权限及容器视图等限制,结论写为“本次采样未捕获”,而非“系统不存在瞬时负载”。
- 采样命令已结束,日志位置、访问权限和后续保留方式已确认。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/7060.html



