日本服务器CPU突然升高时,怎样结合进程、负载和请求指标定位原因?
单看 CPU 使用率,无法直接判断日本服务器为什么突然变慢。CPU 可能是被应用进程真正占满,也可能是磁盘等待、网络软中断、虚拟化宿主机资源争用,甚至只是定时任务在短时间内集中运行。负载值、进程状态、请求量、响应时间和错误率必须放在同一个时间窗口内对照。
更可靠的定位方式是:先固定告警发生前后的观察窗口,再确认 CPU 由哪类时间消耗构成;随后查看负载中的运行队列和不可中断进程,结合内存、磁盘 I/O、连接数及请求指标排除替代解释,形成一个可验证的原因判断,最后在处理后复测相同指标。下面以 Linux 日本服务器为例说明。
针对日本节点的多指标运维场景,A5idc数据提供日本物理服务器租用,覆盖Xeon Gold、AMD EPYC及NVMe存储方案,并配备CN2、国际带宽等线路选择,可为网站、业务后台、数据库和接口服务提供相应的计算、存储与网络资源基础。结合不同访问区域、程序负载和数据规模,企业可在同一部署环境中持续关注CPU、内存、磁盘I/O、连接与请求指标,让服务器资源与业务运行状态保持清晰对应。
先建立可对齐的观察窗口
统一时间和采样粒度
日本节点通常使用 JST(UTC+9),而云监控、应用日志或 CDN 日志可能使用 UTC。时间没有对齐时,很容易把不同时间段的 CPU 峰值和请求峰值错误地关联起来。
先确认服务器时间、时区和当前负载:
date -Is
timedatectl 2>/dev/null | sed -n '1,12p'
uptime
nproc
排查时至少保留三个时间范围:
- 告警发生前 15~30 分钟:观察正常基线、是否已有内存或磁盘压力。
- 告警发生前后 5~10 分钟:定位 CPU、请求量和进程状态的同步变化。
- 处理后 10~30 分钟:确认指标是否恢复,以及是否出现新的错误或队列积压。
如果监控系统支持 10 秒或 30 秒粒度,短时 CPU 峰值应使用较细的粒度查看;5 分钟平均值可能掩盖只持续几十秒的进程或请求突发。没有历史监控时,也可以先用命令采集一组短样本,但它只能反映当前状态,不能替代告警发生时的历史数据。
先记录整体状态,不立即处理进程
建议先保存以下无侵入信息:
uptime
free -h
vmstat 1 6
iostat -xz 1 3
ss -s
cat /proc/pressure/cpu
cat /proc/pressure/memory
cat /proc/pressure/io
vmstat、iostat 和 PSI(Pressure Stall Information)需要系统已安装相应工具或内核支持。如果命令不存在,不要直接根据缺失命令推断指标为零,应先通过 command -v vmstat iostat 和内核版本确认采集条件。
观察窗口的核心不是记录越多越好,而是让下面这些时间点能互相对应:
| 时间点 | CPU | Load | 内存/Swap | 磁盘 I/O | 连接与请求 | 响应结果 |
|---|---|---|---|---|---|---|
| 正常基线 | 约值 | 约值 | 可用内存、Swap in/out | await、util | RPS、连接数 | p95、5xx |
| CPU 开始升高 | 约值 | 约值 | 是否变化 | 是否变化 | 是否突增 | 是否变慢 |
| 峰值 | 约值 | 约值 | 是否出现回收或换页 | 是否排队 | 队列、连接状态 | 超时、错误 |
| 处理后复测 | 约值 | 约值 | 是否恢复 | 是否恢复 | 是否回落 | 是否恢复 |
表中的数值可以来自监控平台、应用指标和主机命令,但必须使用同一时区和相近采样间隔。
从 CPU 构成判断“谁在消耗”
区分用户态、内核态、I/O 等待和 steal
CPU 100%并不等于应用代码占满了计算资源。常见 CPU 时间含义如下:
us:用户态进程消耗,常见于业务计算、压缩、加密、脚本或垃圾回收。sy:内核态消耗,可能与系统调用、网络协议栈、文件操作或上下文切换有关。wa:CPU 等待磁盘或其他块设备 I/O 完成。st:虚拟机等待宿主机分配物理 CPU,可能与宿主机资源争用有关。si:软件中断,网络包量高、连接处理频繁时可能上升。hi:硬件中断,通常需要结合网卡、存储和平台指标判断。id:空闲时间。
使用 top 或 mpstat 查看整体构成:
top -b -n 1 | sed -n '1,20p'
mpstat -P ALL 1 5
如果是多核服务器,单个进程占用 100%通常表示占满一个逻辑 CPU,而不是整台服务器全部占满。例如 8 个逻辑 CPU 上,一个进程显示 100%,大约相当于整机 12.5%的计算容量;一个多线程进程显示 800%,才可能接近占满 8 个逻辑 CPU。不同监控平台对百分比的展示口径可能不同,应确认是“单核基准”还是“整机基准”。
把高 CPU 进程与请求时间线关联
单次 top 只能看到采样瞬间,短时任务可能已经结束。可以连续采样进程级 CPU:
pidstat -u -r -d -w -p ALL 1 10
重点查看:
%CPU:进程实际 CPU 消耗。kB_rd/s、kB_wr/s:进程读写速率。cswch/s、nvcswch/s:主动和被动上下文切换。PID、Command:是否是应用、数据库、Web 服务、定时任务或系统线程。
也可以用 ps 获取一次进程排序结果:
ps -eo pid,ppid,stat,comm,%cpu,%mem,etime --sort=-%cpu | head -n 20
如果高 CPU 进程与 RPS 在同一分钟内同步上升,且响应时间、队列长度也上升,优先考虑请求处理成本变高或流量突发。如果高 CPU 进程是备份、压缩、日志轮转、定时脚本,而请求量没有变化,则应检查计划任务和发布流程,而不是先调整应用线程数。
例如,下面是一组模拟监控数据,不代表任何实际服务器:

| 时间(JST) | CPU user | CPU system | Load/8核 | Web RPS | p95 | 高 CPU 进程 |
|---|---|---|---|---|---|---|
| 14:00 | 38% | 6% | 1.8 | 420 | 180 ms | app 210% |
| 14:05 | 76% | 9% | 6.4 | 860 | 430 ms | app 610% |
| 14:10 | 91% | 11% | 8.7 | 900 | 1.2 s | app 740% |
这组变化更像是请求量增加或单请求成本上升,而不是单纯的磁盘等待。若 14:05 同时发现某个备份进程从 0%升到 500%,而 RPS保持 420,则判断方向会完全不同。
用 Load 和进程状态区分 CPU 饱和与 I/O 阻塞
Load 不是 CPU 百分比
Linux 的 Load Average 主要反映处于可运行状态的任务,以及等待不可中断资源的任务。它并不只统计正在使用 CPU 的进程。
因此:
- CPU 使用率高、
us或sy高、进程状态以R为主:更接近 CPU 运行队列拥堵。 - CPU 使用率不高、
wa高、进程状态出现大量D:更接近磁盘或其他 I/O 阻塞。 - Load 很高但 CPU 仍有明显空闲:不能直接认为 CPU 核数不足。
- Load 高于逻辑 CPU 数量只是提醒运行队列或不可中断等待可能严重,不能作为单一故障阈值。
例如,8 个逻辑 CPU 上 Load 为 12,若 CPU 使用率为 95%、运行队列也在增长,说明计算竞争明显;若 CPU 只有 35%但 wa 达到 45%,则更应检查存储延迟和 I/O 队列。
可通过以下方式查看进程状态:
ps -eo pid,ppid,stat,comm,%cpu,%mem,wchan:24 --sort=-%cpu | head -n 30
STAT 中常见状态包括:
R:正在运行或等待运行。D:不可中断睡眠,常见于等待磁盘、网络文件系统或其他内核 I/O。S:可中断睡眠,普通等待状态。Z:僵尸进程,本身通常不消耗 CPU,但可能说明父进程没有正确回收子进程。
如果发现大量 D 状态进程,不建议直接结束进程或重启服务。先记录进程、父进程、等待点和磁盘指标;强制处理可能导致请求中断、数据写入未完成或任务重复执行。
使用 PSI 判断资源是否让任务排队
PSI 比单纯 CPU 百分比更适合判断“任务是否因为资源压力而被迫等待”:
for f in /proc/pressure/cpu /proc/pressure/memory /proc/pressure/io; do
echo "== $f =="
cat "$f"
done
some 表示至少有部分任务在等待该资源,full 表示一段时间内所有相关任务都受到阻塞。需要结合采样间隔解释,不能把 avg10 当成当前瞬时百分比。
- CPU PSI 上升,CPU
us/sy高,R 状态进程增加:计算资源不足的证据更完整。 - I/O PSI 上升,
wa、磁盘await和 D 状态进程同时增加:I/O 阻塞的证据更完整。 - Memory PSI 上升,同时 Swap in/out、回收或应用 GC 增加:内存压力可能是 CPU 变高和延迟上升的共同原因。
将内存和磁盘 I/O 放入同一时间线
内存不足不一定表现为“内存使用率100%”
Linux 会将空闲内存用于页缓存,因此 free 很低不一定是异常。优先查看 available、Swap 活动和内存压力:
free -h
vmstat 1 10
在 vmstat 中重点观察:
si、so:是否持续从 Swap 换入、换出。r:可运行队列。b:阻塞中的任务数量。wa:I/O 等待。free、buff、cache:辅助判断内存构成。
若 CPU 升高的同时 si/so 持续非零、Memory PSI 增加,应用进程 RSS 不断增长或频繁 GC,可能是内存压力导致的连锁反应:内存回收和换页增加,磁盘等待变高,最终请求处理时间和 Load 同时上升。
相反,如果 available 仍充足、Swap 没有活动,单纯看到“已用内存较高”不应直接认定内存是根因。
用 await、util 和队列判断磁盘瓶颈
iostat -xz 1 5
不同存储类型的正常延迟差异很大,因此不宜套用一个固定阈值。应重点观察异常发生前后的变化:
await:I/O 请求从提交到完成的平均等待时间。aqu-sz或avgqu-sz:平均队列长度。%util:设备忙碌时间占比。r/s、w/s:读写请求速率。rkB/s、wkB/s:读写吞吐。
如果 await、队列长度和 I/O PSI同时上升,且应用进程进入 D 状态,说明 I/O 等待具有较强关联性。若磁盘指标正常,但 sy 和软件中断上升,应转向网络包处理、连接数和系统调用分析。
还要把磁盘 I/O 来源与业务动作联系起来。日志集中刷盘、数据库检查点、备份压缩、临时文件暴增,都可能在请求量不变时制造高 Load。此时仅提高应用进程数量通常会进一步放大磁盘竞争。
将连接数、请求量和响应指标对齐
连接多不等于请求多
连接指标至少要区分 TCP 状态:
ss -s
ss -ant state established | wc -l
ss -ant state syn-recv | wc -l
ss -ant state time-wait | wc -l
ss -lnt
ESTAB高:当前保持连接多,可能来自长连接、连接池或活跃请求。SYN-RECV高:可能存在连接建立突发、监听队列压力或异常连接来源。TIME-WAIT高:短连接频繁建立和关闭,可能增加内核处理和端口资源压力。- 监听队列接近上限:需要结合 Web 服务监听配置和应用接受连接速度判断。
连接数应与 RPS、并发请求数和请求持续时间一起看。假设 RPS为 500,但多数请求在 20 ms内完成,连接数未必很高;如果请求大量等待数据库或上游服务,即使 RPS不变,活跃连接也可能持续增长。
请求指标应至少包含四类
应用或网关监控中建议同时观察:
- 流量:RPS、请求总数、请求方法、URL 或路由分布。
- 耗时:p50、p95、p99,以及 Web 服务到上游的耗时。
- 结果:2xx、4xx、5xx、超时和连接失败数量。
- 队列:线程池、连接池、任务队列、数据库连接池和上游等待数量。
请求量增加但 p95 基本不变,可能只是服务器仍有容量;请求量增加、p95和 CPU 同时升高,才更像计算容量接近上限。请求量不变但 p95、5xx和上游耗时一起升高,则应检查数据库、外部接口、锁竞争或磁盘,而不能只盯着 Web 进程 CPU。
日本节点还应确认流量来源和监控位置。面向日本用户的访问可能经由 CDN、负载均衡或其他区域回源,边缘侧请求量不一定等于源站收到的请求量。应同时记录源站入口 RPS、源站连接数、回源请求数和应用实际处理数。
用指标组合排除替代解释
下面的组合用于形成“候选原因”,不是用单个数值直接下结论:

| 观察组合 | 优先怀疑方向 | 需要补充验证 |
|---|---|---|
us 高、应用进程 %CPU 高、RPS 上升、p95 上升 | 请求处理或业务计算变重 | 路由分布、单请求 CPU、线程池和发布变更 |
sy/si 高、连接数或包速率上升、应用 CPU不一定最高 | 网络协议栈、连接或系统调用压力 | SYN-RECV、TIME-WAIT、网卡错误、软中断线程 |
wa 高、Load 高、D 状态进程多、磁盘 await 上升 | 存储 I/O 阻塞 | 读写来源、日志、数据库、备份任务 |
| 内存 PSI 上升、Swap 活跃、GC 或回收增加 | 内存压力引起的连锁等待 | 进程 RSS、容器限制、堆大小、OOM 日志 |
st 上升、多个无关进程同时变慢 | 虚拟化宿主机或实例层资源争用 | 云平台监控、同时间段实例级 steal |
| CPU、Load、RPS同时上升,但错误率不高 | 流量突发或正常扩容前压力 | 来源 IP、路由、缓存命中率和容量余量 |
| CPU 突升,RPS不变,出现新进程或定时任务 | 后台任务、脚本或发布动作 | cron、systemd timer、CI/CD、备份日志 |
| RPS不变,连接数持续增加,p99和超时上升 | 请求阻塞、连接池或上游异常 | 上游耗时、线程池、数据库连接池和队列 |
例如,Load=10 本身没有足够信息。若 8 核服务器同时出现 us=88%、应用进程占用 700%、RPS翻倍,那么“请求计算变重”更有依据;若同时只有 CPU=30%、wa=50%、大量 D 状态进程,则应把排查重心移到 I/O。
一次高负载事件的低风险排查顺序
1. 先确认是否仍在发生
查看当前 CPU、Load、内存、I/O 和连接状态,避免对已经结束的瞬时事件做错误处理:
date -Is
uptime
top -b -n 1 | sed -n '1,25p'
free -h
iostat -xz 1 3
ss -s
如果指标已经恢复,优先保存历史监控、日志和任务记录,不要为了“复现”而主动制造压力。
2. 再确认资源类型
使用 mpstat、pidstat、vmstat、iostat 和 PSI判断是 CPU、内存、磁盘还是网络相关。每个指标至少连续采样几次,避免把单次刷新当成趋势。
3. 对照请求和进程
将高 CPU 进程的 PID、启动时间、父进程、命令名与请求路由、RPS、p95和错误率对齐。若是容器环境,还需确认主机看到的 PID与容器内进程是否一致,并同时查看容器 CPU、内存限制和节流指标。
4. 检查变更和计划任务
查看告警时段是否发生应用发布、配置重载、数据库维护、日志轮转、备份或定时脚本运行:
journalctl --since "30 min ago" --no-pager | tail -n 200
systemctl list-timers --all 2>/dev/null
不要直接修改计划任务、杀掉进程或重启服务。涉及生产业务时,应先确认影响范围、保留配置和日志,并按照已有变更流程处理。若确需停止一个后台任务,应先确认任务可中断、是否支持续跑,以及如何恢复原计划;数据库或文件写入任务还应确认数据一致性和回滚方案。
5. 处理后进行同窗口复测
处理措施可以是降低异常流量、暂停经过确认的后台任务、修复高成本请求、扩展资源或处理存储问题,但每次只改变一个主要变量,并记录变更时间。

复测时重新观察:
- CPU 各组成是否恢复,而非只看总 CPU。
- Load 是否下降,R/D 状态进程是否减少。
await、I/O PSI 和 Swap 是否回落。- RPS、活跃连接、线程池和请求队列是否恢复。
- p95、p99、5xx和超时是否回到基线。
如果 CPU 降了但 p95、错误率或队列仍然升高,说明表面资源指标恢复并不代表业务已经恢复,可能仍有请求积压、连接池耗尽或上游故障。
用“单位请求成本”判断是否是流量问题
当请求指标完整时,可以粗略估算单位请求消耗,帮助区分“请求变多”和“每个请求变重”。
例如,在 60 秒窗口内:
- 应用消耗约 120 个 CPU 秒;
- 完成请求 6,000 次。
则平均 CPU 成本约为:
120 CPU 秒 ÷ 6,000 请求 = 0.02 CPU 秒/请求
如果下一窗口请求增加到 9,000 次,而 CPU 成本仍约为 0.02 CPU 秒/请求,CPU 增长主要可以由流量解释。若请求仍为 6,000 次,但 CPU 消耗升到 240 CPU 秒,单位请求成本变为 0.04 CPU 秒/请求,应继续检查路由变化、缓存失效、压缩、加密、序列化、数据库查询或代码变更。
这只是聚合估算,不能替代路由级指标。不同接口的计算成本可能相差很大,应进一步按 URL、状态码、租户、请求体大小和缓存命中情况拆分。
下一次告警时应同时观察的指标组合
日本服务器再次出现 CPU 突升时,建议把下面这组指标绑定到同一个时间轴,而不是分别查看:
- 主机资源:CPU
us/sy/wa/st/si、Load、CPU PSI。 - 进程状态:最高 CPU 进程、R/D/Z 状态、上下文切换、进程启动时间。
- 内存与存储:available、Swap in/out、Memory PSI、磁盘
await、队列和%util。 - 网络连接:RPS、ESTABLISHED、SYN-RECV、TIME-WAIT、监听队列和网卡错误。
- 业务结果:p50/p95/p99、5xx、超时、线程池、数据库连接池和上游耗时。
- 事件记录:发布、定时任务、备份、配置变更和流量来源变化。
当这些指标在时间上呈现同向变化,才能把“CPU突然升高”进一步归类为计算饱和、I/O阻塞、内存压力、网络连接压力、后台任务或外部依赖变慢。复测也应使用同一组指标,否则只能证明 CPU 数字变化,无法证明服务器和业务请求真正恢复。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/8341.html



