日本服务器CPU突然升高时,怎样结合进程、负载和请求指标定位原因?

发布人:A5数据发布时间:2026-11-09 09:22阅读量:69

单看 CPU 使用率,无法直接判断日本服务器为什么突然变慢。CPU 可能是被应用进程真正占满,也可能是磁盘等待、网络软中断、虚拟化宿主机资源争用,甚至只是定时任务在短时间内集中运行。负载值、进程状态、请求量、响应时间和错误率必须放在同一个时间窗口内对照。

更可靠的定位方式是:先固定告警发生前后的观察窗口,再确认 CPU 由哪类时间消耗构成;随后查看负载中的运行队列和不可中断进程,结合内存、磁盘 I/O、连接数及请求指标排除替代解释,形成一个可验证的原因判断,最后在处理后复测相同指标。下面以 Linux 日本服务器为例说明。

针对日本节点的多指标运维场景,A5idc数据提供日本物理服务器租用,覆盖Xeon Gold、AMD EPYC及NVMe存储方案,并配备CN2、国际带宽等线路选择,可为网站、业务后台、数据库和接口服务提供相应的计算、存储与网络资源基础。结合不同访问区域、程序负载和数据规模,企业可在同一部署环境中持续关注CPU、内存、磁盘I/O、连接与请求指标,让服务器资源与业务运行状态保持清晰对应。

先建立可对齐的观察窗口

统一时间和采样粒度

日本节点通常使用 JST(UTC+9),而云监控、应用日志或 CDN 日志可能使用 UTC。时间没有对齐时,很容易把不同时间段的 CPU 峰值和请求峰值错误地关联起来。

先确认服务器时间、时区和当前负载:

date -Is
timedatectl 2>/dev/null | sed -n '1,12p'
uptime
nproc

排查时至少保留三个时间范围:

  • 告警发生前 15~30 分钟:观察正常基线、是否已有内存或磁盘压力。
  • 告警发生前后 5~10 分钟:定位 CPU、请求量和进程状态的同步变化。
  • 处理后 10~30 分钟:确认指标是否恢复,以及是否出现新的错误或队列积压。

如果监控系统支持 10 秒或 30 秒粒度,短时 CPU 峰值应使用较细的粒度查看;5 分钟平均值可能掩盖只持续几十秒的进程或请求突发。没有历史监控时,也可以先用命令采集一组短样本,但它只能反映当前状态,不能替代告警发生时的历史数据。

先记录整体状态,不立即处理进程

建议先保存以下无侵入信息:

uptime
free -h
vmstat 1 6
iostat -xz 1 3
ss -s
cat /proc/pressure/cpu
cat /proc/pressure/memory
cat /proc/pressure/io

vmstat、iostat 和 PSI(Pressure Stall Information)需要系统已安装相应工具或内核支持。如果命令不存在,不要直接根据缺失命令推断指标为零,应先通过 command -v vmstat iostat 和内核版本确认采集条件。

观察窗口的核心不是记录越多越好,而是让下面这些时间点能互相对应:

时间点CPULoad内存/Swap磁盘 I/O连接与请求响应结果
正常基线约值约值可用内存、Swap in/outawait、utilRPS、连接数p95、5xx
CPU 开始升高约值约值是否变化是否变化是否突增是否变慢
峰值约值约值是否出现回收或换页是否排队队列、连接状态超时、错误
处理后复测约值约值是否恢复是否恢复是否回落是否恢复

表中的数值可以来自监控平台、应用指标和主机命令,但必须使用同一时区和相近采样间隔。

从 CPU 构成判断“谁在消耗”

区分用户态、内核态、I/O 等待和 steal

CPU 100%并不等于应用代码占满了计算资源。常见 CPU 时间含义如下:

  • us:用户态进程消耗,常见于业务计算、压缩、加密、脚本或垃圾回收。
  • sy:内核态消耗,可能与系统调用、网络协议栈、文件操作或上下文切换有关。
  • wa:CPU 等待磁盘或其他块设备 I/O 完成。
  • st:虚拟机等待宿主机分配物理 CPU,可能与宿主机资源争用有关。
  • si:软件中断,网络包量高、连接处理频繁时可能上升。
  • hi:硬件中断,通常需要结合网卡、存储和平台指标判断。
  • id:空闲时间。

使用 top 或 mpstat 查看整体构成:

top -b -n 1 | sed -n '1,20p'
mpstat -P ALL 1 5

如果是多核服务器,单个进程占用 100%通常表示占满一个逻辑 CPU,而不是整台服务器全部占满。例如 8 个逻辑 CPU 上,一个进程显示 100%,大约相当于整机 12.5%的计算容量;一个多线程进程显示 800%,才可能接近占满 8 个逻辑 CPU。不同监控平台对百分比的展示口径可能不同,应确认是“单核基准”还是“整机基准”。

把高 CPU 进程与请求时间线关联

单次 top 只能看到采样瞬间,短时任务可能已经结束。可以连续采样进程级 CPU:

pidstat -u -r -d -w -p ALL 1 10

重点查看:

  • %CPU:进程实际 CPU 消耗。
  • kB_rd/s、kB_wr/s:进程读写速率。
  • cswch/s、nvcswch/s:主动和被动上下文切换。
  • PID、Command:是否是应用、数据库、Web 服务、定时任务或系统线程。

也可以用 ps 获取一次进程排序结果:

ps -eo pid,ppid,stat,comm,%cpu,%mem,etime --sort=-%cpu | head -n 20

如果高 CPU 进程与 RPS 在同一分钟内同步上升,且响应时间、队列长度也上升,优先考虑请求处理成本变高或流量突发。如果高 CPU 进程是备份、压缩、日志轮转、定时脚本,而请求量没有变化,则应检查计划任务和发布流程,而不是先调整应用线程数。

例如,下面是一组模拟监控数据,不代表任何实际服务器:

从 CPU 构成判断“谁在消耗”配图

时间(JST)CPU userCPU systemLoad/8核Web RPSp95高 CPU 进程
14:0038%6%1.8420180 msapp 210%
14:0576%9%6.4860430 msapp 610%
14:1091%11%8.79001.2 sapp 740%

这组变化更像是请求量增加或单请求成本上升,而不是单纯的磁盘等待。若 14:05 同时发现某个备份进程从 0%升到 500%,而 RPS保持 420,则判断方向会完全不同。

用 Load 和进程状态区分 CPU 饱和与 I/O 阻塞

Load 不是 CPU 百分比

Linux 的 Load Average 主要反映处于可运行状态的任务,以及等待不可中断资源的任务。它并不只统计正在使用 CPU 的进程。

因此:

  • CPU 使用率高、us 或 sy 高、进程状态以 R 为主:更接近 CPU 运行队列拥堵。
  • CPU 使用率不高、wa 高、进程状态出现大量 D:更接近磁盘或其他 I/O 阻塞。
  • Load 很高但 CPU 仍有明显空闲:不能直接认为 CPU 核数不足。
  • Load 高于逻辑 CPU 数量只是提醒运行队列或不可中断等待可能严重,不能作为单一故障阈值。

例如,8 个逻辑 CPU 上 Load 为 12,若 CPU 使用率为 95%、运行队列也在增长,说明计算竞争明显;若 CPU 只有 35%但 wa 达到 45%,则更应检查存储延迟和 I/O 队列。

可通过以下方式查看进程状态:

ps -eo pid,ppid,stat,comm,%cpu,%mem,wchan:24 --sort=-%cpu | head -n 30

STAT 中常见状态包括:

  • R:正在运行或等待运行。
  • D:不可中断睡眠,常见于等待磁盘、网络文件系统或其他内核 I/O。
  • S:可中断睡眠,普通等待状态。
  • Z:僵尸进程,本身通常不消耗 CPU,但可能说明父进程没有正确回收子进程。

如果发现大量 D 状态进程,不建议直接结束进程或重启服务。先记录进程、父进程、等待点和磁盘指标;强制处理可能导致请求中断、数据写入未完成或任务重复执行。

使用 PSI 判断资源是否让任务排队

PSI 比单纯 CPU 百分比更适合判断“任务是否因为资源压力而被迫等待”:

for f in /proc/pressure/cpu /proc/pressure/memory /proc/pressure/io; do
  echo "== $f =="
  cat "$f"
done

some 表示至少有部分任务在等待该资源,full 表示一段时间内所有相关任务都受到阻塞。需要结合采样间隔解释,不能把 avg10 当成当前瞬时百分比。

  • CPU PSI 上升,CPU us/sy 高,R 状态进程增加:计算资源不足的证据更完整。
  • I/O PSI 上升,wa、磁盘 await 和 D 状态进程同时增加:I/O 阻塞的证据更完整。
  • Memory PSI 上升,同时 Swap in/out、回收或应用 GC 增加:内存压力可能是 CPU 变高和延迟上升的共同原因。

将内存和磁盘 I/O 放入同一时间线

内存不足不一定表现为“内存使用率100%”

Linux 会将空闲内存用于页缓存,因此 free 很低不一定是异常。优先查看 available、Swap 活动和内存压力:

free -h
vmstat 1 10

在 vmstat 中重点观察:

  • si、so:是否持续从 Swap 换入、换出。
  • r:可运行队列。
  • b:阻塞中的任务数量。
  • wa:I/O 等待。
  • free、buff、cache:辅助判断内存构成。

若 CPU 升高的同时 si/so 持续非零、Memory PSI 增加,应用进程 RSS 不断增长或频繁 GC,可能是内存压力导致的连锁反应:内存回收和换页增加,磁盘等待变高,最终请求处理时间和 Load 同时上升。

相反,如果 available 仍充足、Swap 没有活动,单纯看到“已用内存较高”不应直接认定内存是根因。

用 await、util 和队列判断磁盘瓶颈

iostat -xz 1 5

不同存储类型的正常延迟差异很大,因此不宜套用一个固定阈值。应重点观察异常发生前后的变化:

  • await:I/O 请求从提交到完成的平均等待时间。
  • aqu-sz 或 avgqu-sz:平均队列长度。
  • %util:设备忙碌时间占比。
  • r/s、w/s:读写请求速率。
  • rkB/s、wkB/s:读写吞吐。

如果 await、队列长度和 I/O PSI同时上升,且应用进程进入 D 状态,说明 I/O 等待具有较强关联性。若磁盘指标正常,但 sy 和软件中断上升,应转向网络包处理、连接数和系统调用分析。

还要把磁盘 I/O 来源与业务动作联系起来。日志集中刷盘、数据库检查点、备份压缩、临时文件暴增,都可能在请求量不变时制造高 Load。此时仅提高应用进程数量通常会进一步放大磁盘竞争。

将连接数、请求量和响应指标对齐

连接多不等于请求多

连接指标至少要区分 TCP 状态:

ss -s
ss -ant state established | wc -l
ss -ant state syn-recv | wc -l
ss -ant state time-wait | wc -l
ss -lnt
  • ESTAB 高:当前保持连接多,可能来自长连接、连接池或活跃请求。
  • SYN-RECV 高:可能存在连接建立突发、监听队列压力或异常连接来源。
  • TIME-WAIT 高:短连接频繁建立和关闭,可能增加内核处理和端口资源压力。
  • 监听队列接近上限:需要结合 Web 服务监听配置和应用接受连接速度判断。

连接数应与 RPS、并发请求数和请求持续时间一起看。假设 RPS为 500,但多数请求在 20 ms内完成,连接数未必很高;如果请求大量等待数据库或上游服务,即使 RPS不变,活跃连接也可能持续增长。

请求指标应至少包含四类

应用或网关监控中建议同时观察:

  1. 流量:RPS、请求总数、请求方法、URL 或路由分布。
  2. 耗时:p50、p95、p99,以及 Web 服务到上游的耗时。
  3. 结果:2xx、4xx、5xx、超时和连接失败数量。
  4. 队列:线程池、连接池、任务队列、数据库连接池和上游等待数量。

请求量增加但 p95 基本不变,可能只是服务器仍有容量;请求量增加、p95和 CPU 同时升高,才更像计算容量接近上限。请求量不变但 p95、5xx和上游耗时一起升高,则应检查数据库、外部接口、锁竞争或磁盘,而不能只盯着 Web 进程 CPU。

日本节点还应确认流量来源和监控位置。面向日本用户的访问可能经由 CDN、负载均衡或其他区域回源,边缘侧请求量不一定等于源站收到的请求量。应同时记录源站入口 RPS、源站连接数、回源请求数和应用实际处理数。

用指标组合排除替代解释

下面的组合用于形成“候选原因”,不是用单个数值直接下结论:

用指标组合排除替代解释配图

观察组合优先怀疑方向需要补充验证
us 高、应用进程 %CPU 高、RPS 上升、p95 上升请求处理或业务计算变重路由分布、单请求 CPU、线程池和发布变更
sy/si 高、连接数或包速率上升、应用 CPU不一定最高网络协议栈、连接或系统调用压力SYN-RECV、TIME-WAIT、网卡错误、软中断线程
wa 高、Load 高、D 状态进程多、磁盘 await 上升存储 I/O 阻塞读写来源、日志、数据库、备份任务
内存 PSI 上升、Swap 活跃、GC 或回收增加内存压力引起的连锁等待进程 RSS、容器限制、堆大小、OOM 日志
st 上升、多个无关进程同时变慢虚拟化宿主机或实例层资源争用云平台监控、同时间段实例级 steal
CPU、Load、RPS同时上升,但错误率不高流量突发或正常扩容前压力来源 IP、路由、缓存命中率和容量余量
CPU 突升,RPS不变,出现新进程或定时任务后台任务、脚本或发布动作cron、systemd timer、CI/CD、备份日志
RPS不变,连接数持续增加,p99和超时上升请求阻塞、连接池或上游异常上游耗时、线程池、数据库连接池和队列

例如,Load=10 本身没有足够信息。若 8 核服务器同时出现 us=88%、应用进程占用 700%、RPS翻倍,那么“请求计算变重”更有依据;若同时只有 CPU=30%、wa=50%、大量 D 状态进程,则应把排查重心移到 I/O。

一次高负载事件的低风险排查顺序

1. 先确认是否仍在发生

查看当前 CPU、Load、内存、I/O 和连接状态,避免对已经结束的瞬时事件做错误处理:

date -Is
uptime
top -b -n 1 | sed -n '1,25p'
free -h
iostat -xz 1 3
ss -s

如果指标已经恢复,优先保存历史监控、日志和任务记录,不要为了“复现”而主动制造压力。

2. 再确认资源类型

使用 mpstat、pidstat、vmstat、iostat 和 PSI判断是 CPU、内存、磁盘还是网络相关。每个指标至少连续采样几次,避免把单次刷新当成趋势。

3. 对照请求和进程

将高 CPU 进程的 PID、启动时间、父进程、命令名与请求路由、RPS、p95和错误率对齐。若是容器环境,还需确认主机看到的 PID与容器内进程是否一致,并同时查看容器 CPU、内存限制和节流指标。

4. 检查变更和计划任务

查看告警时段是否发生应用发布、配置重载、数据库维护、日志轮转、备份或定时脚本运行:

journalctl --since "30 min ago" --no-pager | tail -n 200
systemctl list-timers --all 2>/dev/null

不要直接修改计划任务、杀掉进程或重启服务。涉及生产业务时,应先确认影响范围、保留配置和日志,并按照已有变更流程处理。若确需停止一个后台任务,应先确认任务可中断、是否支持续跑,以及如何恢复原计划;数据库或文件写入任务还应确认数据一致性和回滚方案。

5. 处理后进行同窗口复测

处理措施可以是降低异常流量、暂停经过确认的后台任务、修复高成本请求、扩展资源或处理存储问题,但每次只改变一个主要变量,并记录变更时间。

一次高负载事件的低风险排查顺序配图

复测时重新观察:

  • CPU 各组成是否恢复,而非只看总 CPU。
  • Load 是否下降,R/D 状态进程是否减少。
  • await、I/O PSI 和 Swap 是否回落。
  • RPS、活跃连接、线程池和请求队列是否恢复。
  • p95、p99、5xx和超时是否回到基线。

如果 CPU 降了但 p95、错误率或队列仍然升高,说明表面资源指标恢复并不代表业务已经恢复,可能仍有请求积压、连接池耗尽或上游故障。

用“单位请求成本”判断是否是流量问题

当请求指标完整时,可以粗略估算单位请求消耗,帮助区分“请求变多”和“每个请求变重”。

例如,在 60 秒窗口内:

  • 应用消耗约 120 个 CPU 秒;
  • 完成请求 6,000 次。

则平均 CPU 成本约为:

120 CPU 秒 ÷ 6,000 请求 = 0.02 CPU 秒/请求

如果下一窗口请求增加到 9,000 次,而 CPU 成本仍约为 0.02 CPU 秒/请求,CPU 增长主要可以由流量解释。若请求仍为 6,000 次,但 CPU 消耗升到 240 CPU 秒,单位请求成本变为 0.04 CPU 秒/请求,应继续检查路由变化、缓存失效、压缩、加密、序列化、数据库查询或代码变更。

这只是聚合估算,不能替代路由级指标。不同接口的计算成本可能相差很大,应进一步按 URL、状态码、租户、请求体大小和缓存命中情况拆分。

下一次告警时应同时观察的指标组合

日本服务器再次出现 CPU 突升时,建议把下面这组指标绑定到同一个时间轴,而不是分别查看:

  • 主机资源:CPU us/sy/wa/st/si、Load、CPU PSI。
  • 进程状态:最高 CPU 进程、R/D/Z 状态、上下文切换、进程启动时间。
  • 内存与存储:available、Swap in/out、Memory PSI、磁盘 await、队列和 %util。
  • 网络连接:RPS、ESTABLISHED、SYN-RECV、TIME-WAIT、监听队列和网卡错误。
  • 业务结果:p50/p95/p99、5xx、超时、线程池、数据库连接池和上游耗时。
  • 事件记录:发布、定时任务、备份、配置变更和流量来源变化。

当这些指标在时间上呈现同向变化,才能把“CPU突然升高”进一步归类为计算饱和、I/O阻塞、内存压力、网络连接压力、后台任务或外部依赖变慢。复测也应使用同一组指标,否则只能证明 CPU 数字变化,无法证明服务器和业务请求真正恢复。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/8341.html

相关推荐