云服务器持续CPU负载偏高怎么排查?如何关联进程、队列与业务响应

发布人:A5数据发布时间:2026-11-02 11:20阅读量:74

云服务器的 CPU 曲线持续偏高,不一定意味着“CPU 不够用”。同样是负载升高,可能是业务进程确实用满计算资源,也可能是线程在等待磁盘、内存回收或下游响应。只看 CPU 百分比,容易把等待问题误判为算力问题。

排查时应把进程消耗、运行队列、请求队列和业务响应放进同一段时间观察:先确认慢请求是否与 CPU 变化同步,再找出消耗 CPU 的进程及线程,最后用内存、I/O、连接数和错误率排除其他解释。能解释业务变慢的指标组合,比某个指标单独超过阈值更有价值。

先建立可对齐的观察窗口

选择一个同时覆盖“正常”和“异常”的窗口,例如异常前后各 15~30 分钟。把云平台监控、系统指标和应用指标统一到相同时间与时区,并核对采样粒度。云平台的 5 分钟平均 CPU,不能直接与应用某一秒的峰值响应时间比较。

至少保留以下几组曲线:

观察对象建议同时记录的指标主要回答的问题
云服务器 CPU使用率、用户态与内核态占比、窃取时间、逻辑 CPU 数CPU 在执行什么,虚拟化资源是否影响可用算力
系统调度load average、可运行任务数、阻塞任务数任务是在等 CPU,还是处于其他等待状态
内存与存储可用内存、换入换出、磁盘吞吐、读写延迟是否存在内存压力或 I/O 等待
应用入口请求量、并发连接、排队数、响应时间分位数、错误率用户感受到的变慢是否同步发生
依赖服务数据库、缓存或其他下游的耗时与错误慢请求是否主要耗在本机以外

响应时间建议看 p95 或 p99,同时保留请求量。只有“p95 从 200 毫秒升至 1 秒”,却不知道这一分钟处理了多少请求,很难判断是普遍退化,还是少量请求改变了统计结果。排队数也要标明位置:负载均衡器待转发队列、应用线程池等待队列和消息消费积压不是同一个指标。

CPU 升高后,先核对进程与调度队列

CPU 使用率升高与业务变慢出现在同一窗口,是进一步排查的起点,不是因果结论。先看 CPU 是用户态计算增加、内核态开销增加,还是虚拟化环境中的可用执行时间受到影响;再看哪些进程持续消耗资源。

在 Linux 云服务器上,可先使用只读命令取样:

uptime
vmstat 1 6
ps -eo pid,ppid,stat,pcpu,pmem,comm --sort=-pcpu | head -n 15

vmstat 的第一行通常是系统启动以来的平均情况,重点比较后续采样行。r 表示可运行任务数,b 表示不可中断睡眠任务数;us、sy、wa、st 分别可辅助观察用户态、内核态、I/O 等待和虚拟化窃取时间。uptime 中的 load average 包含可运行任务,也包含部分不可中断睡眠任务,不能当作 CPU 使用率。

如果实例有 2 个逻辑 CPU,CPU 持续繁忙,vmstat r 多次采样明显高于 2,同时某个业务进程持续排在 CPU 消耗前列,才更接近“计算任务排队”。如果 load average 很高,但 CPU 并不繁忙、b 增多,就应优先检查阻塞和 I/O,而不是仅凭 load 数值扩容 CPU。

找到进程后,还要区分“整个服务都忙”和“少数线程异常忙”:

top -H -p 1234

其中 1234 应替换为已经确认的业务进程 PID。少数线程长期占用 CPU,可能与热点循环、锁竞争后的重试或特定计算任务有关;大量线程一起繁忙,则更可能与请求量上升、批处理或整体计算成本增加有关。进程级 %CPU 的展示口径可能以单个逻辑 CPU 为 100%,多线程进程超过 100% 不代表监控数据出错,应结合工具口径与逻辑 CPU 数解释。

如果服务运行在容器内,还要核对容器 CPU 配额与宿主实例规格。实例整体 CPU 尚有余量,不代表受配额限制的容器没有被节流;此时仅依据云服务器整机 CPU 曲线判断应用算力是否充足,会遗漏关键约束。

把进程消耗与业务队列放到同一时间轴

CPU 忙是否影响业务,取决于请求进入、处理和离开的速度。若进入速率持续高于完成速率,等待队列就会增长;队列增长后,响应时间可能先明显上升,而 CPU 使用率只小幅变化。反过来,CPU 升高但完成速率、排队和响应时间都稳定,也可能只是服务器利用率提高。

下面是一组用于说明判断方法的模拟监控数据,采样口径均为同一服务的 5 分钟窗口:

把进程消耗与业务队列放到同一时间轴配图

指标正常窗口异常窗口
实例 CPU 使用率45%90%
请求进入速率400 次/秒520 次/秒
请求完成速率约 400 次/秒约 430 次/秒
应用等待队列接近 0持续增长
响应时间 p95120 毫秒850 毫秒
5xx 错误率0.1%2%

这组数据支持“服务处理能力未跟上进入速率”的判断,但仍不能单凭表格认定瓶颈一定在 CPU。下一步要核对:消耗 CPU 的是否正是该应用进程;运行队列是否同步增长;慢请求是否集中在需要大量计算的接口;磁盘延迟和下游调用耗时是否保持稳定。

队列位置尤其重要。应用线程池等待队列增长,可能是工作线程都在计算,也可能是工作线程都在等待数据库。数据库连接池等待数增长,则可能意味着连接不足、查询变慢或事务占用时间增加。应将队列指标与在途请求数、线程状态、依赖耗时一起看,不能把“有队列”直接等同于“加 CPU”。

用内存、I/O 和连接状态排除替代解释

当 CPU、load average 和响应时间一起升高时,按低风险方式继续取样,比立即重启服务更能保留故障线索:

free -h
vmstat 1 6
ss -s

free 中的已用内存包含缓存,不能仅因“used 很高”就判断内存不足。更值得关注的是可用内存持续下降、vmstat 的 si/so 持续不为 0,以及业务延迟同步上升。频繁换入换出时,CPU 曲线可能波动,进程也会因等待内存页而变慢;此时应先找出内存增长来源和工作集变化。

磁盘侧可以在系统已提供 iostat 时观察连续采样:

iostat -xz 1 6

重点把设备读写量、请求等待时间与 vmstat b、业务延迟对齐。iostat 未安装时不必为一次初查立即变更生产环境,可先使用云平台磁盘监控或现有采集数据。%util、await 等指标受设备类型、并行能力及采集口径影响,不宜用一个通用阈值判定所有云盘是否饱和。

连接数也需要按状态解释。ss -s 显示连接总量上升,只说明连接更多;应进一步对照新建连接速率、活跃请求数、服务端连接上限及错误日志。若 CPU 升高伴随连接建立频繁、内核态占比上升,而应用完成速率没有增加,连接管理开销值得关注。若连接数上升主要因为下游响应变慢,请求在本机停留更久,则连接数是结果,不一定是起因。

几个常见组合可以帮助决定排查方向:

同一窗口内的变化更应优先验证的方向
CPU 忙、可运行队列增加、业务进程耗 CPU、应用等待队列增长计算热点、请求量增长或 CPU 配额限制
load average 高、阻塞任务增加、磁盘延迟上升,CPU 未持续繁忙存储 I/O 或文件系统相关等待
可用内存下降、持续换入换出、响应时间上升内存工作集超出可用容量
连接和在途请求增加、下游耗时上升,本机 CPU 变化不大下游处理变慢或连接池等待
CPU 升高,但队列、p95 和错误率稳定先确认是否为正常负载增长,无须仅凭 CPU 数值认定故障

这些是排查优先级,不是故障的自动诊断结果。同一台服务器也可能同时存在计算热点与慢磁盘,需要继续结合进程、日志和请求链路验证。

形成判断后,只改变一个主要变量并复测

可以把判断写成可验证的描述,而不是“服务器负载高”。例如:“从 14:10 起,请求进入速率上升,业务进程 CPU 与可运行队列同步增加;应用等待队列、p95 随后升高;内存换页、磁盘延迟和下游耗时未见同步变化。因此优先验证该接口的 CPU 计算成本与实例可用算力。”这样的描述明确了时间顺序,也留下了可能被证伪的条件。

处置方式应与证据对应:确认是突增流量超过处理能力,可评估增加实例或调整流量分配;确认是特定接口、任务或异常线程消耗 CPU,应先定位代码路径和触发条件;确认主要时间耗在数据库或磁盘,则单纯增加 CPU 未必改善响应。涉及扩容、限流、参数调整或发布变更时,先确认影响范围,保留原配置与回退方式,避免同时修改多处而无法判断哪项措施有效。

复测要使用与初查相同的窗口和口径,同时比较请求进入与完成速率、CPU 与运行队列、应用等待队列、p95 和错误率。如果 CPU 降了,但完成速率也降了、错误率反而升了,不能视为故障解决;如果队列停止增长、积压逐步消退且响应时间恢复,才更能说明瓶颈得到缓解。

下一次遇到持续高负载,至少同时观察CPU 分项与进程、可运行及阻塞任务、内存换页、磁盘延迟、连接与请求队列、完成速率、响应时间和错误率。它们处在同一时间轴上,才能区分服务器“正在忙”、任务“正在等”和业务“已经慢了”。

对于持续 CPU 计算负载及多任务业务,A5idc数据提供中国香港、美国、日本等地区的物理服务器,涵盖 Xeon 与 AMD EPYC 等平台,并有搭配较大内存和 NVMe 存储的配置,可用于网站、业务后台、数据库及接口服务等场景。多地区资源与不同硬件组合,为业务部署和算力配置提供选择。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/7043.html

相关推荐