香港服务器负载过高时,如何区分CPU、内存与磁盘I/O瓶颈?
CPU使用率只有40%,服务器的负载却持续升高,并不一定是监控出了问题;内存使用率接近90%,也不一定说明内存不足。Linux的平均负载反映的是可运行任务以及部分不可中断睡眠任务的数量,不等同于CPU使用率。只盯着一个数字,很容易把磁盘等待误判为CPU不足,或把正常文件缓存误判为内存耗尽。
区分香港服务器上的CPU、内存与磁盘I/O瓶颈,关键是把资源指标、进程状态、请求响应时间、错误率和队列放进同一个观察窗口:CPU忙且运行队列增长,优先检查计算竞争;可用内存下降并伴随回收、换页和内存压力,优先检查内存;存储延迟上升且I/O队列、阻塞任务同步增加,才有较充分理由判断为I/O瓶颈。香港机房的位置主要影响访问路径与网络时延,本机资源瓶颈仍需依靠服务器内部指标来确认。
一、先建立观察窗口,不急着给高负载下定义
把故障发生时间与业务变化对齐
排查前先记录四类信息:故障何时开始、影响哪些接口、是否发生发布或定时任务、请求量是否改变。建议保留故障前的正常基线,以及故障期间连续数分钟的秒级采样;间歇性卡顿需要更细的采样,持续容量问题则应延长观察时间。
Linux的1分钟、5分钟、15分钟平均负载是平滑结果,并不是对应时间段内的简单算术平均。瞬时CPU尖峰与1分钟负载不必同步,处理结束后负载也不会立即回落。因此,判断先后关系时,应优先看秒级采样和业务时间线,而不是比较两个相隔很久的截图。
下面以Linux环境为例。uptime、free、vmstat、ps通常由procps相关工具提供;mpstat、pidstat、iostat来自sysstat;ss、ip、nstat通常来自iproute2。先确认工具是否存在,缺少工具时再按发行版的软件管理流程补齐,不要在故障现场盲目执行安装脚本。
date -Is
uptime
nproc
free -h
command -v vmstat mpstat pidstat iostat ss nstat
这些命令主要读取状态。查看其他用户的进程、部分内核计数或容器信息,可能需要额外权限;共享日志前应隐藏IP地址、业务路径和敏感进程参数。
nproc可以帮助了解当前环境可用的处理器数量,但不能单凭它确定容器CPU配额。虚拟机、容器和物理机的资源边界不同:容器可能看见多个处理器,却只获准使用较少的CPU时间。
同一窗口内至少保留三组数据
| 数据组 | 应记录的指标 | 主要回答的问题 |
|---|---|---|
| 业务结果 | 请求量、吞吐量、P95/P99响应时间、错误率、超时数 | 高负载是否已影响服务 |
| 主机资源 | 分核CPU、可用内存、换页、磁盘延迟、网络计数 | 哪类资源出现压力 |
| 等待与队列 | 运行队列、阻塞任务、连接队列、线程池队列 | 请求在什么地方排队 |
P95响应时间表示约95%的请求耗时不超过该值,但不能脱离错误率解释。大量慢请求直接超时或被拒绝时,成功请求的P95可能反而下降,业务却没有恢复。
下面各节的持续采样命令,应在独立终端并行运行,并记录开始时间。vmstat第一行通常是自启动以来的平均情况,应重点查看后续间隔样本;iostat示例使用-y跳过自启动以来的首份报告。
二、CPU瓶颈:看计算占用是否与运行队列一起增长
CPU使用率升高只是起点。要形成“计算资源不足”的判断,还需要看到可运行任务在等待,以及相关请求或后台任务同步变慢。
mpstat -P ALL 1 60
pidstat -u 1 60
ps -eo pid,ppid,stat,pcpu,pmem,rss,wchan:24,comm --sort=-pcpu | head -n 16
mpstat用于查看总体与分核占用;pidstat帮助定位采样期间消耗CPU的进程;ps适合获取进程状态快照。需要注意,ps中的CPU百分比通常不是这一秒的瞬时值,不能替代持续采样。
指标A:CPU忙;指标B:运行队列与业务耗时增加
重点区分以下变化:
%usr上升:更多时间用于用户态计算,常见于程序计算、编码、压缩或复杂查询。%sys上升:更多时间用于内核工作,应继续检查系统调用、上下文切换、网络处理等。%soft上升:软中断处理增多,可能与高包速率及网络收发有关。%steal持续升高:虚拟机有CPU时间被宿主环境占用,不能简单归咎于应用代码。
运行队列可以通过vmstat的r观察。有效CPU能力不足时,可运行任务持续排队,并且接口处理时间上升,证据才比较完整。例如,一台拥有8个可用vCPU的服务器,若计算负载长期接近其处理能力,r又经常保持在明显高于8的水平,应继续定位消耗CPU的进程和线程。但短暂尖峰、CPU绑定及虚拟化配额都会改变解释,不能把“超过核数”当成统一故障阈值。
排除三个容易混淆的情况
总CPU不高,但某个核心已经饱和。 单线程程序或串行处理路径可能只占满一个核心。此时增加核心数量未必能改善瓶颈,需要查看分核占用,再对目标进程做线程级采样。
CPU看起来空闲,但容器正在被限流。 容器达到CPU配额后,任务可能等待下一周期获得执行机会,而主机仍有空闲CPU。应结合容器对应控制组的配额和节流计数分析。对于cgroup v2环境,可核对该控制组的cpu.max与cpu.stat;路径需根据实际控制组映射确认,不能拿根控制组的数据代替应用数据。
系统态CPU高,但真正问题来自网络或频繁唤醒。 如果上下文切换、软中断和包速率同步上涨,优先调查连接行为和调度开销,而不是立即增加应用工作进程。过多线程可能进一步加重竞争。
形成CPU瓶颈判断后,应验证“计算工作量下降,CPU占用与运行队列随之回落,响应时间恢复”这一链条。如果队列仍然很长,就要继续寻找锁等待、I/O等待或下游阻塞。
三、内存瓶颈:不要把缓存当成耗尽,要看回收与等待
Linux会利用空闲内存缓存文件数据,因此“已用内存高”并不等同于“业务缺内存”。更有意义的起点是MemAvailable:它估计系统无需大量换页即可提供给新任务的内存,通常比单看free更适合判断余量。
free -h
vmstat 1 60
pidstat -r 1 60
支持PSI的内核还可以读取资源压力信息:
cat /proc/pressure/cpu /proc/pressure/memory /proc/pressure/io
若文件不存在,可能是内核版本或配置不支持,不应把读取失败解释为“没有压力”。PSI反映任务因资源不足而停顿的时间比例,不是资源使用率;容器场景还应检查对应控制组的压力数据。
指标A:可用内存下降;指标B:换页、缺页与业务停顿
观察内存瓶颈时,应把以下变化关联起来:
MemAvailable持续下降,而不是短暂波动后恢复。- 目标进程的RSS或控制组内存持续增长。
vmstat中的si、so出现持续换入、换出活动。- 内存压力上升,或业务出现明显停顿。
- 内核、容器事件中出现内存限制命中或OOM记录。
RSS是进程驻留在物理内存中的大小,但多个进程共享页面时,直接相加可能重复计算。需要精确归属时,可进一步查看PSS或控制组内存统计。pidstat -r中的重大缺页也不能单独等同于交换分区读取,因为文件映射读取同样可能产生重大缺页。
交换空间已经使用,不代表当前正在发生内存瓶颈;持续换页和内存压力,才说明当前工作集与可用内存之间存在冲突。
反过来,没有配置交换空间也不意味着内存充足。系统仍可能反复回收文件页、进行直接回收,甚至触发OOM。在容器中,宿主机可用内存充足也不代表容器安全:应用可能先碰到自身的内存限制。
排除“内存增长就是泄漏”的替代解释
业务缓存预热、连接数量增加、批量任务启动,都可能使内存正常增长。泄漏更值得怀疑的特征是:在相近请求量下,进程内存跨多个周期持续上升,任务结束后不能回到合理水平,并且增长能对应到具体对象或分配路径。
如果响应变慢恰好发生在垃圾回收暂停期间,而系统换页与内存压力并不明显,应继续分析应用运行时,而不是只增加物理内存。内存容量、对象分配速度和回收策略,属于相关但不同的问题。
内存问题也常常表现成I/O问题:页面换入换出增加磁盘请求,文件缓存被回收后又需要重新读取。此时磁盘繁忙可能是结果,而不是最初的原因。
四、磁盘I/O瓶颈:延迟、队列与阻塞进程必须互相印证
磁盘吞吐量不高,也可能发生严重等待。大量小块随机访问、同步写入或存储后端限流,都可能在数据量不大的情况下拖慢请求。
lsblk -o NAME,TYPE,SIZE,MOUNTPOINT
iostat -xz -y 1 60
pidstat -d 1 60
先确认应用数据、日志、数据库和交换空间分别位于哪个设备。逻辑卷、软件RAID、虚拟磁盘可能形成多层设备,同一次I/O会在不同层出现,不能简单相加。进程I/O统计也不总能完整解释缓冲写入、文件系统日志及内核回写,需要与设备层数据一起看。
指标A:存储延迟上升;指标B:队列与阻塞任务增加
iostat中主要关注:
| 指标 | 含义 | 判断时的边界 |
|---|---|---|
r_await、w_await或await | 请求平均完成时间,包含排队和处理 | 平均值可能掩盖少量长尾,应结合应用等待 |
aqu-sz | 平均未完成I/O队列长度 | 旧版工具可能显示为avgqu-sz |
%util | 统计期间设备存在I/O活动的时间占比 | 对并行存储设备,接近100%不必然代表性能已耗尽 |
| 读写请求数与吞吐量 | I/O访问模式和规模 | 需要同时区分小块随机访问与大块顺序访问 |
如果await相对基线显著升高,队列同步增长,业务读写耗时也变长,磁盘I/O瓶颈的可能性才明显增加。没有脱离设备类型、访问模式和业务目标的统一“合格延迟”。
进程状态也能提供证据。R表示运行或可运行,S表示可中断睡眠,D表示不可中断睡眠。大量D状态任务与设备延迟一起增长,值得检查存储等待,但D并不专指本地磁盘:网络文件系统、其他内核等待也可能出现这种状态。wchan提供等待位置线索,受权限和内核符号可见性影响,不能独立作为结论。
CPU的%iowait同样只是一条线索:它大致表示CPU空闲且存在待完成I/O时的记账情况,不等于所有进程花在I/O上的时间。I/O等待期间CPU若仍被其他任务占用,iowait也可能不高。
用变化顺序区分“磁盘先慢”与“内存先紧”
下面是一组用于解释机制的模拟数据,并非实际监控记录。示例服务器有8个vCPU和16GiB内存,交换空间位于同一数据盘。
| 时刻 | 可用内存 | 换入/换出 | 数据盘await | D状态任务数 | CPU用户态 | 接口P95 |
|---|---|---|---|---|---|---|
| 10:00 | 5.0GiB | 接近0 | 2ms | 0 | 35% | 90ms |
| 10:01 | 0.8GiB | 开始持续出现 | 4ms | 2 | 34% | 180ms |
| 10:02 | 0.3GiB | 持续增加 | 28ms | 14 | 27% | 900ms |
| 10:03 | 0.2GiB | 保持活跃 | 41ms | 22 | 23% | 1600ms |
这组变化中,可用内存先下降,换页随后活跃,磁盘延迟和阻塞任务再增加,更支持“内存压力引发I/O等待”的解释。CPU用户态下降不是服务更轻松了,而可能是任务正在等待数据。

如果内存与换页保持稳定,数据库批量写入开始后,写延迟、设备队列和事务提交时间先升高,则应优先检查写入模式、同步刷盘及存储能力。时间顺序能增强判断,但仍需排除同一时刻发生的发布、备份或业务增长,不能仅凭相关性认定因果。
五、连接数与网络:资源不满,服务仍可能排队
香港服务器面向不同地区访问时,客户端链路时延和服务器内部处理时间可能同时变化。应尽量拆分DNS、连接建立、TLS握手、首字节及服务端处理耗时。仅凭外部访问慢,无法证明CPU、内存或磁盘出现瓶颈。
ss -s
ss -lnt
ip -s link
nstat -az TcpRetransSegs TcpExtListenOverflows TcpExtListenDrops
网卡统计和上述TCP计数通常是累计值,应在窗口开始与结束各记录一次,比较增量,而不是看到非零值就判定故障。
连接数量要与队列、吞吐量一起看
大量空闲长连接不一定造成高负载。更值得注意的是:连接数持续增加,但完成请求数不再增加,同时线程池、数据库连接池或监听队列开始积压。这可能是处理能力不足,也可能是下游服务变慢。
在ss -lnt的监听套接字输出中,Recv-Q通常表示等待应用接收的已完成连接数量,Send-Q表示配置的监听队列上限。若接收队列持续积压,并伴随监听溢出或丢弃计数增加,应检查应用接收连接及处理请求的速度;增大队列只能暂时容纳等待,不能自动提升吞吐量。
对已建立连接,接收与发送队列具有不同含义:接收队列较大可能说明应用读取不及时,发送队列较大则可能与对端接收慢、链路拥塞或重传有关。判断必须先区分套接字状态。
进程多、负载高,也可能不是三类资源瓶颈
多数进程处于S状态、CPU和磁盘都比较空闲,业务队列却很长时,应检查锁竞争、线程池限制、数据库连接池及外部依赖。普通可中断睡眠通常不会直接抬高Linux平均负载,但会延长请求耗时。
连接增长还可能是响应变慢的结果。在系统相对稳定时,可以用“平均在途请求数约等于每秒完成请求数乘以平均响应时间”理解:每秒完成1000个请求,平均耗时0.1秒,平均在途请求约100个;耗时增加到1秒,在相同吞吐量下就约有1000个请求在途。因此,看到连接多,不能直接认定流量突然增加,更不应未经确认就扩大工作进程数量。
六、形成可检验的判断,再用同一组指标复测
最终判断应写成有条件、能被验证的描述,而不是“负载高,需要升级服务器”。
| 候选瓶颈 | 支持判断的指标组合 | 需要排除的解释 |
|---|---|---|
| CPU计算能力不足 | 分核CPU繁忙、运行队列持续增长、计算耗时增加 | 单线程限制、CPU配额、宿主争用、软中断开销 |
| 内存压力 | 可用内存下降、回收或换页活跃、内存压力与业务停顿增加 | 正常缓存、短期批处理、应用垃圾回收暂停 |
| 磁盘I/O等待 | 读写延迟上升、设备队列增长、阻塞任务与业务I/O耗时增加 | 内存换页、网络文件系统等待、设备统计层级重复 |
| 网络或依赖等待 | 重传或连接队列增长、依赖耗时增加,本机资源仍有余量 | 客户端链路变化、锁竞争、连接池限制 |
复测应从低风险动作开始,并保持业务条件尽量一致:
- 记录基线。 保存请求量、吞吐量、响应时间、错误率及资源采样,确认慢的是哪些接口。
- 一次验证一个主要原因。 经业务方确认后,降低已识别批处理的并发,或在测试环境调整对应资源,避免同时修改多个参数。
- 检查预期联动。 CPU问题应体现为运行队列回落;内存问题应体现为压力与换页减轻;I/O问题应体现为延迟和队列下降。
- 检查业务是否真正恢复。 吞吐量恢复、超时和错误减少才有意义,不能只看CPU曲线变低。
- 保留足够长的观察时间。 短时改善可能只是缓存、积压释放或请求量下降,需覆盖后续业务波动。
涉及生产配置变更时,应记录原值、影响范围和恢复方法;涉及持久化数据调整,应先完成可恢复备份。不要把强制结束进程、清空缓存或关闭交换空间作为常规验证手段,它们可能丢失请求、增加磁盘压力,或触发内存不足。
下一次香港服务器出现高负载,建议同时保留这组信息:1/5/15分钟负载、分核CPU及steal、运行与阻塞任务数、可用内存与换页、内存及I/O压力、磁盘延迟与队列、连接队列与重传增量,以及接口P95/P99和错误率。 再补上目标进程的CPU、内存、I/O和等待状态,才能分清哪项资源先出现异常,哪些指标只是连带变化,并把后续优化落到可验证的原因上。
围绕业务后台、数据库与接口服务的资源需求,A5数据提供香港物理服务器租用,涵盖Xeon Gold与AMD EPYC等平台,并有不同内存容量及SSD、NVMe存储配置,为并发计算、数据库缓存和频繁数据读写提供硬件基础。香港产品还提供CN2与国际带宽方案,将计算、内存、存储和网络资源组合成不同配置档位,承接企业网站、多任务处理及跨地区访问等业务场景。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/3935.html



