香港服务器负载过高时,如何区分CPU、内存与磁盘I/O瓶颈?

发布人:A5数据发布时间:2026-10-15 15:02阅读量:283

CPU使用率只有40%,服务器的负载却持续升高,并不一定是监控出了问题;内存使用率接近90%,也不一定说明内存不足。Linux的平均负载反映的是可运行任务以及部分不可中断睡眠任务的数量,不等同于CPU使用率。只盯着一个数字,很容易把磁盘等待误判为CPU不足,或把正常文件缓存误判为内存耗尽。

区分香港服务器上的CPU、内存与磁盘I/O瓶颈,关键是把资源指标、进程状态、请求响应时间、错误率和队列放进同一个观察窗口:CPU忙且运行队列增长,优先检查计算竞争;可用内存下降并伴随回收、换页和内存压力,优先检查内存;存储延迟上升且I/O队列、阻塞任务同步增加,才有较充分理由判断为I/O瓶颈。香港机房的位置主要影响访问路径与网络时延,本机资源瓶颈仍需依靠服务器内部指标来确认。

一、先建立观察窗口,不急着给高负载下定义

把故障发生时间与业务变化对齐

排查前先记录四类信息:故障何时开始、影响哪些接口、是否发生发布或定时任务、请求量是否改变。建议保留故障前的正常基线,以及故障期间连续数分钟的秒级采样;间歇性卡顿需要更细的采样,持续容量问题则应延长观察时间。

Linux的1分钟、5分钟、15分钟平均负载是平滑结果,并不是对应时间段内的简单算术平均。瞬时CPU尖峰与1分钟负载不必同步,处理结束后负载也不会立即回落。因此,判断先后关系时,应优先看秒级采样和业务时间线,而不是比较两个相隔很久的截图。

下面以Linux环境为例。uptime、free、vmstat、ps通常由procps相关工具提供;mpstat、pidstat、iostat来自sysstat;ss、ip、nstat通常来自iproute2。先确认工具是否存在,缺少工具时再按发行版的软件管理流程补齐,不要在故障现场盲目执行安装脚本。

date -Is
uptime
nproc
free -h
command -v vmstat mpstat pidstat iostat ss nstat

这些命令主要读取状态。查看其他用户的进程、部分内核计数或容器信息,可能需要额外权限;共享日志前应隐藏IP地址、业务路径和敏感进程参数。

nproc可以帮助了解当前环境可用的处理器数量,但不能单凭它确定容器CPU配额。虚拟机、容器和物理机的资源边界不同:容器可能看见多个处理器,却只获准使用较少的CPU时间。

同一窗口内至少保留三组数据

数据组应记录的指标主要回答的问题
业务结果请求量、吞吐量、P95/P99响应时间、错误率、超时数高负载是否已影响服务
主机资源分核CPU、可用内存、换页、磁盘延迟、网络计数哪类资源出现压力
等待与队列运行队列、阻塞任务、连接队列、线程池队列请求在什么地方排队

P95响应时间表示约95%的请求耗时不超过该值,但不能脱离错误率解释。大量慢请求直接超时或被拒绝时,成功请求的P95可能反而下降,业务却没有恢复。

下面各节的持续采样命令,应在独立终端并行运行,并记录开始时间。vmstat第一行通常是自启动以来的平均情况,应重点查看后续间隔样本;iostat示例使用-y跳过自启动以来的首份报告。

二、CPU瓶颈:看计算占用是否与运行队列一起增长

CPU使用率升高只是起点。要形成“计算资源不足”的判断,还需要看到可运行任务在等待,以及相关请求或后台任务同步变慢。

mpstat -P ALL 1 60
pidstat -u 1 60
ps -eo pid,ppid,stat,pcpu,pmem,rss,wchan:24,comm --sort=-pcpu | head -n 16

mpstat用于查看总体与分核占用;pidstat帮助定位采样期间消耗CPU的进程;ps适合获取进程状态快照。需要注意,ps中的CPU百分比通常不是这一秒的瞬时值,不能替代持续采样。

指标A:CPU忙;指标B:运行队列与业务耗时增加

重点区分以下变化:

  • %usr上升:更多时间用于用户态计算,常见于程序计算、编码、压缩或复杂查询。
  • %sys上升:更多时间用于内核工作,应继续检查系统调用、上下文切换、网络处理等。
  • %soft上升:软中断处理增多,可能与高包速率及网络收发有关。
  • %steal持续升高:虚拟机有CPU时间被宿主环境占用,不能简单归咎于应用代码。

运行队列可以通过vmstat的r观察。有效CPU能力不足时,可运行任务持续排队,并且接口处理时间上升,证据才比较完整。例如,一台拥有8个可用vCPU的服务器,若计算负载长期接近其处理能力,r又经常保持在明显高于8的水平,应继续定位消耗CPU的进程和线程。但短暂尖峰、CPU绑定及虚拟化配额都会改变解释,不能把“超过核数”当成统一故障阈值。

排除三个容易混淆的情况

总CPU不高,但某个核心已经饱和。 单线程程序或串行处理路径可能只占满一个核心。此时增加核心数量未必能改善瓶颈,需要查看分核占用,再对目标进程做线程级采样。

CPU看起来空闲,但容器正在被限流。 容器达到CPU配额后,任务可能等待下一周期获得执行机会,而主机仍有空闲CPU。应结合容器对应控制组的配额和节流计数分析。对于cgroup v2环境,可核对该控制组的cpu.max与cpu.stat;路径需根据实际控制组映射确认,不能拿根控制组的数据代替应用数据。

系统态CPU高,但真正问题来自网络或频繁唤醒。 如果上下文切换、软中断和包速率同步上涨,优先调查连接行为和调度开销,而不是立即增加应用工作进程。过多线程可能进一步加重竞争。

形成CPU瓶颈判断后,应验证“计算工作量下降,CPU占用与运行队列随之回落,响应时间恢复”这一链条。如果队列仍然很长,就要继续寻找锁等待、I/O等待或下游阻塞。

三、内存瓶颈:不要把缓存当成耗尽,要看回收与等待

Linux会利用空闲内存缓存文件数据,因此“已用内存高”并不等同于“业务缺内存”。更有意义的起点是MemAvailable:它估计系统无需大量换页即可提供给新任务的内存,通常比单看free更适合判断余量。

free -h
vmstat 1 60
pidstat -r 1 60

支持PSI的内核还可以读取资源压力信息:

cat /proc/pressure/cpu /proc/pressure/memory /proc/pressure/io

若文件不存在,可能是内核版本或配置不支持,不应把读取失败解释为“没有压力”。PSI反映任务因资源不足而停顿的时间比例,不是资源使用率;容器场景还应检查对应控制组的压力数据。

指标A:可用内存下降;指标B:换页、缺页与业务停顿

观察内存瓶颈时,应把以下变化关联起来:

  • MemAvailable持续下降,而不是短暂波动后恢复。
  • 目标进程的RSS或控制组内存持续增长。
  • vmstat中的si、so出现持续换入、换出活动。
  • 内存压力上升,或业务出现明显停顿。
  • 内核、容器事件中出现内存限制命中或OOM记录。

RSS是进程驻留在物理内存中的大小,但多个进程共享页面时,直接相加可能重复计算。需要精确归属时,可进一步查看PSS或控制组内存统计。pidstat -r中的重大缺页也不能单独等同于交换分区读取,因为文件映射读取同样可能产生重大缺页。

交换空间已经使用,不代表当前正在发生内存瓶颈;持续换页和内存压力,才说明当前工作集与可用内存之间存在冲突。

反过来,没有配置交换空间也不意味着内存充足。系统仍可能反复回收文件页、进行直接回收,甚至触发OOM。在容器中,宿主机可用内存充足也不代表容器安全:应用可能先碰到自身的内存限制。

排除“内存增长就是泄漏”的替代解释

业务缓存预热、连接数量增加、批量任务启动,都可能使内存正常增长。泄漏更值得怀疑的特征是:在相近请求量下,进程内存跨多个周期持续上升,任务结束后不能回到合理水平,并且增长能对应到具体对象或分配路径。

如果响应变慢恰好发生在垃圾回收暂停期间,而系统换页与内存压力并不明显,应继续分析应用运行时,而不是只增加物理内存。内存容量、对象分配速度和回收策略,属于相关但不同的问题。

内存问题也常常表现成I/O问题:页面换入换出增加磁盘请求,文件缓存被回收后又需要重新读取。此时磁盘繁忙可能是结果,而不是最初的原因。

四、磁盘I/O瓶颈:延迟、队列与阻塞进程必须互相印证

磁盘吞吐量不高,也可能发生严重等待。大量小块随机访问、同步写入或存储后端限流,都可能在数据量不大的情况下拖慢请求。

lsblk -o NAME,TYPE,SIZE,MOUNTPOINT
iostat -xz -y 1 60
pidstat -d 1 60

先确认应用数据、日志、数据库和交换空间分别位于哪个设备。逻辑卷、软件RAID、虚拟磁盘可能形成多层设备,同一次I/O会在不同层出现,不能简单相加。进程I/O统计也不总能完整解释缓冲写入、文件系统日志及内核回写,需要与设备层数据一起看。

指标A:存储延迟上升;指标B:队列与阻塞任务增加

iostat中主要关注:

指标含义判断时的边界
r_await、w_await或await请求平均完成时间,包含排队和处理平均值可能掩盖少量长尾,应结合应用等待
aqu-sz平均未完成I/O队列长度旧版工具可能显示为avgqu-sz
%util统计期间设备存在I/O活动的时间占比对并行存储设备,接近100%不必然代表性能已耗尽
读写请求数与吞吐量I/O访问模式和规模需要同时区分小块随机访问与大块顺序访问

如果await相对基线显著升高,队列同步增长,业务读写耗时也变长,磁盘I/O瓶颈的可能性才明显增加。没有脱离设备类型、访问模式和业务目标的统一“合格延迟”。

进程状态也能提供证据。R表示运行或可运行,S表示可中断睡眠,D表示不可中断睡眠。大量D状态任务与设备延迟一起增长,值得检查存储等待,但D并不专指本地磁盘:网络文件系统、其他内核等待也可能出现这种状态。wchan提供等待位置线索,受权限和内核符号可见性影响,不能独立作为结论。

CPU的%iowait同样只是一条线索:它大致表示CPU空闲且存在待完成I/O时的记账情况,不等于所有进程花在I/O上的时间。I/O等待期间CPU若仍被其他任务占用,iowait也可能不高。

用变化顺序区分“磁盘先慢”与“内存先紧”

下面是一组用于解释机制的模拟数据,并非实际监控记录。示例服务器有8个vCPU和16GiB内存,交换空间位于同一数据盘。

时刻可用内存换入/换出数据盘awaitD状态任务数CPU用户态接口P95
10:005.0GiB接近02ms035%90ms
10:010.8GiB开始持续出现4ms234%180ms
10:020.3GiB持续增加28ms1427%900ms
10:030.2GiB保持活跃41ms2223%1600ms

这组变化中,可用内存先下降,换页随后活跃,磁盘延迟和阻塞任务再增加,更支持“内存压力引发I/O等待”的解释。CPU用户态下降不是服务更轻松了,而可能是任务正在等待数据。

使用共享时间轴的纵向小多图,分别呈现可用内存、换页活动、数据盘await、D状态任务、CPU用户态和接口P95;在相同时间位置标出内存先下降及后续存储等待加重,

如果内存与换页保持稳定,数据库批量写入开始后,写延迟、设备队列和事务提交时间先升高,则应优先检查写入模式、同步刷盘及存储能力。时间顺序能增强判断,但仍需排除同一时刻发生的发布、备份或业务增长,不能仅凭相关性认定因果。

五、连接数与网络:资源不满,服务仍可能排队

香港服务器面向不同地区访问时,客户端链路时延和服务器内部处理时间可能同时变化。应尽量拆分DNS、连接建立、TLS握手、首字节及服务端处理耗时。仅凭外部访问慢,无法证明CPU、内存或磁盘出现瓶颈。

ss -s
ss -lnt
ip -s link
nstat -az TcpRetransSegs TcpExtListenOverflows TcpExtListenDrops

网卡统计和上述TCP计数通常是累计值,应在窗口开始与结束各记录一次,比较增量,而不是看到非零值就判定故障。

连接数量要与队列、吞吐量一起看

大量空闲长连接不一定造成高负载。更值得注意的是:连接数持续增加,但完成请求数不再增加,同时线程池、数据库连接池或监听队列开始积压。这可能是处理能力不足,也可能是下游服务变慢。

在ss -lnt的监听套接字输出中,Recv-Q通常表示等待应用接收的已完成连接数量,Send-Q表示配置的监听队列上限。若接收队列持续积压,并伴随监听溢出或丢弃计数增加,应检查应用接收连接及处理请求的速度;增大队列只能暂时容纳等待,不能自动提升吞吐量。

对已建立连接,接收与发送队列具有不同含义:接收队列较大可能说明应用读取不及时,发送队列较大则可能与对端接收慢、链路拥塞或重传有关。判断必须先区分套接字状态。

进程多、负载高,也可能不是三类资源瓶颈

多数进程处于S状态、CPU和磁盘都比较空闲,业务队列却很长时,应检查锁竞争、线程池限制、数据库连接池及外部依赖。普通可中断睡眠通常不会直接抬高Linux平均负载,但会延长请求耗时。

连接增长还可能是响应变慢的结果。在系统相对稳定时,可以用“平均在途请求数约等于每秒完成请求数乘以平均响应时间”理解:每秒完成1000个请求,平均耗时0.1秒,平均在途请求约100个;耗时增加到1秒,在相同吞吐量下就约有1000个请求在途。因此,看到连接多,不能直接认定流量突然增加,更不应未经确认就扩大工作进程数量。

六、形成可检验的判断,再用同一组指标复测

最终判断应写成有条件、能被验证的描述,而不是“负载高,需要升级服务器”。

候选瓶颈支持判断的指标组合需要排除的解释
CPU计算能力不足分核CPU繁忙、运行队列持续增长、计算耗时增加单线程限制、CPU配额、宿主争用、软中断开销
内存压力可用内存下降、回收或换页活跃、内存压力与业务停顿增加正常缓存、短期批处理、应用垃圾回收暂停
磁盘I/O等待读写延迟上升、设备队列增长、阻塞任务与业务I/O耗时增加内存换页、网络文件系统等待、设备统计层级重复
网络或依赖等待重传或连接队列增长、依赖耗时增加,本机资源仍有余量客户端链路变化、锁竞争、连接池限制

复测应从低风险动作开始,并保持业务条件尽量一致:

  1. 记录基线。 保存请求量、吞吐量、响应时间、错误率及资源采样,确认慢的是哪些接口。
  2. 一次验证一个主要原因。 经业务方确认后,降低已识别批处理的并发,或在测试环境调整对应资源,避免同时修改多个参数。
  3. 检查预期联动。 CPU问题应体现为运行队列回落;内存问题应体现为压力与换页减轻;I/O问题应体现为延迟和队列下降。
  4. 检查业务是否真正恢复。 吞吐量恢复、超时和错误减少才有意义,不能只看CPU曲线变低。
  5. 保留足够长的观察时间。 短时改善可能只是缓存、积压释放或请求量下降,需覆盖后续业务波动。

涉及生产配置变更时,应记录原值、影响范围和恢复方法;涉及持久化数据调整,应先完成可恢复备份。不要把强制结束进程、清空缓存或关闭交换空间作为常规验证手段,它们可能丢失请求、增加磁盘压力,或触发内存不足。

下一次香港服务器出现高负载,建议同时保留这组信息:1/5/15分钟负载、分核CPU及steal、运行与阻塞任务数、可用内存与换页、内存及I/O压力、磁盘延迟与队列、连接队列与重传增量,以及接口P95/P99和错误率。 再补上目标进程的CPU、内存、I/O和等待状态,才能分清哪项资源先出现异常,哪些指标只是连带变化,并把后续优化落到可验证的原因上。

围绕业务后台、数据库与接口服务的资源需求,A5数据提供香港物理服务器租用,涵盖Xeon Gold与AMD EPYC等平台,并有不同内存容量及SSD、NVMe存储配置,为并发计算、数据库缓存和频繁数据读写提供硬件基础。香港产品还提供CN2与国际带宽方案,将计算、内存、存储和网络资源组合成不同配置档位,承接企业网站、多任务处理及跨地区访问等业务场景。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/3935.html

相关推荐