服务器资源利用率不高却响应延迟,应该关联哪些指标查原因?
服务器资源利用率不高而响应延迟,通常不是“资源还没用满,所以服务器没有问题”。瓶颈可能落在聚合指标看不见的层级,例如单个CPU核心、线程池、数据库连接池、存储等待、内存回收、网络重传或下游服务。判断时,不能只盯着CPU和内存百分比,而要把响应时间、请求量、队列、错误率以及各类饱和信号放到同一时间轴上。
优先关联的指标包括:P95/P99响应时间、请求量、超时与错误率、应用线程或连接池队列、每核心CPU、CPU调度等待、内存压力与换页、磁盘延迟与队列深度、网络RTT与重传率。正确的分析顺序是先建立观察窗口,再确认哪项指标先变化,随后寻找同一时间段内的联动信号,排除下游依赖、监控粒度和流量分布等替代解释,最后通过相同负载复测。
先把所有指标放进同一个观察窗口
响应延迟必须先明确统计口径。平均响应时间适合观察整体趋势,但少量慢请求可能被平均值掩盖。排查间歇性卡顿时,应至少同时保留:
- P50:代表多数请求的典型体验。
- P95:反映较明显的尾部延迟。
- P99:用于发现少量极慢请求、排队、重试和偶发I/O阻塞。
- 请求量或RPS:判断延迟变化是否由流量变化触发。
- 超时率、5xx比例、客户端错误率和重试次数:判断延迟是否已经影响请求结果。
观察窗口不宜只截取发生故障的几十秒。可以保留故障前10至15分钟、故障持续期间以及恢复后的10至15分钟,并使用相同的统计粒度,例如全部按1分钟聚合。若应用指标按10秒采样,而磁盘指标按5分钟采样,就很难判断哪一项变化先发生。
同时标记以下时间点:
- 发布、重启、扩容和实例迁移。
- 定时任务、备份、日志切割、批处理或数据库维护。
- 流量切换、负载均衡策略变化和连接池参数变化。
- 下游接口、数据库、缓存或消息系统的异常。
- 监控采集延迟、节点时间不同步和指标缺失。
建议先建立一张指标关联表,再开始看曲线。
| 指标类别 | 优先观察的指标 | 需要关联的信号 | 主要用于判断 |
|---|---|---|---|
| 响应结果 | P50、P95、P99、超时率、5xx | RPS、接口或租户维度 | 延迟是全局问题还是尾部问题 |
| 排队情况 | 应用线程池队列、连接池等待、请求队列 | 活跃线程、队列长度、等待时间 | 请求是否卡在资源入口 |
| CPU调度 | 每核心利用率、run queue、iowait、steal | P95、线程状态、容器限额 | 聚合CPU是否掩盖了局部饱和 |
| 内存压力 | PSI、swap in/out、major fault、可用内存 | 磁盘延迟、GC、进程RSS | 是否发生回收、换页或内存争用 |
| 存储I/O | await、队列深度、读写延迟、util | iowait、数据库等待、应用队列 | 请求是否等待磁盘或块设备 |
| 网络质量 | RTT、TCP重传、丢包、网卡错误 | 超时、重试、连接队列 | 延迟是否来自网络传输或重传 |
| 依赖服务 | 下游调用耗时、连接建立时间、状态码 | 本地服务耗时、重试次数 | 本机资源正常但请求仍变慢的原因 |
这些指标没有一个固定百分比可以适用于所有业务。更有价值的信号是:指标是否相对基线明显变化,变化是否与响应延迟同时出现,以及响应恢复时它是否也恢复。
第一步:从响应曲线确认问题范围
先观察P50、P95和P99的变化形态,而不是直接查看CPU。
P50、P95、P99同时上升
这通常表示大部分请求都变慢,候选原因包括:
- 请求量上升后,计算、存储或下游服务接近容量上限。
- 所有请求都经过一个变慢的依赖服务。
- 网络路径、负载均衡或数据库连接建立出现普遍性问题。
- 服务进程发生整体暂停,例如垃圾回收、进程重启或资源限流。
此时应优先将RPS、应用处理耗时、下游耗时和错误率放在同一张图上。
P50基本稳定,但P95或P99明显上升
这更像尾部请求受到排队、锁竞争、慢查询、网络重传或偶发换页影响。常见表现是:
- 多数请求仍在100至200毫秒内完成。
- P99从500毫秒升到3秒甚至更高。
- 平均CPU只有30%左右,但应用线程队列、数据库连接池等待或单个磁盘队列出现升高。
- 超时率不一定立即上升,但重试会进一步放大尾部延迟。
如果只有某个接口、某个租户或某一组实例的P99异常,应先按接口、实例、可用区和下游依赖拆分,而不是看整个集群的平均值。
下面是一组用于说明判断过程的模拟数据,并非实际监控结果:
| 时间 | RPS | P50 | P95 | P99 | CPU总利用率 | 应用队列 | 数据库连接池等待 |
|---|---|---|---|---|---|---|---|
| 10:00 | 820 | 120ms | 260ms | 520ms | 31% | 3 | 12ms |
| 10:05 | 835 | 125ms | 310ms | 1.8s | 32% | 86 | 190ms |
| 10:10 | 840 | 130ms | 360ms | 2.4s | 33% | 140 | 260ms |
| 10:15 | 825 | 122ms | 270ms | 560ms | 31% | 5 | 15ms |
这组数据中,CPU总利用率变化很小,但P99、应用队列和数据库连接池等待同时升高,并在10:15左右一起恢复。此时“CPU不高”不能作为排除服务器瓶颈的依据,更应继续查看线程池、数据库端慢查询和连接数上限。

第二步:CPU利用率低时,先查单核心和调度等待
聚合CPU是最容易误判的指标之一。以8个vCPU为例,一个核心持续100%而其他核心空闲,整体利用率只有约12.5%。如果关键工作线程无法并行,用户依然会看到明显延迟。
需要同时观察:
- 每个CPU核心的利用率,而不是只有
CPU total。 user、system、iowait和steal占比。- Linux的run queue,即可运行但尚未获得CPU的任务数量。
- 应用线程池中处于运行、阻塞和等待状态的线程数。
- 容器或虚拟机的CPU配额、节流次数和宿主机争用。
- 单线程锁、解释器锁、事件循环或某个热点线程的占用情况。
一个常见的判断链条是:
P95上升 → 某个核心接近满载 → run queue持续高于可用vCPU → 应用工作线程等待CPU → 应用队列增长。
如果总CPU为35%,但某一核心长期接近100%,同时run queue从1升到10,且延迟曲线同步上升,那么候选原因应指向单核热点或线程调度,而不是继续增加实例的总内存。

如果CPU的steal明显升高,说明虚拟机没有及时获得宿主机调度时间。此时业务进程可能并未消耗很多“看到的CPU”,但实际执行被推迟。云主机还要核对实例的CPU额度、突发积分、容器CPU limit和节流指标。
如果iowait上升但用户态CPU不高,说明进程可能在等待存储完成。iowait本身不是存储故障的充分证据,还要和磁盘延迟、队列深度及应用等待时间一起确认。
第三步:内存利用率要和压力、换页、I/O联动
“内存使用率低”也可能是错误结论。Linux会把空闲内存用于文件缓存,因此已使用内存较高不一定代表内存不足;反过来,进程可能已经因为回收、缺页或容器限制而产生延迟,即使宿主机看起来还有可用内存。
重点观察以下信号:
- 可用内存,而不是只看已使用内存。
- 内存PSI中的
some和full压力。 - swap in/out速率,尤其是持续换入换出。
- major page fault数量和变化趋势。
- 进程RSS、堆大小、垃圾回收暂停时间。
- 内存回收时磁盘读写延迟是否同步升高。
- 容器的内存上限、OOM事件和cgroup压力。
例如,内存使用率从70%升到78%,单看这个变化未必说明问题。但如果同时出现以下组合,内存压力就具有较高可信度:
- 内存PSI开始持续升高;
- swap in/out从接近0升到数MB/s;
- major fault明显增加;
- 磁盘
await从5毫秒升到80毫秒; - 应用P99和线程等待时间同步增加。
这条链路可能是“内存不足或回收加剧 → 页面换入换出 → 存储等待增加 → 工作线程阻塞 → 请求尾延迟上升”。
反过来,如果内存PSI、swap和major fault都稳定,应用堆没有异常增长,而延迟只发生在某一个依赖调用上,就不应把“内存使用率较高”直接当作主因。
第四步:I/O不要只看磁盘利用率
磁盘利用率接近100%并不必然代表所有请求都会变慢,不同设备的并发处理能力差异很大;磁盘利用率只有30%也不代表延迟正常。判断存储问题时,至少要把以下指标一起看:
await或读写请求的实际完成延迟。- 设备队列深度,如
aqu-sz。 - 读、写请求数量和请求大小。
- 设备忙碌时间
util。 - 应用或数据库等待I/O的时间。
- 文件系统、块设备、网络存储和宿主机层面的延迟。
有价值的证据不是“util超过某个固定值”,而是:
存储延迟相对基线明显上升 → 队列深度同步增加 → 应用线程处于I/O等待 → 数据库或应用队列增长 → P95/P99上升。
如果await从约4毫秒升至60毫秒,队列深度持续增长,数据库连接池等待也从20毫秒升到300毫秒,而CPU仍低于40%,存储等待就是高优先级候选。
但如果磁盘延迟和队列都稳定,应用P99仍然上升,就应转向检查锁等待、下游接口、网络重传或应用自身的线程池限制。不要因为服务器“有I/O”就把所有延迟归因于磁盘。
Linux环境下可以使用只读采样命令获取基础信息。不同发行版可能未预装iostat或pidstat,执行前可用command -v确认。
date -Is
vmstat 1 10
iostat -xz 1 10
pidstat -d -r -u 1 10
ss -s
cat /proc/pressure/cpu
cat /proc/pressure/memory
cat /proc/pressure/io
这些命令只能帮助确认主机侧信号,不能替代应用指标和分布式追踪。采样时应记录实例、进程、设备名称和时间,避免把不同机器或不同时间段的数据拼在一起。
第五步:低网络流量不代表网络没有问题
网络吞吐量低,只说明传输的数据量不大,不代表连接建立和数据交付顺利。小请求、短连接和尾部请求更容易受到RTT、丢包、TCP重传和连接队列影响。
建议同时检查:
- 客户端到服务端的RTT,以及服务端到下游的RTT。
- TCP重传率、网卡丢包、错误包和丢弃包。
- 监听端口的
Recv-Q和Send-Q。 - 新建连接数、连接建立耗时和连接复用比例。
- 负载均衡器到后端的连接失败和健康检查结果。
- 服务端到数据库、缓存、对象存储等依赖的网络延迟。
- 网络异常时的重试次数和请求放大比例。
如果应用耗时主要集中在下游调用,主机CPU、内存和磁盘都正常并不能排除网络问题。一个典型链路可能是:
下游RTT上升或出现丢包 → TCP重传 → 单次调用耗时增加 → 应用线程被占用 → 线程池队列变长 → P99上升 → 超时后触发重试。
此时重试会制造更多下游请求,导致原本不高的本机CPU仍然保持正常,但应用队列和错误率继续升高。
检查监听队列时,可以使用:
ss -lnt
ss -s
如果某个监听端口的Recv-Q持续接近或超过Send-Q,说明连接已经在入口处等待处理,需要继续查看accept队列、工作进程数量和应用是否能够及时接收连接。单独看到连接数增加,不能直接判断为网络故障,因为流量增长、长连接和连接池配置也会造成类似现象。
把应用队列和下游耗时放在核心位置
很多服务器延迟问题并不表现为主机资源耗尽,而是表现为“资源入口被限制”。常见入口包括:
- Web服务器工作进程或事件循环。
- 应用线程池和异步任务队列。
- 数据库连接池。
- 缓存客户端连接池。
- 消息消费者并发数。
- 下游接口的并发上限。
- 限流器、信号量和锁。
因此,除了主机指标,还应记录每个请求的时间分解:
- 排队等待时间。
- 应用实际处理时间。
- 数据库或缓存等待时间。
- 外部HTTP/RPC调用时间。
- 响应写回时间。
- 重试和超时耗时。
例如,一个接口总耗时为2秒,其中应用计算只占80毫秒,数据库连接池等待900毫秒,下游接口耗时850毫秒,剩余时间用于网络和序列化。此时提高CPU配额不会直接解决问题,盲目扩大线程池还可能把更多并发压力传递给数据库和下游服务。

判断队列是否是主因时,可以关注三个条件:
- 延迟上升期间,队列长度或等待时间同步增长。
- 活跃工作线程、连接数或下游并发接近配置上限。
- 队列下降时,P95/P99也随之恢复。
如果只有队列增长而响应时间没有变化,可能是采样时间不一致、队列指标定义不同,或队列包含了不会影响用户请求的后台任务,需要进一步核对指标含义。
按照“变化—联动—排除—复测”形成判断
为了避免把相关性误认为因果,可以用以下顺序记录每个候选原因。
1. 先确定变化起点
记录延迟开始上升的分钟,确认是P50、P95还是P99先变化。然后查看这一分钟之前是否存在RPS上升、发布、定时任务、实例减少或依赖服务异常。
2. 再找同一时间段内的联动信号
例如:
- P95上升与应用队列、数据库连接池等待同时上升。
- P99上升与单核心满载、run queue增加同时出现。
- P50和P95同时上升,与下游调用耗时、网络RTT同步变化。
- 延迟上升与swap、major fault、磁盘
await同步变化。 - 延迟上升只发生在错误和重试增加之后。
至少要找到一个资源或队列信号与响应曲线在时间上相互对应,不能只凭静态快照做判断。
3. 排除替代解释
重点排除以下情况:
- 聚合CPU掩盖了单核心或单线程热点。
- 监控窗口过长,短时尖峰被平均掉。
- 只有一个接口、一个实例或一个租户异常。
- 负载均衡流量分布不均,整体平均值掩盖了异常节点。
- 下游服务变慢,本机只是等待。
- 连接池或线程池达到上限,但主机资源仍然空闲。
- 超时重试制造了二次流量。
- 指标采集延迟或服务器时钟不一致。
4. 形成带条件的判断
可以使用“如果—那么”的方式描述结论,而不是写成绝对判断:
- 如果单核心利用率接近满载、run queue持续高于可用vCPU,且应用队列同步增加,那么优先检查单线程热点、锁竞争或CPU调度。
- 如果磁盘延迟和设备队列同步升高,应用I/O等待也增加,而请求延迟跟随变化,那么存储等待是主要候选。
- 如果主机资源平稳,但下游调用耗时、连接池等待和重试率同步上升,那么问题更可能位于依赖服务或网络链路。
- 如果只有P99升高,且应用队列或某类慢查询出现长尾,应优先分析尾部请求,而不是按平均延迟扩容。
- 如果错误率上升后重试增加,随后延迟继续扩大,应先处理错误和重试放大链路。
5. 复测时只改变一个主要变量
复测不等于直接把线程池、连接池和实例规格全部调大。并发参数变化可能缓解排队,也可能把压力推给数据库或下游服务。
更可靠的复测方式是:
- 选择相同接口、相近RPS和相同实例类型。
- 保留故障前后的P50、P95、P99、错误率和队列数据。
- 同时采集候选瓶颈指标,至少覆盖CPU调度、内存压力、I/O和网络中的相关项。
- 只改变一个主要条件,例如切换一组实例、暂停某个批处理或调整一个受控并发参数。
- 观察候选指标是否先恢复,随后响应时间是否按相同方向恢复。
- 保留回滚方案,避免通过扩大并发把依赖服务压垮。
如果无法在生产环境复现,可以使用低风险的分流或小比例灰度,并确保请求量、接口比例和下游依赖能够对照。测试期间不要只看平均响应时间,要比较相同时间窗口中的P95、P99和超时率。
下一次观察时,固定保留这组指标
下一次出现“资源利用率不高但延迟变慢”,可以把下面这组指标作为最小观察集合:
- P50、P95、P99响应时间,以及超时率、5xx和重试率。
- RPS、接口维度、实例维度和租户维度的请求分布。
- 应用线程池队列、活跃线程、数据库连接池等待和下游调用耗时。
- 每核心CPU、run queue、iowait、steal和容器CPU节流。
- 可用内存、内存PSI、swap in/out、major fault和垃圾回收暂停。
- 存储
await、队列深度、读写延迟和设备忙碌时间。 - 网络RTT、TCP重传、丢包、监听队列和连接建立耗时。
这组指标的重点不是收集越多越好,而是让每次延迟变化都能回答三个问题:请求是在排队、执行还是等待依赖?哪个指标与延迟同时变化?当该指标恢复时,响应时间是否也恢复?只要能在同一时间窗口内完成这三层关联,就比单看CPU、内存或磁盘利用率更接近真实瓶颈。
针对网站、接口服务和数据库中计算、存储与网络资源相互影响的场景,A5idc数据提供中国香港、美国、日本等地区的物理服务器,覆盖Xeon Gold、AMD EPYC等计算平台,以及NVMe存储和不同线路、带宽的产品选择。这些资源可用于承载不同访问地区和程序负载下的业务部署,也为后续调整计算、存储或网络配置提供选择。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/7407.html



