判断服务器是否过载,峰值与稳态负载应该怎么看?
服务器是否过载,不能只看 CPU 使用率,也不能看到一次 Load Average 升高就直接下结论。真正需要确认的是:资源是否持续接近瓶颈,业务响应时间、错误率或队列是否同时恶化,以及这些变化是否发生在同一个时间窗口内。
峰值负载通常表现为短时间内请求量或任务量突然增加,资源指标快速升高,随后能够恢复,队列也可以在峰值结束后逐步清空。稳态负载则是需求在一段时间内保持较高水平,资源长期没有余量,延迟、超时或队列持续处于异常状态。两者都可能造成服务问题,但判断方法不能只依赖某一个固定阈值。
围绕峰值压力与稳态负载对应的计算、内存和I/O需求,A5idc数据提供香港、美国、日本等多地区物理服务器租用,涵盖Xeon Gold、AMD EPYC等平台,并有不同内存、SSD/NVMe存储及网络线路配置,可为网站、数据库、接口服务和多任务业务提供相应的资源组合。
先建立能够解释问题的观察窗口
判断过载的第一步,不是查看某个时刻的 CPU 百分比,而是建立一段包含“正常状态—负载上升—高负载阶段—恢复阶段”的时间窗口。
如果只截取监控图中的最高点,可能把一次瞬时调度、定时任务或监控采样抖动误认为过载;如果只看一天的平均值,又可能把持续几分钟的故障峰值完全掩盖。
观察窗口应覆盖哪些阶段
可以按照业务请求的周期选择窗口:
- 突发接口请求:重点看秒级和分钟级变化,例如 10 秒、1 分钟、5 分钟聚合数据。
- 定时任务或批处理:重点看任务启动前后,以及任务是否按预期结束。
- 网站或 API 服务:至少同时观察请求量、延迟分位数、错误率和资源指标。
- 数据库、缓存或消息消费服务:还要加入连接池等待、队列深度、消费速率和磁盘延迟。
- 周期性流量:应覆盖一个完整业务周期,避免只看到高峰或低谷的一侧。
实际分析时,单点最大值的参考意义通常低于持续时间。例如,CPU 在 2 秒内达到 100%,随后恢复,和连续 15 分钟保持在 95%以上,含义并不相同。前者可能只是短时计算任务,后者更接近容量不足或资源争用。
同一时间轴上至少放置这些指标
为了判断因果关系,监控数据应统一时间戳和采样粒度。建议在同一个面板或同一份导出数据中放置:
| 类型 | 建议观察指标 | 主要回答的问题 |
|---|---|---|
| 流量与吞吐 | 请求数、请求速率、并发数、任务提交速率 | 负载是否真的增加 |
| 服务结果 | p50、p95、p99 延迟,超时率,5xx 或任务失败率 | 用户和调用方是否受到影响 |
| CPU | user、system、iowait、steal、每核心使用率 | 是计算、内核、等待还是虚拟化争用 |
| 内存 | available、回收、Swap in/out、OOM、页面错误 | 是否存在内存压力 |
| 存储 I/O | IOPS、吞吐、await、util、设备队列 | 是否是磁盘响应变慢 |
| 网络 | 进出带宽、包速率、丢包、重传、连接数 | 是否接近网络或连接处理能力 |
| 队列 | 应用队列、线程池等待、连接池等待、消费积压 | 请求是否在等待处理 |
其中,延迟最好同时看平均值和分位数。平均响应时间可能只有 200 毫秒,但 p99 已经达到 5 秒,说明少量请求正在经历严重排队。对于面向用户的服务,尾部延迟往往比平均值更早暴露资源瓶颈。
指标A:先看 CPU,但不要把 CPU 当成结论
CPU 是最容易被误读的指标。CPU 使用率较高,不一定意味着服务器过载;CPU 使用率不高,也不代表服务没有瓶颈。
CPU 使用率要拆开看
至少要区分以下几类时间:
- user:应用程序在用户态消耗的 CPU。
- system:内核处理系统调用、网络、文件系统等消耗的 CPU。
- iowait:CPU 正在等待存储 I/O 完成的时间。
- steal:虚拟机等待宿主机分配物理 CPU 的时间。
- idle:空闲时间。
如果 user 持续升高,同时每核心使用率都接近饱和,运行队列增长,接口 p95 延迟和队列深度同步上升,才可以较有把握地判断计算资源可能成为瓶颈。
如果整体 CPU 只有 50%,但一个核心长期 100%,其他核心比较空闲,仍可能出现单线程服务、锁竞争、单队列网络处理或某个关键线程无法并行等问题。因此,多核服务器不能只看总 CPU 百分比,还要看每个逻辑 CPU 的分布。
Load Average 不能直接等同于 CPU 使用率
Linux 的 Load Average 通常包含正在运行或等待运行的任务,也可能包含处于不可中断睡眠状态、常见于等待 I/O 的任务。因此:
- CPU 满载时,Load Average 可能因为运行队列增加而升高。
- 磁盘响应变慢时,即使 CPU 使用率不高,Load Average 也可能升高。
- Load Average 必须结合逻辑 CPU 数量解释。
- 1 分钟、5 分钟和 15 分钟负载反映的是不同时间范围,不能混用。
可以用“Load Average ÷ 逻辑 CPU 数量”做一个粗略观察,但这不是最终判定标准。例如,8 个逻辑 CPU 的服务器,Load Average 为 8,表示平均有相当于 8 个任务处于运行或等待状态;它并不自动说明 CPU 已经过载。还要继续确认这些任务是在等待计算,还是在等待 I/O。
在常见 Linux 环境中,可以使用以下命令辅助采集基础数据。命令只读取状态,不会修改系统配置:
# 查看逻辑 CPU 数量和 1/5/15 分钟负载
nproc
uptime
# 每秒采样一次,共 10 次
# 重点关注 r、si、so、wa 等字段
vmstat 1 10
# 需要 sysstat 工具包,查看每个 CPU 和 I/O 统计
mpstat -P ALL 1 10
iostat -xz 1 10
# 查看 socket 和连接概况
ss -s
不同发行版的 vmstat、iostat 输出字段可能略有差异,应先确认字段含义再做对比。Windows、BSD 或容器环境则需要使用对应平台的性能计数器或监控接口。
CPU 指标与业务指标的联动方式
可以用下面的关系判断 CPU 是否真正影响了服务:
| CPU 现象 | 同时出现的业务现象 | 更接近的解释 |
|---|---|---|
| user 高、运行队列增长 | p95/p99 上升,吞吐接近上限 | 计算资源或应用线程数可能不足 |
| system 高、上下文切换多 | 网络请求、连接数或系统调用激增 | 内核处理、网络包速率或锁竞争增加 |
| iowait 高 | 磁盘 await、设备队列和接口延迟同步升高 | CPU 在等待存储,不是纯计算瓶颈 |
| steal 高 | 虚拟机内延迟上升,宿主机或同节点负载异常 | 可能存在虚拟化层 CPU 争用 |
| CPU 高但延迟、错误率稳定 | 批处理或后台任务正常完成 | 资源利用率高,但暂时不能判定为业务过载 |
| CPU 不高但 Load Average 高 | 磁盘延迟或不可中断任务增加 | 需要转向 I/O、文件系统或下游等待分析 |
这里的“同步”不是要求两个指标每一秒完全重合,而是要求它们在同一个业务阶段内呈现一致的升降关系。例如,流量增加后 CPU 上升,随后 p99 和应用队列增加;流量恢复后 CPU、队列和延迟又一起下降,这种时间关系比单一数值更有说服力。
指标B:用内存、I/O、网络和队列解释 CPU 之外的瓶颈
当 CPU 不能解释服务变慢时,应继续看资源等待和排队情况。很多“服务器 CPU 不高但响应变慢”的问题,实际是内存回收、磁盘延迟、网络重传或线程池排队。
内存高不等于内存过载
Linux 会利用空闲内存作为文件缓存,因此 free 较低并不一定代表内存不足。判断内存压力时,应重点观察:
available是否持续下降;- 是否出现明显的 Swap in/out;
- 页面回收和缺页是否增加;
- 应用进程的常驻内存是否持续增长;
- 容器或服务是否触及 cgroup memory limit;
- 是否出现 OOM Kill;
- 内存压力增加时,延迟和错误率是否同步变化。
例如,服务器总内存 32 GB,free 只有 1 GB,但 available 仍有 12 GB,Swap 没有持续读写,应用延迟也稳定,这通常不能直接判定为内存过载。相反,如果 available 从 8 GB 降到几百 MB,Swap in/out 持续增长,磁盘读写延迟也随之上升,接口开始超时,就需要把内存压力视为主要候选原因。
需要特别区分“已经使用的 Swap”和“正在发生的 Swap 活动”。历史上曾使用过 Swap,但当前没有持续换入换出,影响可能有限;持续换入换出则说明内存回收正在影响运行效率。
I/O 要同时看延迟、队列和业务等待
磁盘吞吐量没有达到设备标称上限,也可能已经无法满足当前业务。判断存储瓶颈时,建议同时观察:
await或读写请求平均等待时间;- 设备使用率
util; - 设备队列长度;
- IOPS 和读写吞吐;
- 应用线程在文件、数据库或日志写入上的等待时间;
- I/O 延迟升高是否与接口 p95、任务耗时同步。
单看 util 也不够。某些高速设备在较高吞吐下仍能维持较低延迟,而低速磁盘即使吞吐量不大,也可能因为随机 I/O 或队列堆积而响应变慢。
典型的 I/O 瓶颈关系是:CPU 总使用率不高,但 iowait 增加,磁盘 await 和队列长度同步上升,应用线程处于等待状态,最终导致请求延迟和超时率增加。这种情况下,简单增加 CPU 通常不能解决问题。
网络流量要区分带宽、包速率和连接处理
网络相关过载不只表现为带宽跑满,还可能表现为:
- 小包数量过多,包速率先达到网卡或内核处理能力;
- TCP 重传、丢包或连接建立失败增加;
- 监听队列、连接队列或文件描述符接近上限;
- 单个网卡、单个队列或单个 CPU 核心成为热点;
- 出口带宽正常,但服务端响应包发送延迟增加;
- 上游调用方或下游服务的连接池开始等待。
如果带宽升高的同时,应用吞吐也正常、延迟没有明显变化、重传和丢包没有上升,不能仅凭“网络使用率高”认定服务器过载。相反,带宽并未达到上限,但重传、丢包、连接等待和 p99 同时升高,则应排查网络路径、网卡队列、连接处理能力以及下游响应。
队列是观察“需求超过处理能力”的直接线索
队列比很多资源百分比更能说明问题。可以观察:
- Web 服务器或反向代理的等待请求数;
- 应用线程池活跃数和等待数;
- 数据库连接池使用数和等待时间;
- 消息队列的积压量和消费速率;
- 定时任务的待处理数量;
- TCP accept 队列和连接建立等待;
- 容器或进程的 CPU throttling 时间。
当进入队列的速率持续大于处理速率时,队列会不断增长。即使 CPU 只有 60%,应用也可能已经受到线程数、连接池、数据库或下游服务限制。
可以用一个简单关系理解这种现象:
并发请求数 ≈ 吞吐量 × 平均响应时间
例如,服务吞吐量为每秒 200 个请求,平均响应时间为 0.5 秒,则系统中大约有 100 个请求处于处理或等待状态。如果吞吐量不变,但平均响应时间升到 2 秒,并发请求数可能增加到约 400 个,进一步挤占线程、连接和内存资源。此时,最初的瓶颈可能在下游,但最终表现为服务器队列和超时同时增加。
用一组模拟数据观察因果关系
下面的表格是为说明分析方法构造的模拟监控数据,不代表实际服务器监控结果。服务器假设有 8 个逻辑 CPU,Load/CPU 表示 Load Average 除以 8,CPU 列拆分为 user、system 和 iowait。

| 时间 | 请求速率 | CPU user/system/iowait | Load/CPU | available 内存 | 磁盘 await | p95 延迟 | 5xx | 应用队列 |
|---|---|---|---|---|---|---|---|---|
| 10:00 | 180 req/s | 42% / 7% / 1% | 0.6 | 6.2 GB | 3 ms | 180 ms | 0.03% | 8 |
| 10:03 | 320 req/s | 68% / 9% / 2% | 0.9 | 5.9 GB | 4 ms | 230 ms | 0.04% | 12 |
| 10:06 | 410 req/s | 86% / 12% / 3% | 1.8 | 5.1 GB | 8 ms | 620 ms | 1.20% | 340 |
| 10:10 | 390 req/s | 88% / 11% / 3% | 1.7 | 5.0 GB | 8 ms | 590 ms | 1.00% | 310 |
| 10:15 | 250 req/s | 61% / 8% / 2% | 0.9 | 5.7 GB | 4 ms | 260 ms | 0.08% | 70 |
| 10:22 | 180 req/s | 44% / 7% / 1% | 0.6 | 6.1 GB | 3 ms | 185 ms | 0.03% | 10 |
这组数据中有几个关联点:
- 请求速率从 180 req/s 上升到 410 req/s。
- user CPU、system CPU 和 Load/CPU 同时上升,说明处理需求确实增加。
- 磁盘 await 仍处于较低水平,内存 available 没有快速耗尽,Swap 活动也没有出现,内存和磁盘暂时不像主因。
- p95 延迟、5xx 和应用队列在 10:06 后同步恶化。
- 请求量回落后,CPU、延迟和队列逐步恢复。
因此,这组数据更接近“峰值阶段计算能力不足或线程处理能力达到上限”,而不是单纯的内存或磁盘过载。它是否属于稳态过载,要看 10:06 至 10:10 的高负载阶段是否是业务正常持续时段,以及队列在峰值结束后能否清空。如果高峰持续更久,队列继续增长并最终触发大量超时,就已经从可恢复的峰值压力演变为服务能力不足。
再看另一种情况:

| 时间 | 请求速率 | CPU user/system/iowait | Load/CPU | 磁盘 await | p95 延迟 | 5xx | 应用队列 |
|---|---|---|---|---|---|---|---|
| 14:00 | 220 req/s | 35% / 6% / 4% | 0.5 | 5 ms | 210 ms | 0.04% | 10 |
| 14:05 | 230 req/s | 33% / 7% / 18% | 0.8 | 42 ms | 480 ms | 0.20% | 90 |
| 14:10 | 225 req/s | 31% / 7% / 29% | 1.2 | 86 ms | 1.4 s | 1.10% | 370 |
| 14:15 | 220 req/s | 30% / 7% / 27% | 1.1 | 79 ms | 1.2 s | 0.90% | 330 |
这里请求量基本没有增加,CPU user 也不高,但 iowait、磁盘 await、应用队列、p95 和错误率同时升高。更合理的判断是存储等待或依赖存储的下游组件成为瓶颈,而不是 CPU 计算能力不足。
排除看起来像过载的替代解释
资源指标升高只能产生候选解释,不能直接证明服务器过载。正式判断前,应排除几个常见替代原因。
1. 负载其实没有增加,变化来自任务或代码
CPU 升高可能由以下因素造成:
- 新版本发布后执行路径变长;
- 定时备份、压缩、日志轮转或扫描任务启动;
- 垃圾回收频率增加;
- 某个异常请求触发高耗时逻辑;
- 数据库查询计划变化;
- 缓存失效后,大量请求转向数据库或文件系统。
此时,应把进程级 CPU、部署时间、定时任务时间和请求路径分布放在一起看。如果只有某个后台进程 CPU 高,而用户请求的延迟、错误率和队列没有变化,不能直接把整台服务器定义为业务过载。
2. 服务器资源正常,真正瓶颈在下游
应用服务器 CPU 只有 40%,但接口 p99 上升,可能是:
- 数据库连接池等待;
- 数据库锁等待或慢查询;
- 外部 API 响应变慢;
- 缓存服务连接耗尽;
- 消息消费者处理速度下降;
- DNS、对象存储或其他内部服务延迟增加。
可以比较应用自身处理时间、等待下游时间和端到端响应时间。如果应用进程处理只需 20 毫秒,但连接数据库等待 800 毫秒,那么服务器 CPU 使用率并不能解释接口变慢。
3. 内存看起来很高,其实主要是缓存
文件缓存会占用内存,但可在需要时回收。判断时应看 available、回收活动、Swap 和缺页,而不是只看“已使用内存百分比”。
如果内存占用长期较高,但可用内存稳定、没有 Swap 活动、请求延迟没有同步恶化,内存通常不是当前过载证据。若内存持续下降并伴随频繁回收、Swap 和磁盘等待,则需要进一步检查进程内存增长或容器限制。
4. 带宽接近上限,但业务没有变慢
备份、日志同步、镜像拉取或数据复制可能造成网络吞吐短时升高。此时应区分业务流量和后台流量,并观察丢包、重传、发送队列和业务响应时间。
如果只有后台同步流量增加,业务 p95、错误率和连接等待没有明显变化,说明网络资源利用率升高,但还不能判定业务已过载。若同步流量挤压了业务出口,导致业务请求重传和超时,才具备较完整的过载证据。
5. 监控聚合方式掩盖了短时峰值
1 分钟平均 CPU 可能是 60%,但 1 秒采样中多次达到 100%;平均响应时间可能稳定,但 p99 已经出现尖峰。分析时应确认:
- 监控采样周期是否过长;
- 是否只保存平均值而没有 p95、p99 或最大值;
- 不同指标是否使用同一个时区和时间戳;
- 多实例平均值是否掩盖了单个实例异常;
- 是否有实例重启、扩容或摘除导致平均值变化。
尤其是多台服务器组成的集群,集群平均 CPU 正常,不代表某一个实例没有单核打满、连接池耗尽或请求队列堆积。应同时查看集群汇总和实例分布。
形成判断:峰值压力、稳态过载还是其他瓶颈
可以把判断建立在四类证据上:
- 需求证据:请求量、任务量、并发数或消息进入速率确实增加。
- 资源证据:某一类资源出现持续饱和、等待或争用。
- 服务证据:延迟分位数、错误率、超时率或队列同步恶化。
- 时间证据:资源和服务指标在同一阶段上升,并在问题解除后一起恢复。
只有资源使用率高,没有业务症状,通常只能称为“高利用率”;只有延迟升高,没有资源或依赖指标支持,则还不能确认是服务器本身过载。
| 观察结果 | 更合理的判断 | 判断边界 |
|---|---|---|
| 资源短时升高,延迟基本稳定,队列快速清空 | 峰值可承受 | 不代表仍有无限容量,只说明该次峰值没有明显突破服务目标 |
| 资源达到瓶颈,p95/p99、错误率和队列同时恶化,峰值结束后恢复 | 峰值阶段过载 | 需要进一步确认峰值持续时间和可接受的服务目标 |
| 在正常业务水平下,资源长期接近瓶颈,队列无法清空,延迟持续偏高 | 稳态过载或容量不足 | 也要排除泄漏、慢查询、后台任务等异常消耗 |
| CPU 不高,但 iowait、磁盘 await 或下游等待升高 | 非 CPU 型瓶颈 | 服务器可能表现为过载,但处理方向应放在 I/O 或依赖服务 |
| 服务器资源正常,应用延迟只在某个下游调用阶段增加 | 外部依赖瓶颈 | 不能通过单纯增加应用服务器 CPU 解决 |
| 单个核心、单个实例或单个线程异常,整体平均值正常 | 局部热点 | 应查看实例、进程、线程和请求分布 |
参考阈值只能用于告警,不能独立定案
很多系统会把 CPU 70%或 80%设为告警起点,把 90%以上视为高风险区间。这些数值可以帮助提前发现趋势,但不应直接作为“已经过载”的证明。
例如:
- CPU 长期 85%,但响应时间稳定、错误率正常、队列可以清空,可能仍在服务目标范围内。
- CPU 55%,但数据库连接池已经 100%占用,接口 p99 大幅升高,服务同样可能处于不可用边缘。
- 磁盘利用率 60%,但 await 已经很高,随机 I/O 请求仍可能无法及时完成。
- 内存使用率 75%,但 Swap 持续增长,实际压力可能比百分比显示得更严重。
更合理的做法是根据服务目标设置告警组合,例如“p95 延迟超过目标,同时应用队列持续增长,并且某类资源连续多个采样周期接近瓶颈”。具体阈值应结合业务请求类型、实例规格、峰值持续时间和可接受的错误率确定。
复测时要验证“关联是否重复出现”
一次异常只能说明某个时间段发生了问题,不能保证已经找到了根因。复测的重点是让同样的指标关系再次出现,或在调整后验证它是否消失。
第一步:记录正常基线
至少记录一个业务稳定周期内的:
- 请求速率和请求类型;
- p50、p95、p99 延迟;
- 超时和错误率;
- CPU 分项及每核心使用率;
- Load Average 和运行队列;
- available 内存、Swap、OOM;
- 磁盘 await、util、队列;
- 网络吞吐、重传、丢包;
- 应用线程池、连接池和消息队列。
基线的作用不是追求一个固定平均值,而是了解正常状态下各指标之间的相对关系。例如,某服务正常高峰时 CPU 80%,但 p99 仍稳定;另一个服务 CPU 60%时连接池已经耗尽,两者不能使用同一套判断标准。
第二步:覆盖完整峰值过程
观察至少包含以下阶段:
- 负载上升前的稳定状态;
- 请求量或任务量开始增加;
- 资源和服务指标出现变化的阶段;
- 峰值维持阶段;
- 流量回落后的恢复阶段。
如果只看峰值中间的截图,很难判断是瞬时尖峰还是逐步积压。队列是否能在峰值结束后下降,是区分“可恢复峰值压力”和“处理能力不足”的重要线索。
第三步:区分自然复测和受控压测
生产环境可以使用下一次自然业务高峰进行复测,但需要确保时间戳、版本、实例数量和依赖服务状态可比。若使用压测,应优先在隔离环境或专用实例中进行,并设置速率上限和停止条件,避免把测试流量引入生产业务。
压测结果也不能只记录“达到多少请求每秒”,还要记录达到该吞吐量时:
- p95、p99 是否超过目标;
- 错误和超时是否增加;
- 应用队列是否持续增长;
- 资源指标是短暂升高还是长时间保持;
- 停止施压后队列多久恢复;
- 是否有下游服务先达到瓶颈。
第四步:调整后只改变一个主要变量
如果同时改 CPU 规格、线程池、数据库参数和缓存策略,即使问题缓解,也很难知道哪项调整有效。复测时可以保持流量和版本基本一致,优先改变一个主要变量,再比较前后数据。
有效的结果通常表现为:
- 在相同请求量下,p95/p99 降低;
- 队列增长速度下降或可以清空;
- 错误率和超时率回到基线;
- 主要瓶颈指标不再持续饱和;
- 其他资源没有因为调整而出现新的等待。
如果 CPU 降下来了,但数据库连接等待和 p99 继续升高,说明原来的 CPU 可能只是表象;如果请求量不变,磁盘 await 下降、队列清空且延迟恢复,则存储瓶颈的判断更可信。
下一次观察应把这些指标放在同一组
日常监控不必把所有系统指标都堆在一个页面,但判断服务器是否过载时,至少应同时查看以下组合:
- 请求速率、吞吐量、并发数;
- p50、p95、p99 响应时间;
- 超时率、错误率和被拒绝请求数;
- CPU user、system、iowait、steal,以及每核心分布;
- Load Average、运行队列和 CPU 限流时间;
- available 内存、Swap 活动、OOM 和页面回收;
- 磁盘 await、设备队列、util、IOPS 和吞吐;
- 网络进出流量、包速率、重传、丢包和连接队列;
- 应用线程池、数据库连接池、消息队列和下游调用等待。
最终判断应建立在“负载变化—资源变化—服务结果—恢复过程”的完整链路上。峰值主要看高峰期间是否突破处理能力,以及峰值结束后能否恢复;稳态主要看在正常持续需求下是否长期没有余量,队列和延迟是否不断累积。只要这几个指标在同一时间语境中能够相互印证,服务器是否过载、过载发生在哪个层面,通常就能得到比单看 CPU 百分比更可靠的结论。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/9691.html



