服务器流量监控该关注哪些指标?怎样区分突发流量与持续增长
服务器流量监控不能只看网卡上的“进出带宽”。真正需要关注的是流量规模、请求吞吐、并发连接、响应延迟、错误率,以及 CPU、内存和磁盘 I/O 是否同步承压。带宽上升但延迟和错误率稳定,通常是容量利用率变化;带宽不高却出现请求排队和响应变慢,则可能是应用、数据库或 I/O 瓶颈。
区分突发流量与持续增长,核心不是看某一个瞬时峰值,而是比较不同时间窗口与历史基线:1分钟或5分钟窗口适合识别突发,15分钟、1小时和日环比适合观察持续趋势;同时结合流量恢复速度、资源饱和程度和业务指标判断。短时间冲高后快速回落,且服务质量未恶化,多数属于突发;均值持续抬升并伴随资源使用率和延迟逐步增加,则应按容量增长处理。
围绕带宽、连接数、延迟与主机资源的持续观测,A5idc数据提供中国香港、美国、日本、韩国、中国台湾、新加坡和马来西亚等地区的物理服务器资源,覆盖常规建站、业务后台、数据库、接口服务及多任务计算场景,并配备不同CPU、内存、NVMe存储、带宽线路和多IP方案,为流量趋势分析与容量规划提供多样化的部署基础。
一、先明确监控目标:流量监控到底要回答什么
监控系统的目标通常分为三类,三类目标对应的指标和告警方式并不相同。
1. 判断网络容量是否接近上限
这类监控关注服务器网卡、虚拟网卡、负载均衡器或出口链路的吞吐能力,主要指标包括:
- 入站带宽和出站带宽;
- 每秒数据包数(PPS);
- 网卡错误、丢包和重传;
- TCP连接数、SYN等待数和连接建立速率;
- 单个实例、单个网卡与整个集群的流量分布。
带宽接近上限时,常见表现是延迟增加、TCP重传上升、连接建立变慢。但带宽没有打满,也不能直接说明网络没有问题。大量小数据包可能先达到PPS上限,连接跟踪表或负载均衡器资源也可能先出现瓶颈。
2. 判断业务是否因为流量受到影响
业务侧指标比网卡流量更接近用户体验,至少应采集:
- 每秒请求数,即 RPS 或 QPS;
- 并发请求数和活跃连接数;
- 响应时间的平均值、P50、P95、P99;
- HTTP状态码,尤其是4xx和5xx比例;
- 请求超时、排队时间和限流次数;
- 不同接口、租户、地域或请求类型的分布。
平均响应时间容易掩盖尾部延迟。例如,平均响应时间为180毫秒,但P99已经达到2秒,说明少量请求正在排队或访问慢依赖。告警应优先使用P95或P99,并结合请求量设置最小样本数,避免低流量时几个慢请求造成误报。
3. 判断服务器资源是否已经成为限制因素
网络流量上升只是输入,真正决定处理能力的往往是计算、内存、磁盘和依赖服务。主机侧应同时观察:
- CPU使用率、用户态、内核态、I/O等待和虚拟化窃取时间;
- Load Average与CPU核心数的比值;
- 内存可用量、回收压力、Swap活动和内存压力指标;
- 磁盘吞吐、IOPS、I/O等待时间、队列长度和设备利用率;
- 文件描述符、连接池、线程池和进程队列;
- 数据库、缓存、消息队列等下游服务的延迟与拒绝情况。
只有把“流量输入—请求处理—资源消耗—业务结果”串起来,监控数据才有决策价值。
二、关键指标的含义与相互关系
网络指标:带宽、PPS与连接数要分开看
带宽表示单位时间内传输了多少数据,通常使用Mbps、Gbps或MB/s。PPS表示单位时间内处理了多少个数据包,连接指标则反映会话和握手压力。
| 指标 | 主要含义 | 升高时可能说明 | 需要联动观察 |
|---|---|---|---|
| 入站带宽 | 客户端、上游或回源进入服务器的数据量 | 上传、请求体、回源或攻击流量增加 | 入站PPS、请求数、接口来源 |
| 出站带宽 | 服务器向客户端或下游发送的数据量 | 下载、接口响应、文件分发或日志传输增加 | 响应大小、出口利用率、网卡丢包 |
| PPS | 每秒数据包数量 | 小包业务、连接洪泛或网络协议开销增加 | CPU内核态、软中断、丢包 |
| 活跃连接数 | 当前保持的TCP或应用连接数量 | 长连接、慢客户端或连接未释放 | 请求并发、连接状态、文件描述符 |
| 新建连接速率 | 单位时间建立的新连接数量 | 突发访问、重试风暴或连接复用不足 | SYN队列、握手延迟、应用接收速率 |
| 重传率 | TCP数据重传的比例 | 丢包、拥塞、链路质量或服务端处理不及时 | RTT、网卡错误、延迟P99 |
| 网卡丢包与错误 | 网络设备或驱动层面的异常 | 队列溢出、链路故障或驱动问题 | 网卡队列、PPS、内核日志 |
带宽和请求数不一定同步。一个大文件下载请求可能产生数百兆字节出站流量,但请求数很低;一个短连接接口可能请求数很高,带宽却并不大。因此,不能用“带宽除以请求数”直接推断所有接口的平均性能,至少要先按接口和请求类型拆分。
应用指标:吞吐量不能脱离延迟和错误率
RPS表示系统接收或完成请求的速度,但“接收请求数”与“成功完成请求数”应分别记录。如果线程池已经排满,入口仍可能持续接收请求,完成RPS却下降,排队时间和超时数量会增加。
常见组合及其含义如下:
- RPS上升、P95稳定、5xx稳定:系统可能仍有容量,但应检查缓存命中率和资源余量。
- RPS上升、P95与P99同步升高:处理能力接近边界,可能出现线程池、连接池或下游服务排队。
- RPS稳定、延迟升高:流量通常不是主要原因,应优先检查数据库、磁盘、锁竞争、依赖服务和资源争用。
- RPS下降、5xx升高:可能是服务拒绝、限流、进程重启或上游重试导致,不能简单判断为流量减少。
- 带宽上升、RPS不变:应检查响应体大小、文件下载、图片或视频分发、日志上传等大流量场景。
主机指标:资源利用率要结合队列和时间
CPU使用率达到70%并不必然代表故障。对于计算密集型服务,CPU达到75%时可能仍能稳定运行;对于延迟敏感的接口,CPU达到60%时就可能因为突发抖动而影响P99。
更有解释力的组合包括:
- CPU利用率 + Load Average/CPU核心数;
- 用户态CPU + 内核态CPU + I/O等待;
- 内存可用量 + Swap读写 + 内存压力;
- 磁盘利用率 + I/O等待时间 + 队列长度;
- 应用线程池使用率 + 请求排队时间;
- 数据库连接池使用率 + 数据库响应时间。
例如,4核服务器的Load Average为6并不能单独说明问题,还要看进程是否处于可运行队列、不可中断I/O等待,以及CPU利用率是否接近满载。如果CPU只有40%,但I/O等待很高,瓶颈可能在磁盘或网络存储,而不是CPU。
三、阈值怎样设置:固定阈值与动态基线结合
固定阈值适合发现明确的资源上限,动态基线适合识别业务周期和异常增长。以下数值用于构造监控规则时参考,不是所有业务的通用标准。
| 监控对象 | 参考告警条件 | 持续时间建议 | 解释边界 |
|---|---|---|---|
| 网卡带宽 | 达到链路能力的85% | 5分钟 | 适合作为容量预警;95%以上需关注丢包和延迟 |
| 网卡PPS | 达到设备或虚拟网卡能力的80% | 3至5分钟 | 小包业务应单独建立基线 |
| CPU利用率 | 超过75%且运行队列持续增加 | 10分钟 | 仅CPU升高但延迟稳定时,可先作为容量提示 |
| 内存可用量 | 低于总内存15%,并出现回收或Swap | 5分钟 | “已使用”高不等于内存不足,应关注可回收缓存 |
| 磁盘I/O等待 | 明显高于业务基线,且队列增长 | 5分钟 | SSD、云盘和机械盘的合理范围不同 |
| 请求P95 | 高于SLO或历史基线30% | 5分钟 | 低请求量时应设置最小请求数 |
| 5xx比例 | 超过1%预警,超过3%严重 | 5分钟 | 按有效请求数计算,并排除已知客户端错误 |
| TCP重传率 | 高于正常基线并伴随延迟升高 | 3至5分钟 | 需区分链路问题和服务端处理不及时 |
| 活跃连接数 | 超过历史峰值或连接池容量80% | 5分钟 | 长连接服务应按连接类型单独设置 |
设置阈值时应考虑以下变量:
- 业务类型:文件下载、API接口、实时通信和批处理的流量形态不同。
- 时间周期:工作日、周末、促销活动和定时任务可能有稳定的周期性。
- 资源规格:同样的CPU百分比,在不同核心数、不同CPU代际和不同虚拟化环境中的处理能力不同。
- 请求大小:相同RPS下,响应体从10KB增大到1MB,网络和内存压力会完全不同。
- 缓存命中率:缓存命中时主要消耗网络和连接资源,未命中时可能进一步放大数据库和磁盘压力。
- 依赖服务:应用自身资源正常,但数据库响应变慢,也会表现为请求延迟升高。
- 监控粒度:1分钟平均值可能掩盖10秒级峰值;15分钟平均值则可能掩盖短时间故障。
因此,不建议把所有指标都设置成“超过80%持续5分钟就报警”。CPU、带宽、内存、I/O和业务延迟的含义不同,告警条件也应该不同。
四、怎样区分突发流量与持续增长
1. 用不同时间窗口观察变化速度
可以同时计算1分钟、5分钟、15分钟和1小时的平均值,并与历史基线比较。
- 突发流量:1分钟或5分钟均值快速升高,15分钟均值未明显抬升,流量在较短时间内回到基线附近。
- 持续增长:15分钟和1小时均值持续高于基线,且多个周期的峰值逐步抬高。
- 周期性流量:每天在固定时段重复出现,峰值较稳定,不能简单视为异常增长。
- 异常重试或故障放大:请求量上升,但成功请求没有同步增加,5xx、超时或连接重试明显增多。
例如,以过去7天同一时段的中位数作为基线,某接口平时为200 RPS:

| 时间段 | 1分钟RPS | 15分钟RPS | P95延迟 | CPU | 解释 |
|---|---|---|---|---|---|
| 10:00前 | 210 | 205 | 160ms | 48% | 接近基线 |
| 10:05 | 980 | 270 | 180ms | 58% | 短时冲高,服务仍稳定 |
| 10:15 | 760 | 510 | 260ms | 72% | 峰值正在向中周期均值扩散 |
| 10:30 | 320 | 590 | 300ms | 76% | 流量未完全恢复,接近持续承压 |
| 11:00 | 220 | 260 | 170ms | 50% | 已恢复,最终更接近突发事件 |
10:05的峰值本身属于突发,但如果后续15分钟和1小时均值持续抬高,就不能只按一次瞬时峰值处理。监控系统应记录“峰值持续时间”和“恢复时间”,而不是只保存最大值。
2. 用基线偏差而不是单一绝对值
一个简单的动态判断方法是计算:
当前15分钟均值 ÷ 同时段历史基线
例如,历史基线为200 RPS,当前15分钟均值为320 RPS,偏差比例为160%。如果该比例只持续一个采样周期,且资源和延迟没有异常,可以标记为突发观察;如果持续30分钟以上,并且CPU、连接数或P95同步升高,则应进入容量评估。
实践中可以采用分级规则:
- 当前5分钟均值超过基线的2倍:触发突发流量观察;
- 当前15分钟均值超过基线的1.3倍并持续30分钟:触发增长趋势告警;
- 当前1小时均值连续多个周期上升:进入容量规划;
- 流量升高同时出现P95、5xx、重传或资源饱和:升级为影响业务的严重告警。
这些比例需要根据业务波动范围调整。流量本身波动很大的业务,可以使用过去7天或28天的同周期分位数,而不是简单平均值。对异常值较多的场景,中位数通常比平均数更稳健。
3. 看流量回落后的资源恢复情况
流量下降后,CPU和带宽通常会较快回落,但连接、内存和磁盘队列可能恢复较慢。以下情况值得单独关注:
- 流量已经恢复,活跃连接仍持续增长:可能存在连接泄漏、慢客户端或连接未正确释放。
- 流量已经恢复,内存没有回落:可能是缓存扩张、堆内存未归还,或存在内存泄漏。
- 流量已经恢复,磁盘队列仍很高:可能有日志刷盘、异步任务或积压数据处理。
- 请求量没有明显增加,重传和延迟却升高:可能是链路抖动、网络设备拥塞或服务端发送不及时。
- 请求量升高但成功请求不升高:可能是重试风暴,不能把所有请求都视为有效业务增长。
五、告警降噪:让告警反映影响,而不是只反映波动
1. 为告警增加持续时间和最小样本数
瞬时尖峰不一定需要电话或即时消息。可以采用不同严重等级:
- 观察级:1分钟带宽超过基线,但持续时间不足3分钟,记录事件并聚合通知。
- 预警级:5分钟带宽或RPS明显超过基线,同时资源使用率连续升高。
- 严重级:P95超过SLO、5xx升高或连接建立失败,并持续达到设定时间。
业务延迟告警还应设置最小请求数。例如,一个每分钟只有10个请求的接口,1个慢请求就会让P95明显波动;可以要求5分钟内至少达到一定请求量后再计算告警,或者使用更长窗口。
2. 使用多信号联合判断
单指标告警容易误报。更合理的规则是把容量指标和业务影响结合起来:
- 带宽超过85% 且 P95较基线升高;
- CPU超过80% 且 Load/核心数持续大于1;
- 活跃连接超过连接池80% 且连接建立失败增加;
- 磁盘I/O等待升高 且请求排队时间增加;
- RPS增长超过30% 且15分钟均值仍未回落。
如果只有带宽升高而延迟、错误率和资源指标均正常,可以发容量观察通知,不必直接触发故障告警。
3. 按服务、实例和接口拆分告警
集群总流量正常,不代表每台服务器都正常。监控维度至少应包括:
- 集群总量;
- 单个实例;
- 网卡或可用区;
- 服务和接口;
- 状态码;
- 请求来源或业务类型;
- 上游与下游依赖。
还要避免每个实例分别发送相同告警。可以先按服务聚合,再保留异常实例列表;同一个根因导致的CPU、延迟和5xx告警,应合并为一个事件,其他指标作为关联信息展示。
4. 把趋势告警和故障告警分开
趋势告警回答“容量是否会在未来不足”,故障告警回答“现在是否已经影响业务”。
例如:
- 过去30天峰值RPS每周提升10%,但当前P95稳定:容量趋势告警;
- 当前5分钟P95翻倍并伴随5xx:故障告警;
- 带宽使用率达到70%,但增长斜率明显:容量观察;
- 带宽达到95%,同时出现丢包:网络资源严重告警。
二者不应使用相同的通知渠道和响应时限,否则大量容量提醒会掩盖真实故障。
六、从指标组合解释问题,避免把流量当成唯一原因
下面的判断矩阵适合用于初步定位:
| 流量表现 | 延迟与错误 | 资源表现 | 更可能的方向 | 决策 |
|---|---|---|---|---|
| 带宽和RPS同时升高 | 延迟稳定、错误稳定 | 资源余量充足 | 合理业务增长或缓存命中 | 记录趋势,暂不扩容 |
| 带宽接近上限 | P95、重传上升 | 网卡或出口饱和 | 网络容量不足 | 评估扩容、分流或内容优化 |
| RPS升高 | P95和5xx同步上升 | CPU、线程池升高 | 应用处理能力不足 | 检查并发模型和实例容量 |
| RPS稳定 | 延迟明显上升 | I/O等待或数据库延迟上升 | 下游或存储瓶颈 | 检查依赖服务和队列 |
| 带宽升高 | RPS没有同步增加 | 出站流量占主导 | 大响应、文件分发或异常下载 | 按响应大小和来源拆分 |
| 连接数升高 | 请求完成数不升高 | 文件描述符或连接池紧张 | 长连接、慢请求或连接泄漏 | 检查连接生命周期 |
| 流量升高 | 5xx和重试上升 | CPU未必很高 | 上游重试风暴或服务拒绝 | 区分有效请求与重试请求 |
| 流量正常 | P99突然升高 | CPU和I/O均正常 | 锁等待、网络抖动或单一依赖异常 | 检查请求链路和分位数 |
这里的“扩容”不能只根据带宽做决定。若瓶颈在数据库连接池,增加应用实例可能反而增加数据库连接压力;若瓶颈在出站带宽,单纯增加CPU也不会改善下载速度。
七、用单位换算判断带宽是否够用
日流量、平均速率和峰值速率必须区分。以十进制口径计算,500 GB数据在一天内平均传输的带宽为:
- 500 GB × 8 = 4000 Gb;
- 一天为 86,400 秒;
- 4000 Gb × 1000 ÷ 86,400 ≈ 46.3 Mbps。
这里的GB按十进制计算,1 GB = 1000 MB;Gb与GB相差8倍。平均速率为46.3 Mbps并不代表购买或配置50 Mbps链路就足够,因为真实流量通常存在峰谷。若业务峰值约为平均值的4倍,峰值可能接近185 Mbps,还需要为协议开销、突发增长和其他服务预留余量。
如果网卡能力为1 Gbps,可以把业务可用上限暂按80%至85%估算,即约800至850 Mbps,再结合丢包、PPS、延迟和多租户流量进行校正。对于云服务器,还要确认“网卡标称带宽”“实例可用带宽”“公网出口带宽”和“单连接带宽”是否是同一个限制。
八、复测与容量判断:用服务质量边界而不是资源百分比定结论
容量判断应以“在目标流量下仍满足服务等级目标”为边界。建议建立一组可重复的复测条件:
- 固定实例规格、应用版本、配置和依赖服务。
- 使用接近真实的请求比例、请求大小、缓存命中率和连接模型。
- 分别测试基线流量、当前峰值、峰值的1.2倍和1.5倍。
- 每个阶段至少持续到CPU、内存、缓存和连接池进入稳定状态,不能只观察几十秒峰值。
- 同时记录RPS、P50/P95/P99、5xx、带宽、PPS、CPU、内存、I/O、连接数和下游延迟。
- 找到第一个违反SLO或出现明显排队的点,再反向计算安全容量。
例如,某服务在1800 RPS时P95为220毫秒、5xx为0.1%、CPU为68%、出站带宽为420 Mbps;在2160 RPS时P95升至360毫秒、CPU为79%,但错误率仍可接受;在2700 RPS时P95超过800毫秒并开始出现超时。若业务SLO要求P95不超过500毫秒,那么容量边界应接近2160至2700 RPS之间,而不是简单认为“CPU还没有达到100%,所以还能继续加压”。

实际生产容量还应保留安全余量。可将压测得到的SLO边界乘以0.7至0.8作为常态运行目标,再结合突发持续时间、扩容耗时和故障切换能力调整。对于增长型流量,按周或按月计算峰值RPS、出站带宽和P95的变化斜率;当预测流量在扩容准备周期内会触及安全边界时,就应提前复测和扩容,而不是等待严重告警出现。
最终,流量监控的有效判断可以归纳为三个问题:流量是否只是短时冲高,业务是否已经受到影响,资源是否在多个时间窗口内持续接近边界。只有当趋势、性能和资源指标相互印证时,突发流量才应升级为容量问题;而每次规则调整或扩容后,都应使用相同请求模型和指标集合复测,确认告警阈值既能覆盖真实风险,也不会被正常波动淹没。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/6565.html


