服务器流量监控该关注哪些指标?怎样区分突发流量与持续增长

发布人:A5数据发布时间:2026-10-30 11:21阅读量:104

服务器流量监控不能只看网卡上的“进出带宽”。真正需要关注的是流量规模、请求吞吐、并发连接、响应延迟、错误率,以及 CPU、内存和磁盘 I/O 是否同步承压。带宽上升但延迟和错误率稳定,通常是容量利用率变化;带宽不高却出现请求排队和响应变慢,则可能是应用、数据库或 I/O 瓶颈。

区分突发流量与持续增长,核心不是看某一个瞬时峰值,而是比较不同时间窗口与历史基线:1分钟或5分钟窗口适合识别突发,15分钟、1小时和日环比适合观察持续趋势;同时结合流量恢复速度、资源饱和程度和业务指标判断。短时间冲高后快速回落,且服务质量未恶化,多数属于突发;均值持续抬升并伴随资源使用率和延迟逐步增加,则应按容量增长处理。

围绕带宽、连接数、延迟与主机资源的持续观测,A5idc数据提供中国香港、美国、日本、韩国、中国台湾、新加坡和马来西亚等地区的物理服务器资源,覆盖常规建站、业务后台、数据库、接口服务及多任务计算场景,并配备不同CPU、内存、NVMe存储、带宽线路和多IP方案,为流量趋势分析与容量规划提供多样化的部署基础。

一、先明确监控目标:流量监控到底要回答什么

监控系统的目标通常分为三类,三类目标对应的指标和告警方式并不相同。

1. 判断网络容量是否接近上限

这类监控关注服务器网卡、虚拟网卡、负载均衡器或出口链路的吞吐能力,主要指标包括:

  • 入站带宽和出站带宽;
  • 每秒数据包数(PPS);
  • 网卡错误、丢包和重传;
  • TCP连接数、SYN等待数和连接建立速率;
  • 单个实例、单个网卡与整个集群的流量分布。

带宽接近上限时,常见表现是延迟增加、TCP重传上升、连接建立变慢。但带宽没有打满,也不能直接说明网络没有问题。大量小数据包可能先达到PPS上限,连接跟踪表或负载均衡器资源也可能先出现瓶颈。

2. 判断业务是否因为流量受到影响

业务侧指标比网卡流量更接近用户体验,至少应采集:

  • 每秒请求数,即 RPS 或 QPS;
  • 并发请求数和活跃连接数;
  • 响应时间的平均值、P50、P95、P99;
  • HTTP状态码,尤其是4xx和5xx比例;
  • 请求超时、排队时间和限流次数;
  • 不同接口、租户、地域或请求类型的分布。

平均响应时间容易掩盖尾部延迟。例如,平均响应时间为180毫秒,但P99已经达到2秒,说明少量请求正在排队或访问慢依赖。告警应优先使用P95或P99,并结合请求量设置最小样本数,避免低流量时几个慢请求造成误报。

3. 判断服务器资源是否已经成为限制因素

网络流量上升只是输入,真正决定处理能力的往往是计算、内存、磁盘和依赖服务。主机侧应同时观察:

  • CPU使用率、用户态、内核态、I/O等待和虚拟化窃取时间;
  • Load Average与CPU核心数的比值;
  • 内存可用量、回收压力、Swap活动和内存压力指标;
  • 磁盘吞吐、IOPS、I/O等待时间、队列长度和设备利用率;
  • 文件描述符、连接池、线程池和进程队列;
  • 数据库、缓存、消息队列等下游服务的延迟与拒绝情况。

只有把“流量输入—请求处理—资源消耗—业务结果”串起来,监控数据才有决策价值。

二、关键指标的含义与相互关系

网络指标:带宽、PPS与连接数要分开看

带宽表示单位时间内传输了多少数据,通常使用Mbps、Gbps或MB/s。PPS表示单位时间内处理了多少个数据包,连接指标则反映会话和握手压力。

指标主要含义升高时可能说明需要联动观察
入站带宽客户端、上游或回源进入服务器的数据量上传、请求体、回源或攻击流量增加入站PPS、请求数、接口来源
出站带宽服务器向客户端或下游发送的数据量下载、接口响应、文件分发或日志传输增加响应大小、出口利用率、网卡丢包
PPS每秒数据包数量小包业务、连接洪泛或网络协议开销增加CPU内核态、软中断、丢包
活跃连接数当前保持的TCP或应用连接数量长连接、慢客户端或连接未释放请求并发、连接状态、文件描述符
新建连接速率单位时间建立的新连接数量突发访问、重试风暴或连接复用不足SYN队列、握手延迟、应用接收速率
重传率TCP数据重传的比例丢包、拥塞、链路质量或服务端处理不及时RTT、网卡错误、延迟P99
网卡丢包与错误网络设备或驱动层面的异常队列溢出、链路故障或驱动问题网卡队列、PPS、内核日志

带宽和请求数不一定同步。一个大文件下载请求可能产生数百兆字节出站流量,但请求数很低;一个短连接接口可能请求数很高,带宽却并不大。因此,不能用“带宽除以请求数”直接推断所有接口的平均性能,至少要先按接口和请求类型拆分。

应用指标:吞吐量不能脱离延迟和错误率

RPS表示系统接收或完成请求的速度,但“接收请求数”与“成功完成请求数”应分别记录。如果线程池已经排满,入口仍可能持续接收请求,完成RPS却下降,排队时间和超时数量会增加。

常见组合及其含义如下:

  • RPS上升、P95稳定、5xx稳定:系统可能仍有容量,但应检查缓存命中率和资源余量。
  • RPS上升、P95与P99同步升高:处理能力接近边界,可能出现线程池、连接池或下游服务排队。
  • RPS稳定、延迟升高:流量通常不是主要原因,应优先检查数据库、磁盘、锁竞争、依赖服务和资源争用。
  • RPS下降、5xx升高:可能是服务拒绝、限流、进程重启或上游重试导致,不能简单判断为流量减少。
  • 带宽上升、RPS不变:应检查响应体大小、文件下载、图片或视频分发、日志上传等大流量场景。

主机指标:资源利用率要结合队列和时间

CPU使用率达到70%并不必然代表故障。对于计算密集型服务,CPU达到75%时可能仍能稳定运行;对于延迟敏感的接口,CPU达到60%时就可能因为突发抖动而影响P99。

更有解释力的组合包括:

  • CPU利用率 + Load Average/CPU核心数;
  • 用户态CPU + 内核态CPU + I/O等待;
  • 内存可用量 + Swap读写 + 内存压力;
  • 磁盘利用率 + I/O等待时间 + 队列长度;
  • 应用线程池使用率 + 请求排队时间;
  • 数据库连接池使用率 + 数据库响应时间。

例如,4核服务器的Load Average为6并不能单独说明问题,还要看进程是否处于可运行队列、不可中断I/O等待,以及CPU利用率是否接近满载。如果CPU只有40%,但I/O等待很高,瓶颈可能在磁盘或网络存储,而不是CPU。

三、阈值怎样设置:固定阈值与动态基线结合

固定阈值适合发现明确的资源上限,动态基线适合识别业务周期和异常增长。以下数值用于构造监控规则时参考,不是所有业务的通用标准。

监控对象参考告警条件持续时间建议解释边界
网卡带宽达到链路能力的85%5分钟适合作为容量预警;95%以上需关注丢包和延迟
网卡PPS达到设备或虚拟网卡能力的80%3至5分钟小包业务应单独建立基线
CPU利用率超过75%且运行队列持续增加10分钟仅CPU升高但延迟稳定时,可先作为容量提示
内存可用量低于总内存15%,并出现回收或Swap5分钟“已使用”高不等于内存不足,应关注可回收缓存
磁盘I/O等待明显高于业务基线,且队列增长5分钟SSD、云盘和机械盘的合理范围不同
请求P95高于SLO或历史基线30%5分钟低请求量时应设置最小请求数
5xx比例超过1%预警,超过3%严重5分钟按有效请求数计算,并排除已知客户端错误
TCP重传率高于正常基线并伴随延迟升高3至5分钟需区分链路问题和服务端处理不及时
活跃连接数超过历史峰值或连接池容量80%5分钟长连接服务应按连接类型单独设置

设置阈值时应考虑以下变量:

  1. 业务类型:文件下载、API接口、实时通信和批处理的流量形态不同。
  2. 时间周期:工作日、周末、促销活动和定时任务可能有稳定的周期性。
  3. 资源规格:同样的CPU百分比,在不同核心数、不同CPU代际和不同虚拟化环境中的处理能力不同。
  4. 请求大小:相同RPS下,响应体从10KB增大到1MB,网络和内存压力会完全不同。
  5. 缓存命中率:缓存命中时主要消耗网络和连接资源,未命中时可能进一步放大数据库和磁盘压力。
  6. 依赖服务:应用自身资源正常,但数据库响应变慢,也会表现为请求延迟升高。
  7. 监控粒度:1分钟平均值可能掩盖10秒级峰值;15分钟平均值则可能掩盖短时间故障。

因此,不建议把所有指标都设置成“超过80%持续5分钟就报警”。CPU、带宽、内存、I/O和业务延迟的含义不同,告警条件也应该不同。

四、怎样区分突发流量与持续增长

1. 用不同时间窗口观察变化速度

可以同时计算1分钟、5分钟、15分钟和1小时的平均值,并与历史基线比较。

  • 突发流量:1分钟或5分钟均值快速升高,15分钟均值未明显抬升,流量在较短时间内回到基线附近。
  • 持续增长:15分钟和1小时均值持续高于基线,且多个周期的峰值逐步抬高。
  • 周期性流量:每天在固定时段重复出现,峰值较稳定,不能简单视为异常增长。
  • 异常重试或故障放大:请求量上升,但成功请求没有同步增加,5xx、超时或连接重试明显增多。

例如,以过去7天同一时段的中位数作为基线,某接口平时为200 RPS:

四、怎样区分突发流量与持续增长配图

时间段1分钟RPS15分钟RPSP95延迟CPU解释
10:00前210205160ms48%接近基线
10:05980270180ms58%短时冲高,服务仍稳定
10:15760510260ms72%峰值正在向中周期均值扩散
10:30320590300ms76%流量未完全恢复,接近持续承压
11:00220260170ms50%已恢复,最终更接近突发事件

10:05的峰值本身属于突发,但如果后续15分钟和1小时均值持续抬高,就不能只按一次瞬时峰值处理。监控系统应记录“峰值持续时间”和“恢复时间”,而不是只保存最大值。

2. 用基线偏差而不是单一绝对值

一个简单的动态判断方法是计算:

当前15分钟均值 ÷ 同时段历史基线

例如,历史基线为200 RPS,当前15分钟均值为320 RPS,偏差比例为160%。如果该比例只持续一个采样周期,且资源和延迟没有异常,可以标记为突发观察;如果持续30分钟以上,并且CPU、连接数或P95同步升高,则应进入容量评估。

实践中可以采用分级规则:

  • 当前5分钟均值超过基线的2倍:触发突发流量观察;
  • 当前15分钟均值超过基线的1.3倍并持续30分钟:触发增长趋势告警;
  • 当前1小时均值连续多个周期上升:进入容量规划;
  • 流量升高同时出现P95、5xx、重传或资源饱和:升级为影响业务的严重告警。

这些比例需要根据业务波动范围调整。流量本身波动很大的业务,可以使用过去7天或28天的同周期分位数,而不是简单平均值。对异常值较多的场景,中位数通常比平均数更稳健。

3. 看流量回落后的资源恢复情况

流量下降后,CPU和带宽通常会较快回落,但连接、内存和磁盘队列可能恢复较慢。以下情况值得单独关注:

  • 流量已经恢复,活跃连接仍持续增长:可能存在连接泄漏、慢客户端或连接未正确释放。
  • 流量已经恢复,内存没有回落:可能是缓存扩张、堆内存未归还,或存在内存泄漏。
  • 流量已经恢复,磁盘队列仍很高:可能有日志刷盘、异步任务或积压数据处理。
  • 请求量没有明显增加,重传和延迟却升高:可能是链路抖动、网络设备拥塞或服务端发送不及时。
  • 请求量升高但成功请求不升高:可能是重试风暴,不能把所有请求都视为有效业务增长。

五、告警降噪:让告警反映影响,而不是只反映波动

1. 为告警增加持续时间和最小样本数

瞬时尖峰不一定需要电话或即时消息。可以采用不同严重等级:

  • 观察级:1分钟带宽超过基线,但持续时间不足3分钟,记录事件并聚合通知。
  • 预警级:5分钟带宽或RPS明显超过基线,同时资源使用率连续升高。
  • 严重级:P95超过SLO、5xx升高或连接建立失败,并持续达到设定时间。

业务延迟告警还应设置最小请求数。例如,一个每分钟只有10个请求的接口,1个慢请求就会让P95明显波动;可以要求5分钟内至少达到一定请求量后再计算告警,或者使用更长窗口。

2. 使用多信号联合判断

单指标告警容易误报。更合理的规则是把容量指标和业务影响结合起来:

  • 带宽超过85% 且 P95较基线升高;
  • CPU超过80% 且 Load/核心数持续大于1;
  • 活跃连接超过连接池80% 且连接建立失败增加;
  • 磁盘I/O等待升高 且请求排队时间增加;
  • RPS增长超过30% 且15分钟均值仍未回落。

如果只有带宽升高而延迟、错误率和资源指标均正常,可以发容量观察通知,不必直接触发故障告警。

3. 按服务、实例和接口拆分告警

集群总流量正常,不代表每台服务器都正常。监控维度至少应包括:

  • 集群总量;
  • 单个实例;
  • 网卡或可用区;
  • 服务和接口;
  • 状态码;
  • 请求来源或业务类型;
  • 上游与下游依赖。

还要避免每个实例分别发送相同告警。可以先按服务聚合,再保留异常实例列表;同一个根因导致的CPU、延迟和5xx告警,应合并为一个事件,其他指标作为关联信息展示。

4. 把趋势告警和故障告警分开

趋势告警回答“容量是否会在未来不足”,故障告警回答“现在是否已经影响业务”。

例如:

  • 过去30天峰值RPS每周提升10%,但当前P95稳定:容量趋势告警;
  • 当前5分钟P95翻倍并伴随5xx:故障告警;
  • 带宽使用率达到70%,但增长斜率明显:容量观察;
  • 带宽达到95%,同时出现丢包:网络资源严重告警。

二者不应使用相同的通知渠道和响应时限,否则大量容量提醒会掩盖真实故障。

六、从指标组合解释问题,避免把流量当成唯一原因

下面的判断矩阵适合用于初步定位:

流量表现延迟与错误资源表现更可能的方向决策
带宽和RPS同时升高延迟稳定、错误稳定资源余量充足合理业务增长或缓存命中记录趋势,暂不扩容
带宽接近上限P95、重传上升网卡或出口饱和网络容量不足评估扩容、分流或内容优化
RPS升高P95和5xx同步上升CPU、线程池升高应用处理能力不足检查并发模型和实例容量
RPS稳定延迟明显上升I/O等待或数据库延迟上升下游或存储瓶颈检查依赖服务和队列
带宽升高RPS没有同步增加出站流量占主导大响应、文件分发或异常下载按响应大小和来源拆分
连接数升高请求完成数不升高文件描述符或连接池紧张长连接、慢请求或连接泄漏检查连接生命周期
流量升高5xx和重试上升CPU未必很高上游重试风暴或服务拒绝区分有效请求与重试请求
流量正常P99突然升高CPU和I/O均正常锁等待、网络抖动或单一依赖异常检查请求链路和分位数

这里的“扩容”不能只根据带宽做决定。若瓶颈在数据库连接池,增加应用实例可能反而增加数据库连接压力;若瓶颈在出站带宽,单纯增加CPU也不会改善下载速度。

七、用单位换算判断带宽是否够用

日流量、平均速率和峰值速率必须区分。以十进制口径计算,500 GB数据在一天内平均传输的带宽为:

  1. 500 GB × 8 = 4000 Gb;
  2. 一天为 86,400 秒;
  3. 4000 Gb × 1000 ÷ 86,400 ≈ 46.3 Mbps。

这里的GB按十进制计算,1 GB = 1000 MB;Gb与GB相差8倍。平均速率为46.3 Mbps并不代表购买或配置50 Mbps链路就足够,因为真实流量通常存在峰谷。若业务峰值约为平均值的4倍,峰值可能接近185 Mbps,还需要为协议开销、突发增长和其他服务预留余量。

如果网卡能力为1 Gbps,可以把业务可用上限暂按80%至85%估算,即约800至850 Mbps,再结合丢包、PPS、延迟和多租户流量进行校正。对于云服务器,还要确认“网卡标称带宽”“实例可用带宽”“公网出口带宽”和“单连接带宽”是否是同一个限制。

八、复测与容量判断:用服务质量边界而不是资源百分比定结论

容量判断应以“在目标流量下仍满足服务等级目标”为边界。建议建立一组可重复的复测条件:

  1. 固定实例规格、应用版本、配置和依赖服务。
  2. 使用接近真实的请求比例、请求大小、缓存命中率和连接模型。
  3. 分别测试基线流量、当前峰值、峰值的1.2倍和1.5倍。
  4. 每个阶段至少持续到CPU、内存、缓存和连接池进入稳定状态,不能只观察几十秒峰值。
  5. 同时记录RPS、P50/P95/P99、5xx、带宽、PPS、CPU、内存、I/O、连接数和下游延迟。
  6. 找到第一个违反SLO或出现明显排队的点,再反向计算安全容量。

例如,某服务在1800 RPS时P95为220毫秒、5xx为0.1%、CPU为68%、出站带宽为420 Mbps;在2160 RPS时P95升至360毫秒、CPU为79%,但错误率仍可接受;在2700 RPS时P95超过800毫秒并开始出现超时。若业务SLO要求P95不超过500毫秒,那么容量边界应接近2160至2700 RPS之间,而不是简单认为“CPU还没有达到100%,所以还能继续加压”。

八、复测与容量判断:用服务质量边界而不是资源百分比定结论配图

实际生产容量还应保留安全余量。可将压测得到的SLO边界乘以0.7至0.8作为常态运行目标,再结合突发持续时间、扩容耗时和故障切换能力调整。对于增长型流量,按周或按月计算峰值RPS、出站带宽和P95的变化斜率;当预测流量在扩容准备周期内会触及安全边界时,就应提前复测和扩容,而不是等待严重告警出现。

最终,流量监控的有效判断可以归纳为三个问题:流量是否只是短时冲高,业务是否已经受到影响,资源是否在多个时间窗口内持续接近边界。只有当趋势、性能和资源指标相互印证时,突发流量才应升级为容量问题;而每次规则调整或扩容后,都应使用相同请求模型和指标集合复测,确认告警阈值既能覆盖真实风险,也不会被正常波动淹没。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/6565.html

相关推荐