香港服务器性能监控应关注哪些指标,怎样把资源变化与告警关联起来?

发布人:A5数据发布时间:2026-10-18 16:05阅读量:127

单看一个指标,很容易把正常波动误判成故障。香港服务器 CPU 使用率达到 90%,可能是短时编译任务,也可能是请求堆积后的结果;内存占用达到 85%,可能只是文件缓存增加,也可能已经伴随交换分区读写。真正需要判断的不是“某个数字是否超过阈值”,而是资源变化是否与响应时间、错误率、队列长度和网络质量在同一时间窗口内发生联动。

性能监控应当围绕“现象—资源—替代解释—复测”展开。先建立正常基线和观察窗口,再看 CPU、内存、I/O、网络、连接数及业务指标的先后关系,最后通过复测确认判断。对香港服务器而言,还要把访问来源和网络路径纳入分析:服务器资源正常,并不代表跨地域访问链路没有延迟或丢包。

围绕香港服务器的资源与网络指标,A5数据提供入门建站、Xeon Gold及AMD EPYC等物理服务器方案,覆盖SSD、NVMe、不同内存容量以及CN2和国际带宽线路,可承载企业网站、业务后台、数据库与接口服务。依托香港及美国、日本、新加坡等地区的服务器资源,A5数据也能为多区域访问场景提供不同硬件配置和网络路径的部署基础,便于将主机资源变化、访问来源与业务表现放在同一监控视角下分析。

先建立可比较的观察窗口

告警关联的第一步不是配置更多阈值,而是统一时间、对象和统计口径。至少需要同时明确以下内容:

  • 观察对象:具体实例、业务服务、端口、接口或数据库连接池。
  • 观察时间:故障前、故障中和恢复后的连续时间段。
  • 统计方式:平均值、最大值、P95、P99,还是每秒速率。
  • 比较基线:工作日高峰、夜间低峰、发布前后的正常数据。
  • 访问范围:香港本地、内地不同运营商、东南亚或其他来源区域。

建议监控采样间隔设置在 15~30 秒,业务告警则同时保留 1 分钟、5 分钟和 15 分钟窗口。15 秒内的尖峰适合定位瞬时事件,但不宜直接触发严重告警;持续 5~10 分钟的变化,更能说明资源已经影响到服务。

不同指标承担不同判断职责

指标类别重点观察项主要回答的问题
CPU使用率、Load、运行队列、上下文切换、CPU Steal处理器是否忙,线程是否排队,是否受到虚拟化资源争用
内存Available、回收压力、Swap、Major Fault、OOM内存是否真的不足,还是仅有缓存占用
磁盘 I/OIOPS、吞吐、await、util、队列深度、fsync存储设备是否饱和,应用是否在等待磁盘
网络入出方向速率、丢包、错误包、重传、RTT、连接数是带宽、网卡、链路,还是连接管理出现问题
业务性能响应时间 P95/P99、超时率、5xx、请求量用户是否已经感受到影响
应用队列线程池、连接池、消息队列、反向代理等待队列请求是否在应用内部积压

资源指标说明“服务器发生了什么”,业务指标说明“服务是否受到影响”。两者必须在同一时间轴上查看。

例如,CPU 使用率从 35%升到 80%,但响应时间、错误率和运行队列均无变化,可能只是新任务提高了并行计算量。相反,CPU 只有 65%,但运行队列持续增长、P99 延迟翻倍,则仍然可能存在线程调度或单核热点问题。

先记录基线,再设阈值

固定阈值可以作为第一层防线,但不应代替基线。可以先记录 7~14 天的业务高峰数据,得到以下几类参考值:

  • 正常高峰时的 CPU、内存和磁盘 I/O 区间;
  • 正常情况下接口 P95、P99 的波动范围;
  • 不同访问区域的 RTT 和错误率;
  • 发布、备份、日志切割、批处理等计划任务的时间点;
  • 连接数、队列长度与请求量之间的正常关系。

阈值应同时包含“相对变化”和“绝对下限”。比如接口 P95 比过去同一时段基线高 50%,且超过 800 毫秒,持续 10 分钟,才触发性能告警。这样可以避免低延迟接口从 20 毫秒升到 30 毫秒就产生大量无效告警,也避免高延迟接口因为相对波动不大而漏报。

从 CPU变化开始,但不要停在CPU

CPU 是最容易被误读的指标。单纯看总使用率,无法判断是用户态计算、内核态处理、I/O 等待,还是虚拟化环境中的 CPU 争用。

CPU使用率与运行队列要一起看

需要同时观察:

  • user:应用程序在用户态消耗的 CPU;
  • system:内核、网络栈、系统调用消耗的 CPU;
  • iowait:CPU 等待磁盘或其他 I/O 完成的时间;
  • steal:虚拟机等待宿主机分配 CPU 的时间;
  • Load 和每个 CPU 核心的运行队列;
  • 上下文切换、进程数和线程数。

一个常见误判是“CPU 90%,所以服务器处理能力不足”。如果其中大部分是 iowait,真正的瓶颈可能在磁盘;如果 steal 明显升高,问题可能是底层资源争用;如果总 CPU 不高,但某个单核已接近 100%,单线程应用仍然会响应缓慢。

可以使用只读命令查看 Linux 主机的基础状态,具体字段会因发行版和工具版本略有差异:

mpstat -P ALL 1 5
vmstat 1 5
iostat -xz 1 5

这些命令只能帮助确认采集时刻的状态,不能代替长期监控。若要判断故障前后变化,应查看时间序列数据,并把发布、计划任务和业务流量一起标记出来。

Load不能脱离CPU核心数解释

Load 表示处于可运行或不可中断状态的任务数量,不能简单等同于 CPU 使用率。对于 8 vCPU 主机:

  • Load 约为 2,通常说明运行任务数量尚未形成明显排队;
  • Load 接近 8,需要结合 CPU 使用率和 I/O 等待判断;
  • Load 持续高于 8,说明至少存在较明显的调度或不可中断任务积压。

如果 Load 上升、CPU 使用率接近满载、运行队列增长,同时业务 P95 延迟和超时率同步上升,CPU 瓶颈的可能性较高。如果 Load 上升但 CPU 使用率下降,且磁盘 await 和 I/O 队列增加,应优先排查存储等待,而不是直接增加 CPU。

从 CPU变化开始,但不要停在CPU配图

内存、I/O和队列需要形成第二层联动

内存占用高不一定等于内存不足

Linux 会将空闲内存用于文件缓存,因此 used 较高并不意味着应用已经无法申请内存。更有判断价值的是:

  • MemAvailable 是否持续下降;
  • Swap 是否发生持续读入、写出;
  • Major Page Fault 是否增加;
  • OOM Killer 是否被触发;
  • 应用进程的 RSS、堆内存和连接缓存是否不断增长;
  • 内核 Slab、页表等非应用内存是否异常扩大。

典型的内存压力通常表现为:Available 逐步下降,随后 Swap I/O 增加,Major Fault 增多,应用响应时间和超时率上升。此时 CPU 可能并不高,但请求会因为页面换入换出而变慢。

一个可操作的判断组合是:

Available 持续低于物理内存的 10%~15%,同时 Swap In/Out 持续增加,且接口 P95 或进程暂停时间上升,才把“内存不足”作为主要候选。

如果内存占用 90%,但 Available 稳定、Swap 为零、响应时间没有变化,通常更像是缓存利用,而非紧急故障。

磁盘I/O要看等待时间与队列

磁盘吞吐量高不一定是问题,吞吐量低也不代表磁盘正常。判断 I/O 是否造成性能影响,至少需要组合观察:

  • await:I/O 请求从提交到完成的平均等待时间;
  • util:设备忙碌比例;
  • I/O 队列深度;
  • 读写 IOPS 和吞吐;
  • 应用是否频繁执行同步写入;
  • 文件系统空间和 inode 是否充足。

例如,某块磁盘读取吞吐只有 40 MB/s,但 await 达到 80 毫秒、队列深度持续增长,应用仍可能明显变慢。另一块高速存储写入 200 MB/s,等待时间只有几毫秒,且队列稳定,则未必是瓶颈。

下面的数据为模拟监控样例,用于说明关联关系,并非来自实际监控:

内存、I/O和队列需要形成第二层联动配图

时间CPU使用率MemAvailable磁盘util磁盘awaitI/O队列接口P955xx比例
10:0048%38%42%5 ms1.2180 ms0.08%
10:0552%37%78%18 ms6.5310 ms0.20%
10:1055%36%96%47 ms17.8920 ms1.40%
10:1550%35%94%51 ms19.61,260 ms2.10%

这里 CPU 并未超过 60%,但磁盘忙碌比例、等待时间和队列同时增加,接口 P95、5xx 也在相近时间上升。相比“CPU 不高所以服务器没问题”,更合理的判断是:存储等待可能阻塞了请求处理。仍需继续确认是否有备份、日志压缩、数据库批量写入等替代解释。

网络指标要与访问来源和业务结果对应

香港服务器常被用于面向多个区域提供服务。不同运营商、不同地区和不同时间段的网络路径可能存在差异,因此网络问题不能只看服务器网卡的入出流量。

建议同时观察以下指标:

  • 出入方向带宽和包速率;
  • 网卡丢包、错误包和丢弃包;
  • TCP 重传率、连接建立失败率;
  • RTT 的平均值、P95 和最大值;
  • SYN Backlog、连接数、TIME_WAIT 数量;
  • 反向代理连接等待时间;
  • 按来源区域或运营商拆分的响应时间和错误率。

需要注意单位。监控中的吞吐量可能使用 MB/s,而带宽通常使用 Mb/s 或 Mbps。若 100 秒传输十进制 1 GB,换算过程是:

  1. 1 GB = 1,000,000,000 Bytes;
  2. 转成比特:1,000,000,000 × 8 = 8,000,000,000 bits;
  3. 除以 100 秒:80,000,000 bit/s;
  4. 结果为 80 Mbps。

因此,不能直接把 1 GB/100 秒写成 10 Mbps,也不能把 MB/s 和 Mb/s 当作同一单位。

网络故障的典型联动

如果服务器 CPU、内存、磁盘等待都处于正常范围,但某个访问区域的 RTT、重传率和接口 P99 同时升高,且其他来源区域没有变化,网络路径问题的可能性更高。

如果所有区域的请求都变慢,同时服务器连接数接近上限、SYN Backlog 增长、网卡丢弃包增加,则需要继续检查监听队列、反向代理连接限制和应用接收能力。此时不能只把问题归因于“线路延迟”。

如果网络吞吐接近端口上限,但业务响应时间没有变化,可能只是正常的大文件传输;如果吞吐不高,但重传、丢包和超时率上升,则更像是质量问题而非带宽不足。

把资源变化和告警放到同一条时间线上

告警关联可以拆成四个要素:

把资源变化和告警放到同一条时间线上配图

  1. 共同对象:同一实例、服务、接口或数据库连接池;
  2. 共同时间窗:例如前后 5 分钟或持续 10 分钟;
  3. 共同结果:响应时间、错误率、队列或超时出现变化;
  4. 排除条件:发布、计划任务、单一区域链路异常等其他解释。

例如,CPU 告警本身只说明资源使用率高;CPU 高与 P95 延迟高在同一实例、同一时间窗口同时成立,才能将其标记为“可能影响业务”。但这依然是关联,不是严格的因果证明。要确认因果关系,还需要观察资源下降后业务是否同步恢复,或者在低风险环境进行复测。

阈值应采用分级和组合条件

以下是可用于初始调优的参考范围,实际值应根据业务基线调整:

指标组合观察条件示例告警含义
CPU + Load + P95CPU 超过 85% 持续 10 分钟,Load/vCPU 同时上升,P95 比基线高 50%计算或调度压力已可能影响请求
Available + Swap + FaultAvailable 低于 10%~15%,Swap 持续读写,Major Fault 增加内存压力较明确
util + await + I/O队列util 超过 85%,await 持续高于正常基线,队列连续增长存储等待可能导致请求积压
RTT + 重传 + 超时率某来源区域 RTT P95、TCP 重传和超时率同时上升网络路径或连接质量异常
连接数 + Backlog + 5xx连接数接近上限,Backlog 增长,5xx 或超时上升接入层或应用处理能力不足
P95/P99 + 错误率P99 超过业务目标,错误率同步上升用户影响已经明确,应提高告警级别

不建议把所有条件都写成单一告警。例如 CPU、I/O、网络和内存全部同时超过阈值才报警,可能导致任一指标单独发生真实故障时漏报。更合适的方式是保留“基础资源告警”和“业务影响告警”,再通过标签、时间窗口和通知分组进行关联。

Prometheus规则示例

下面是一个简化的 Prometheus 规则示例,用于表达“香港区域接口延迟”和“CPU与延迟同时异常”的关系。指标名称和标签取决于实际采集器,部署前需要按现有监控数据调整。

groups:
  - name: hk-server-performance
    rules:
      - alert: HongKongServiceLatencyHigh
        expr: |
          histogram_quantile(
            0.95,
            sum by (le, service, path) (
              rate(http_request_duration_seconds_bucket{region="hk"}[5m])
            )
          ) > 0.8
        for: 10m
        labels:
          severity: warning
          region: hk
          symptom: latency
        annotations:
          summary: "香港区域接口P95响应时间持续升高"
          description: "请同时检查CPU、运行队列、内存、磁盘等待和网络重传"

      - alert: HongKongCpuAndLatencyHigh
        expr: |
          (
            1 - avg by (instance) (
              rate(node_cpu_seconds_total{
                mode="idle",
                region="hk"
              }[5m])
            )
          ) > 0.85
          and on (instance)
          (
            histogram_quantile(
              0.95,
              sum by (le, instance) (
                rate(http_request_duration_seconds_bucket{
                  region="hk"
                }[5m])
              )
            ) > 0.8
          )
        for: 10m
        labels:
          severity: critical
          region: hk
          symptom: resource_and_latency
        annotations:
          summary: "CPU高使用率与接口延迟同时持续异常"
          description: "确认运行队列、进程热点和请求量是否同步上升"

and on (instance) 只是将两个时间序列按实例关联,不代表已经证明 CPU 一定导致延迟。若接口指标按 service 或 path 拆分,还应增加相应标签,避免不同服务之间被错误关联。

在通知层可以按 alertname、instance、service 和 region 分组。这样同一实例的 CPU、磁盘和延迟告警可以合并为一个事件,但不同实例或不同访问区域的问题仍然保持独立,避免一条告警压制整个集群的异常。

排除替代解释,再形成判断

多指标同时变化仍可能只是“共同出现”,不一定是因果关系。以下情况经常造成误判:

计划任务和发布事件

备份、日志压缩、数据库维护、镜像构建和定时同步都可能造成 CPU、磁盘或网络短时升高。应在监控图上标记发布和计划任务时间。如果资源尖峰每次都与批处理重合,但业务 P95没有明显变化,可以降低告警级别或调整任务时段。

流量增长而不是资源故障

请求量翻倍时,CPU、连接数、网络吞吐和队列一起上升是正常现象。此时应观察“单位请求资源消耗”:

  • 每个请求消耗的 CPU 是否增加;
  • 每个请求产生的磁盘写入是否增加;
  • 连接数是否与并发请求数量匹配;
  • 延迟是否随流量线性增长,还是出现突然拐点。

如果流量增加 100%,资源增加 80%,P95只小幅上升,说明系统仍有一定余量;如果流量只增加 10%,队列却增长数倍,则更应关注锁竞争、连接池或单点资源。

单一区域网络异常

当只有某个来源区域的 RTT 和超时率升高,而香港服务器本地资源、其他来源区域均正常,应优先进行多点对比。不能根据单个探针或单个用户的访问结果,直接判定服务器整体性能下降。

监控采集本身异常

采集器停顿、时间同步错误、标签变更和数据缺失,也会制造“指标突然下降”或“告警突然恢复”的假象。检查时要确认:

  • 指标是否持续有样本;
  • 采集时间戳是否正常;
  • 实例标签是否发生变化;
  • 监控服务器自身是否出现负载或网络异常;
  • 是业务没有请求,还是业务指标没有被采集。

形成判断后必须复测

性能判断至少应经过一次恢复验证。推荐按照以下顺序执行:

  1. 保留故障前后数据:至少保存故障前 15 分钟、异常期间和恢复后 15 分钟的图表。
  2. 标记外部事件:记录发布、扩容、备份、流量变化和配置变更时间。
  3. 确认主指标:先看 P95/P99、错误率、超时率和请求量,确认是否存在实际业务影响。
  4. 确认资源链路:按 CPU、内存、I/O、网络、连接和队列顺序检查相邻时间段。
  5. 进行低风险复测:优先使用测试环境、单接口或小流量验证,避免直接对生产服务器施加压力。
  6. 观察恢复关系:资源下降后,业务延迟和错误率是否在相近时间恢复。
  7. 调整告警规则:对误报增加持续时间、基线条件或关联指标;对漏报缩短检测窗口或增加业务层指标。

如果清理临时文件后磁盘空间恢复,但接口延迟没有改善,就不能把空间不足作为唯一根因。如果降低并发后 CPU 和延迟同时恢复,但重试率仍然偏高,还需要继续检查网络和应用重试逻辑。

下一次应同时观察哪些指标组合

可以把下面的组合固化到监控面板或故障处理清单中:

现象首先联动观察需要排除的替代解释
P95、P99突然升高请求量、CPU、运行队列、磁盘await、连接池发布、下游接口、缓存失效
5xx和超时率上升应用线程池、连接数、Backlog、TCP重传单接口代码异常、依赖服务故障
CPU持续高Load/vCPU、单核使用率、上下文切换、请求量批处理、日志压缩、CPU Steal
内存占用升高Available、Swap、Major Fault、进程RSS文件缓存、采集器标签变化
磁盘util升高await、队列深度、IOPS、同步写入、空间备份、数据库批量写入、日志切割
香港区域访问变慢RTT P95、丢包、重传、来源区域拆分单一运营商路径、探针异常
请求排队增加线程池、连接池、队列长度、CPU和I/O流量突增、下游响应变慢

当下一次出现告警时,不要只问“哪个指标超阈值”,而应同时问:它何时开始变化、哪个指标先变化、业务指标是否同步恶化、其他访问区域是否一致,以及资源恢复后服务是否复原。通过这种时间关联和多指标交叉验证,才能把香港服务器的性能监控从单点报警,转化为可复核的故障判断。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/4448.html

相关推荐