服务器告警配置如何设置阈值与持续时间,减少瞬时波动误报

发布人:A5数据发布时间:2026-10-27 09:39阅读量:105

服务器告警阈值不能只设置成“超过某个百分比就报警”。更可靠的做法是把告警条件拆成四部分:监控什么指标、超过或低于什么阈值、持续多长时间、恢复时采用什么条件。这样既能过滤单次采集抖动,也能避免把持续恶化的故障前兆当成普通波动忽略。

实际配置时,先判断指标是否真的代表业务风险,再决定持续时间。CPU 短暂达到 95% 可能只是任务启动,磁盘可用空间下降到 10% 则可能意味着几个小时后写满;两者不能使用同一套“超过 5 分钟才报警”的规则。阈值负责判断严重程度,持续时间负责判断是否具有连续性,二者需要结合采集间隔、业务影响和历史基线一起设置。

在服务器资源与业务负载并存的场景中,A5数据提供中国香港、美国、日本、韩国、中国台湾、新加坡、马来西亚等地区的物理服务器,覆盖常规建站、数据库、接口服务、多任务计算、存储归档及GPU计算等需求。不同产品系列提供多种CPU、内存、NVMe或大容量硬盘、带宽线路和多IP资源,为主机资源、磁盘增长、网络利用率及业务可用性等指标建立清晰的运行基础,便于配合分层告警策略开展运维管理。

先明确告警条件由哪些部分组成

一条可执行的告警规则,通常至少包含以下要素:

要素需要回答的问题常见配置方式
指标监控的是资源、服务还是业务结果CPU 使用率、内存可用率、磁盘延迟、HTTP 5xx 比例
聚合范围按主机、实例、集群还是服务判断单实例、同一服务平均值、集群最大值
阈值达到什么数值才进入异常状态大于 85%、小于 10%、超过基线 2 倍
持续时间条件保持多久才通知1 分钟、5 分钟、10 分钟
恢复条件什么时候解除告警低于 70%、连续正常 5 分钟
无数据行为采集失败时如何处理单独触发采集异常,不与业务指标混淆
通知策略谁接收、是否合并、是否抑制按服务分组、依赖关系抑制、维护窗口静默

其中,“持续时间”不是简单地把告警延迟几分钟。以 Prometheus 的 for 为例,它表示表达式在连续评估期间保持为真,告警才从 pending 状态进入 firing 状态。它不会替代采样,也不会自动计算平均值。

持续时间要结合采集和评估间隔

如果采集间隔为 15 秒、规则评估间隔为 30 秒,配置 for: 5m 时,通常需要连续约 10 次评估都满足条件。若采集间隔为 60 秒,同样的 5 分钟只对应约 5 个采样点,遇到采集延迟或单点缺失时,判断可靠性会下降。

可以用下面的方式估算有效观测次数:

有效观测次数约等于持续时间 ÷ 采集间隔

但实际进入告警状态还会受到规则评估间隔、数据延迟和时间对齐影响,因此不应把它理解成严格的固定次数。

一般建议:

  • 瞬时波动较多的资源指标,持续时间至少覆盖 3~5 个有效采样点。
  • 对用户可感知的错误率、服务不可用等指标,持续时间可以缩短到 1~3 个评估周期。
  • 对磁盘容量、证书到期、备份延迟等慢变化指标,应根据增长速度设置时间,不要机械套用 5 分钟。
  • 采集间隔本身不稳定时,先处理监控链路问题,否则调长告警持续时间只是掩盖数据质量问题。

高频指标的阈值判断

CPU:不能只看使用率

CPU 使用率达到 90%,并不一定意味着业务已经故障。批处理、压缩、镜像构建和数据扫描都可能短时间消耗大量 CPU。判断 CPU 是否需要告警,至少要同时观察:

  • 用户态和系统态 CPU 是否持续升高;
  • iowait 是否占比较高;
  • load average 是否超过可用 CPU 核数;
  • 运行队列是否持续增长;
  • 接口延迟、请求排队和错误率是否同步恶化;
  • 是否存在 CPU steal,尤其是在虚拟化环境中。

可以把 CPU 告警设计成分级规则:

  • 提示级:CPU 使用率高于 80%~85%,持续 10 分钟,用于观察容量压力。
  • 严重级:CPU 使用率高于 90%~95%,持续 5 分钟,并且接口延迟或运行队列同步异常。
  • 紧急级:服务线程无法调度、健康检查失败或请求大量超时,不必等待 CPU 达到固定百分比。

如果一台 16 核服务器的 load average 长期为 12,未必比一台 2 核服务器 load average 为 3 更危险。load 应结合 CPU 核数和任务类型判断,而不是直接比较绝对数值。

Linux 环境可以使用以下只读命令进行现场核验:

nproc
uptime
vmstat 1 5

vmstat 中的运行队列、阻塞进程、系统态 CPU 和 I/O 等待时间,能够帮助区分“CPU 真忙”和“进程在等待磁盘或其他资源”。

内存:优先看可用内存和回收压力

Linux 的 free 内存可能被文件缓存占用,这部分通常可以回收。因此,使用“free 内存低于 10%”作为告警条件,容易产生误判。更适合观察的是 MemAvailable、swap 活动和内存压力。

一个可作为初始参考的分级方式是:

  • 可用内存低于总内存 15%,持续 10 分钟:提示资源趋紧。
  • 可用内存低于总内存 10%,持续 5 分钟:严重告警。
  • swap 持续换入换出、内核内存回收压力上升、进程频繁被杀:即使可用内存尚未达到阈值,也应提高等级。

核验时可执行:

free -h
vmstat 1 5
cat /proc/pressure/memory

如果系统启用了容器限制,还要区分主机内存和容器 cgroup 内存。主机还有大量可用内存,并不代表某个容器没有达到自己的内存上限。监控对象不同,阈值也应分别设置。

磁盘空间:按增长速度设置持续时间

磁盘容量告警常见的问题是阈值设得过低,直到系统已经无法写入日志才通知;或者对所有挂载点使用相同阈值,导致临时目录、备份目录和系统根分区产生大量无意义告警。

可将以下数值作为起始参考:

对象提示级参考严重级参考持续时间建议
文件系统可用空间低于 20%低于 10%15 分钟至 1 小时
inode 可用比例低于 15%低于 5%15 分钟
日志目录增长预计 3 天内写满预计 24 小时内写满根据增长趋势计算
磁盘读写延迟高于历史基线 2 倍超过业务 SLO5~10 分钟

空间阈值只是静态判断,真正重要的是“按当前增长速度还能使用多久”。例如一个文件系统还有 50 GB 可用空间,但每天增长 30 GB,剩余时间不足两天,就不应等到 10% 才告警。

容量、inode 和性能也要分开监控:

df -h
df -i
iostat -xz 1 5

如果 df -h 正常而 df -i 接近耗尽,通常是大量小文件导致;如果容量和 inode 都正常,但 await 或设备利用率持续升高,则更可能是磁盘性能瓶颈。三类问题需要不同的处理路径,不能使用同一条告警说明。

网络和接口:使用比例、速率和业务结果

网络吞吐量达到网卡上限,是否异常取决于带宽规格和业务模式。相比固定设置“流量超过 1 Gbps 就报警”,更适合使用链路利用率、丢包率、错误包比例和业务请求结果。

接口监控通常关注:

  • HTTP 5xx 比例;
  • 请求超时比例;
  • p95、p99 延迟;
  • 健康检查失败;
  • TCP 重传、连接失败;
  • 网络接口错误包和丢包;
  • 请求量是否达到最低统计样本数。

例如,5 分钟内 1 个请求失败,在只有 2 个请求的服务上可能显示为 50% 错误率,但没有足够统计意义。因此错误率告警最好增加最小请求量条件,例如“5xx 比例超过 5%,且 5 分钟内请求数超过 1000 次”。

对外服务不可用通常不能设置过长的持续时间。可以采用多探针或多可用区确认,避免单个探测点的网络抖动造成误报;但确认通过后,仍应在 1~2 个评估周期内通知,而不是等待 10 分钟。

从现象到阈值的核验步骤

第一步:确认指标含义和统计口径

先确认采集到的指标到底表示什么,尤其要检查以下问题:

  • 是瞬时值、平均值、最大值还是累计计数器;
  • 百分比的分母是什么;
  • 统计的是单台主机、实例集合还是整个服务;
  • 是否混入了临时挂载点、测试实例或已下线实例;
  • 指标是否存在单位差异,例如字节与比特、秒与毫秒;
  • 数据是否有重复标签、延迟上报或时间戳异常。

对累计计数器,通常应使用一段时间内的增长速率,而不是直接对原始值设置阈值。比如网络错误包和 HTTP 请求总数应转换为速率或比例,否则服务运行时间越长,数值越大,告警会失去意义。

第二步:查看历史分布,而不是只看一次峰值

阈值设置至少需要观察一个完整业务周期。在线服务通常应覆盖工作日、周末、发布窗口和定时任务;如果业务存在月末或季末高峰,则还要纳入这些时段。

重点关注:

  • 正常时段的中位数和 p95;
  • 峰值持续时间;
  • 业务发布、备份、批处理的固定时间;
  • 指标与请求量、延迟、错误率之间的相关性;
  • 相同指标在不同实例之间的差异。

如果一个指标平时为 40%~55%,每天定时任务期间会升到 88% 并持续 8 分钟,那么“高于 80% 立即告警”大概率会形成固定噪声。更合理的做法可能是:

  • 将阈值提高到 90%,持续 10 分钟;
  • 对定时任务窗口进行维护抑制;
  • 或增加请求延迟、队列长度等业务条件;
  • 同时为定时任务本身设置独立的失败告警。

第三步:按故障类型选择持续时间

不同故障的持续时间应有明显差异:

故障类型是否适合延迟常用判断思路
CPU、内存瞬时抖动适合连续 5~10 分钟再通知
磁盘容量增长适合结合剩余时间和增长速度
服务进程退出不适合过度延迟1~2 个评估周期确认
健康检查失败适度延迟多次探测或多个探针确认
HTTP 5xx 激增延迟较短1~5 分钟结合最小请求量
证书即将到期不应只依赖持续时间按剩余天数提前通知
备份任务未完成按任务窗口超过截止时间后告警

对于突发且影响明确的故障,持续时间不是越长越好。进程退出、关键端口不可访问、主从复制中断等情况,如果等待 10 分钟,可能已经错过故障处置窗口。

用复合条件减少告警噪声

分离“资源紧张”和“业务受影响”

资源指标适合用于发现趋势,业务指标适合用于确认影响。可以把两者分为不同级别:

  • 资源指标超过阈值:触发观察或容量告警。
  • 资源指标超过阈值,并且业务延迟、错误率或队列长度同步异常:升级为严重告警。
  • 业务不可用:即使资源指标未达到阈值,也应直接通知。

这样可以避免单台机器因为后台任务导致 CPU 偏高,却被当成线上故障;同时也不会因为 CPU 看起来正常,就忽略应用线程阻塞、连接池耗尽等问题。

使用迟滞避免反复恢复和触发

当指标在阈值附近上下摆动时,告警可能频繁触发、恢复、再次触发。支持恢复阈值的监控系统,可以采用不同的触发和恢复条件:

用复合条件减少告警噪声|使用迟滞避免反复恢复和触发配图

  • CPU 超过 85% 持续 10 分钟触发;
  • CPU 低于 70% 持续 10 分钟恢复。

如果触发和恢复都使用 85%,指标在 84%~86%之间波动时,通知会产生抖动。对于不支持独立恢复阈值的系统,可以通过记录状态、延长恢复观察时间或调整通知重复策略实现类似效果,不要简单复制同一条阈值规则。

区分无数据、采集失败和业务失败

“没有指标”不等于“指标为 0”,也不等于“服务正常”。常见情况包括:

  • 服务器宕机,监控目标完全消失;
  • exporter 进程退出,但业务进程仍在运行;
  • 监控网络不通;
  • 查询条件写错,导致时序被过滤;
  • 业务确实没有请求,因此错误率没有样本。

建议将目标存活、采集器存活和业务健康拆成三类告警。对于错误率,还应设置最小请求量,避免无流量服务因分母接近零而产生异常百分比。

一个可调整的 Prometheus 配置示例

下面示例展示的是阈值与持续时间的写法,指标名称和标签需要根据实际 exporter、服务发现和挂载点进行调整。数值属于起始参考,不应直接作为所有环境的生产标准。

groups:
  - name: server-threshold-example
    interval: 30s
    rules:
      - alert: HostCpuSustainedHigh
        expr: |
          100 * (
            1 - avg by (instance) (
              rate(node_cpu_seconds_total{mode="idle"}[5m])
            )
          ) > 85
        for: 10m
        labels:
          severity: warning
        annotations:
          summary: "主机 CPU 持续偏高"
          description: "实例 {{ $labels.instance }} 的 CPU 使用率已超过 85%,持续时间达到 10 分钟。"

      - alert: HostMemoryAvailableLow
        expr: |
          100 * node_memory_MemAvailable_bytes
          / node_memory_MemTotal_bytes < 10
        for: 5m
        labels:
          severity: critical
        annotations:
          summary: "主机可用内存过低"
          description: "实例 {{ $labels.instance }} 的可用内存低于 10%,持续时间达到 5 分钟。"

      - alert: HostFilesystemAvailableLow
        expr: |
          100 * node_filesystem_avail_bytes{
            fstype!~"tmpfs|overlay"
          }
          / node_filesystem_size_bytes{
            fstype!~"tmpfs|overlay"
          } < 10
        for: 15m
        labels:
          severity: critical
        annotations:
          summary: "文件系统可用空间过低"
          description: "实例 {{ $labels.instance }} 的挂载点 {{ $labels.mountpoint }} 可用空间低于 10%。"

      - alert: NodeExporterUnavailable
        expr: up{job="node-exporter"} == 0
        for: 2m
        labels:
          severity: critical
        annotations:
          summary: "主机监控采集器不可用"
          description: "实例 {{ $labels.instance }} 的 node-exporter 连续 2 分钟不可访问。"

使用这类规则时,要特别检查以下细节:

  1. node_cpu_seconds_total 是累计计数器,必须通过 rate() 转换为时间窗口内的变化率。
  2. 内存规则使用 MemAvailable,不要把 MemFree 直接当成可用内存。
  3. 文件系统规则应排除不需要关注的临时挂载点,并确认不同文件系统的标签能够正确匹配。
  4. up == 0 只能发现目标仍在服务发现列表中但采集失败的情况;如果目标已经从服务发现中消失,还需要检查发现链路或使用独立探测。
  5. 调整 for 后,应在测试环境或规则评估页面确认 pending、firing 和恢复状态是否符合预期。

例外情况不能用统一阈值处理

自动扩缩容环境

在自动扩缩容集群中,单台实例 CPU 达到 85%可能是正常的扩容信号。此时应增加服务级别的指标,例如:

  • 所有实例的总 CPU 使用率;
  • 集群剩余容量;
  • 请求队列长度;
  • 扩容后请求是否仍持续排队;
  • 新实例启动是否超过预期时间。

单机告警仍可以保留,但严重级别应与服务级告警区分,避免每次扩容都产生同等级通知。

低流量或夜间服务

低流量服务的百分比指标容易失真。夜间只有少量请求时,一个错误就可能让错误率达到 100%。可以增加最小样本量、采用错误数阈值,或对高峰期和低峰期使用不同策略。

定时任务和备份任务

备份、压缩、日志归档可能使 CPU、磁盘吞吐和网络流量周期性升高。不要简单地把这些时间段全部静默,否则任务失败也可能被压制。更合理的是:

  • 为任务运行窗口配置低优先级资源告警;
  • 保留任务失败、超时和产物缺失告警;
  • 任务结束后增加资源恢复检查;
  • 对备份目标磁盘单独设置容量和写入失败告警。

单点故障和大范围故障

当主机完全不可达时,CPU、内存和磁盘告警通常不会提供有效信息。应优先处理主机存活、网络可达性和服务入口告警,并通过依赖关系抑制下游重复通知。例如数据库主节点不可达时,大量依赖数据库的应用连接失败告警可以合并为一个故障组,但不能抑制独立的数据库存活告警。

上线前的实践建议

告警规则上线前,可以按以下顺序复核:

  1. 确认指标单位、标签和聚合范围,避免把字节、比特、毫秒和秒混用。
  2. 回看至少一个完整业务周期,标记发布、备份、批处理和扩缩容时间。
  3. 为提示级和严重级分别设置阈值,不要只设置一条“超过即报警”。
  4. 根据采集间隔计算持续时间,确认能够过滤瞬时抖动,同时不会延误真实故障。
  5. 为高频告警配置分组、去重和依赖抑制,避免同一事件向多个渠道重复发送。
  6. 单独设计无数据、采集器故障和业务失败的处理方式。
  7. 在测试环境制造短时峰值、持续峰值、数据中断和恢复抖动,观察告警状态变化。
  8. 在告警说明中写清实例、指标、当前值、阈值、持续时间、影响范围和处理入口。
  9. 上线后统计告警数量、重复触发次数、人工确认结果和误报原因,每次只调整一个主要变量。

最容易遗漏的是恢复逻辑和监控链路本身。只设置触发阈值而没有恢复阈值,容易造成反复通知;只监控业务指标而不监控采集器,可能把“没有数据”误认为“没有故障”;只设置主机级阈值而不看服务级结果,又可能在资源正常时漏掉真实的业务异常。完成配置后,务必用一次“短暂异常—持续异常—恢复—采集中断”的完整流程复核,确认每种状态都会在正确的时间触发、升级和解除。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5970.html

相关推荐