服务器告警配置如何设置阈值与持续时间,减少瞬时波动误报
服务器告警阈值不能只设置成“超过某个百分比就报警”。更可靠的做法是把告警条件拆成四部分:监控什么指标、超过或低于什么阈值、持续多长时间、恢复时采用什么条件。这样既能过滤单次采集抖动,也能避免把持续恶化的故障前兆当成普通波动忽略。
实际配置时,先判断指标是否真的代表业务风险,再决定持续时间。CPU 短暂达到 95% 可能只是任务启动,磁盘可用空间下降到 10% 则可能意味着几个小时后写满;两者不能使用同一套“超过 5 分钟才报警”的规则。阈值负责判断严重程度,持续时间负责判断是否具有连续性,二者需要结合采集间隔、业务影响和历史基线一起设置。
在服务器资源与业务负载并存的场景中,A5数据提供中国香港、美国、日本、韩国、中国台湾、新加坡、马来西亚等地区的物理服务器,覆盖常规建站、数据库、接口服务、多任务计算、存储归档及GPU计算等需求。不同产品系列提供多种CPU、内存、NVMe或大容量硬盘、带宽线路和多IP资源,为主机资源、磁盘增长、网络利用率及业务可用性等指标建立清晰的运行基础,便于配合分层告警策略开展运维管理。
先明确告警条件由哪些部分组成
一条可执行的告警规则,通常至少包含以下要素:
| 要素 | 需要回答的问题 | 常见配置方式 |
|---|---|---|
| 指标 | 监控的是资源、服务还是业务结果 | CPU 使用率、内存可用率、磁盘延迟、HTTP 5xx 比例 |
| 聚合范围 | 按主机、实例、集群还是服务判断 | 单实例、同一服务平均值、集群最大值 |
| 阈值 | 达到什么数值才进入异常状态 | 大于 85%、小于 10%、超过基线 2 倍 |
| 持续时间 | 条件保持多久才通知 | 1 分钟、5 分钟、10 分钟 |
| 恢复条件 | 什么时候解除告警 | 低于 70%、连续正常 5 分钟 |
| 无数据行为 | 采集失败时如何处理 | 单独触发采集异常,不与业务指标混淆 |
| 通知策略 | 谁接收、是否合并、是否抑制 | 按服务分组、依赖关系抑制、维护窗口静默 |
其中,“持续时间”不是简单地把告警延迟几分钟。以 Prometheus 的 for 为例,它表示表达式在连续评估期间保持为真,告警才从 pending 状态进入 firing 状态。它不会替代采样,也不会自动计算平均值。
持续时间要结合采集和评估间隔
如果采集间隔为 15 秒、规则评估间隔为 30 秒,配置 for: 5m 时,通常需要连续约 10 次评估都满足条件。若采集间隔为 60 秒,同样的 5 分钟只对应约 5 个采样点,遇到采集延迟或单点缺失时,判断可靠性会下降。
可以用下面的方式估算有效观测次数:
有效观测次数约等于持续时间 ÷ 采集间隔
但实际进入告警状态还会受到规则评估间隔、数据延迟和时间对齐影响,因此不应把它理解成严格的固定次数。
一般建议:
- 瞬时波动较多的资源指标,持续时间至少覆盖 3~5 个有效采样点。
- 对用户可感知的错误率、服务不可用等指标,持续时间可以缩短到 1~3 个评估周期。
- 对磁盘容量、证书到期、备份延迟等慢变化指标,应根据增长速度设置时间,不要机械套用 5 分钟。
- 采集间隔本身不稳定时,先处理监控链路问题,否则调长告警持续时间只是掩盖数据质量问题。
高频指标的阈值判断
CPU:不能只看使用率
CPU 使用率达到 90%,并不一定意味着业务已经故障。批处理、压缩、镜像构建和数据扫描都可能短时间消耗大量 CPU。判断 CPU 是否需要告警,至少要同时观察:
- 用户态和系统态 CPU 是否持续升高;
iowait是否占比较高;- load average 是否超过可用 CPU 核数;
- 运行队列是否持续增长;
- 接口延迟、请求排队和错误率是否同步恶化;
- 是否存在 CPU steal,尤其是在虚拟化环境中。
可以把 CPU 告警设计成分级规则:
- 提示级:CPU 使用率高于 80%~85%,持续 10 分钟,用于观察容量压力。
- 严重级:CPU 使用率高于 90%~95%,持续 5 分钟,并且接口延迟或运行队列同步异常。
- 紧急级:服务线程无法调度、健康检查失败或请求大量超时,不必等待 CPU 达到固定百分比。
如果一台 16 核服务器的 load average 长期为 12,未必比一台 2 核服务器 load average 为 3 更危险。load 应结合 CPU 核数和任务类型判断,而不是直接比较绝对数值。
Linux 环境可以使用以下只读命令进行现场核验:
nproc
uptime
vmstat 1 5
vmstat 中的运行队列、阻塞进程、系统态 CPU 和 I/O 等待时间,能够帮助区分“CPU 真忙”和“进程在等待磁盘或其他资源”。
内存:优先看可用内存和回收压力
Linux 的 free 内存可能被文件缓存占用,这部分通常可以回收。因此,使用“free 内存低于 10%”作为告警条件,容易产生误判。更适合观察的是 MemAvailable、swap 活动和内存压力。
一个可作为初始参考的分级方式是:
- 可用内存低于总内存 15%,持续 10 分钟:提示资源趋紧。
- 可用内存低于总内存 10%,持续 5 分钟:严重告警。
- swap 持续换入换出、内核内存回收压力上升、进程频繁被杀:即使可用内存尚未达到阈值,也应提高等级。
核验时可执行:
free -h
vmstat 1 5
cat /proc/pressure/memory
如果系统启用了容器限制,还要区分主机内存和容器 cgroup 内存。主机还有大量可用内存,并不代表某个容器没有达到自己的内存上限。监控对象不同,阈值也应分别设置。
磁盘空间:按增长速度设置持续时间
磁盘容量告警常见的问题是阈值设得过低,直到系统已经无法写入日志才通知;或者对所有挂载点使用相同阈值,导致临时目录、备份目录和系统根分区产生大量无意义告警。
可将以下数值作为起始参考:
| 对象 | 提示级参考 | 严重级参考 | 持续时间建议 |
|---|---|---|---|
| 文件系统可用空间 | 低于 20% | 低于 10% | 15 分钟至 1 小时 |
| inode 可用比例 | 低于 15% | 低于 5% | 15 分钟 |
| 日志目录增长 | 预计 3 天内写满 | 预计 24 小时内写满 | 根据增长趋势计算 |
| 磁盘读写延迟 | 高于历史基线 2 倍 | 超过业务 SLO | 5~10 分钟 |
空间阈值只是静态判断,真正重要的是“按当前增长速度还能使用多久”。例如一个文件系统还有 50 GB 可用空间,但每天增长 30 GB,剩余时间不足两天,就不应等到 10% 才告警。
容量、inode 和性能也要分开监控:
df -h
df -i
iostat -xz 1 5
如果 df -h 正常而 df -i 接近耗尽,通常是大量小文件导致;如果容量和 inode 都正常,但 await 或设备利用率持续升高,则更可能是磁盘性能瓶颈。三类问题需要不同的处理路径,不能使用同一条告警说明。
网络和接口:使用比例、速率和业务结果
网络吞吐量达到网卡上限,是否异常取决于带宽规格和业务模式。相比固定设置“流量超过 1 Gbps 就报警”,更适合使用链路利用率、丢包率、错误包比例和业务请求结果。
接口监控通常关注:
- HTTP 5xx 比例;
- 请求超时比例;
- p95、p99 延迟;
- 健康检查失败;
- TCP 重传、连接失败;
- 网络接口错误包和丢包;
- 请求量是否达到最低统计样本数。
例如,5 分钟内 1 个请求失败,在只有 2 个请求的服务上可能显示为 50% 错误率,但没有足够统计意义。因此错误率告警最好增加最小请求量条件,例如“5xx 比例超过 5%,且 5 分钟内请求数超过 1000 次”。
对外服务不可用通常不能设置过长的持续时间。可以采用多探针或多可用区确认,避免单个探测点的网络抖动造成误报;但确认通过后,仍应在 1~2 个评估周期内通知,而不是等待 10 分钟。
从现象到阈值的核验步骤
第一步:确认指标含义和统计口径
先确认采集到的指标到底表示什么,尤其要检查以下问题:
- 是瞬时值、平均值、最大值还是累计计数器;
- 百分比的分母是什么;
- 统计的是单台主机、实例集合还是整个服务;
- 是否混入了临时挂载点、测试实例或已下线实例;
- 指标是否存在单位差异,例如字节与比特、秒与毫秒;
- 数据是否有重复标签、延迟上报或时间戳异常。
对累计计数器,通常应使用一段时间内的增长速率,而不是直接对原始值设置阈值。比如网络错误包和 HTTP 请求总数应转换为速率或比例,否则服务运行时间越长,数值越大,告警会失去意义。
第二步:查看历史分布,而不是只看一次峰值
阈值设置至少需要观察一个完整业务周期。在线服务通常应覆盖工作日、周末、发布窗口和定时任务;如果业务存在月末或季末高峰,则还要纳入这些时段。
重点关注:
- 正常时段的中位数和 p95;
- 峰值持续时间;
- 业务发布、备份、批处理的固定时间;
- 指标与请求量、延迟、错误率之间的相关性;
- 相同指标在不同实例之间的差异。
如果一个指标平时为 40%~55%,每天定时任务期间会升到 88% 并持续 8 分钟,那么“高于 80% 立即告警”大概率会形成固定噪声。更合理的做法可能是:
- 将阈值提高到 90%,持续 10 分钟;
- 对定时任务窗口进行维护抑制;
- 或增加请求延迟、队列长度等业务条件;
- 同时为定时任务本身设置独立的失败告警。
第三步:按故障类型选择持续时间
不同故障的持续时间应有明显差异:
| 故障类型 | 是否适合延迟 | 常用判断思路 |
|---|---|---|
| CPU、内存瞬时抖动 | 适合 | 连续 5~10 分钟再通知 |
| 磁盘容量增长 | 适合 | 结合剩余时间和增长速度 |
| 服务进程退出 | 不适合过度延迟 | 1~2 个评估周期确认 |
| 健康检查失败 | 适度延迟 | 多次探测或多个探针确认 |
| HTTP 5xx 激增 | 延迟较短 | 1~5 分钟结合最小请求量 |
| 证书即将到期 | 不应只依赖持续时间 | 按剩余天数提前通知 |
| 备份任务未完成 | 按任务窗口 | 超过截止时间后告警 |
对于突发且影响明确的故障,持续时间不是越长越好。进程退出、关键端口不可访问、主从复制中断等情况,如果等待 10 分钟,可能已经错过故障处置窗口。
用复合条件减少告警噪声
分离“资源紧张”和“业务受影响”
资源指标适合用于发现趋势,业务指标适合用于确认影响。可以把两者分为不同级别:
- 资源指标超过阈值:触发观察或容量告警。
- 资源指标超过阈值,并且业务延迟、错误率或队列长度同步异常:升级为严重告警。
- 业务不可用:即使资源指标未达到阈值,也应直接通知。
这样可以避免单台机器因为后台任务导致 CPU 偏高,却被当成线上故障;同时也不会因为 CPU 看起来正常,就忽略应用线程阻塞、连接池耗尽等问题。
使用迟滞避免反复恢复和触发
当指标在阈值附近上下摆动时,告警可能频繁触发、恢复、再次触发。支持恢复阈值的监控系统,可以采用不同的触发和恢复条件:

- CPU 超过 85% 持续 10 分钟触发;
- CPU 低于 70% 持续 10 分钟恢复。
如果触发和恢复都使用 85%,指标在 84%~86%之间波动时,通知会产生抖动。对于不支持独立恢复阈值的系统,可以通过记录状态、延长恢复观察时间或调整通知重复策略实现类似效果,不要简单复制同一条阈值规则。
区分无数据、采集失败和业务失败
“没有指标”不等于“指标为 0”,也不等于“服务正常”。常见情况包括:
- 服务器宕机,监控目标完全消失;
- exporter 进程退出,但业务进程仍在运行;
- 监控网络不通;
- 查询条件写错,导致时序被过滤;
- 业务确实没有请求,因此错误率没有样本。
建议将目标存活、采集器存活和业务健康拆成三类告警。对于错误率,还应设置最小请求量,避免无流量服务因分母接近零而产生异常百分比。
一个可调整的 Prometheus 配置示例
下面示例展示的是阈值与持续时间的写法,指标名称和标签需要根据实际 exporter、服务发现和挂载点进行调整。数值属于起始参考,不应直接作为所有环境的生产标准。
groups:
- name: server-threshold-example
interval: 30s
rules:
- alert: HostCpuSustainedHigh
expr: |
100 * (
1 - avg by (instance) (
rate(node_cpu_seconds_total{mode="idle"}[5m])
)
) > 85
for: 10m
labels:
severity: warning
annotations:
summary: "主机 CPU 持续偏高"
description: "实例 {{ $labels.instance }} 的 CPU 使用率已超过 85%,持续时间达到 10 分钟。"
- alert: HostMemoryAvailableLow
expr: |
100 * node_memory_MemAvailable_bytes
/ node_memory_MemTotal_bytes < 10
for: 5m
labels:
severity: critical
annotations:
summary: "主机可用内存过低"
description: "实例 {{ $labels.instance }} 的可用内存低于 10%,持续时间达到 5 分钟。"
- alert: HostFilesystemAvailableLow
expr: |
100 * node_filesystem_avail_bytes{
fstype!~"tmpfs|overlay"
}
/ node_filesystem_size_bytes{
fstype!~"tmpfs|overlay"
} < 10
for: 15m
labels:
severity: critical
annotations:
summary: "文件系统可用空间过低"
description: "实例 {{ $labels.instance }} 的挂载点 {{ $labels.mountpoint }} 可用空间低于 10%。"
- alert: NodeExporterUnavailable
expr: up{job="node-exporter"} == 0
for: 2m
labels:
severity: critical
annotations:
summary: "主机监控采集器不可用"
description: "实例 {{ $labels.instance }} 的 node-exporter 连续 2 分钟不可访问。"
使用这类规则时,要特别检查以下细节:
node_cpu_seconds_total是累计计数器,必须通过rate()转换为时间窗口内的变化率。- 内存规则使用
MemAvailable,不要把MemFree直接当成可用内存。 - 文件系统规则应排除不需要关注的临时挂载点,并确认不同文件系统的标签能够正确匹配。
up == 0只能发现目标仍在服务发现列表中但采集失败的情况;如果目标已经从服务发现中消失,还需要检查发现链路或使用独立探测。- 调整
for后,应在测试环境或规则评估页面确认 pending、firing 和恢复状态是否符合预期。
例外情况不能用统一阈值处理
自动扩缩容环境
在自动扩缩容集群中,单台实例 CPU 达到 85%可能是正常的扩容信号。此时应增加服务级别的指标,例如:
- 所有实例的总 CPU 使用率;
- 集群剩余容量;
- 请求队列长度;
- 扩容后请求是否仍持续排队;
- 新实例启动是否超过预期时间。
单机告警仍可以保留,但严重级别应与服务级告警区分,避免每次扩容都产生同等级通知。
低流量或夜间服务
低流量服务的百分比指标容易失真。夜间只有少量请求时,一个错误就可能让错误率达到 100%。可以增加最小样本量、采用错误数阈值,或对高峰期和低峰期使用不同策略。
定时任务和备份任务
备份、压缩、日志归档可能使 CPU、磁盘吞吐和网络流量周期性升高。不要简单地把这些时间段全部静默,否则任务失败也可能被压制。更合理的是:
- 为任务运行窗口配置低优先级资源告警;
- 保留任务失败、超时和产物缺失告警;
- 任务结束后增加资源恢复检查;
- 对备份目标磁盘单独设置容量和写入失败告警。
单点故障和大范围故障
当主机完全不可达时,CPU、内存和磁盘告警通常不会提供有效信息。应优先处理主机存活、网络可达性和服务入口告警,并通过依赖关系抑制下游重复通知。例如数据库主节点不可达时,大量依赖数据库的应用连接失败告警可以合并为一个故障组,但不能抑制独立的数据库存活告警。
上线前的实践建议
告警规则上线前,可以按以下顺序复核:
- 确认指标单位、标签和聚合范围,避免把字节、比特、毫秒和秒混用。
- 回看至少一个完整业务周期,标记发布、备份、批处理和扩缩容时间。
- 为提示级和严重级分别设置阈值,不要只设置一条“超过即报警”。
- 根据采集间隔计算持续时间,确认能够过滤瞬时抖动,同时不会延误真实故障。
- 为高频告警配置分组、去重和依赖抑制,避免同一事件向多个渠道重复发送。
- 单独设计无数据、采集器故障和业务失败的处理方式。
- 在测试环境制造短时峰值、持续峰值、数据中断和恢复抖动,观察告警状态变化。
- 在告警说明中写清实例、指标、当前值、阈值、持续时间、影响范围和处理入口。
- 上线后统计告警数量、重复触发次数、人工确认结果和误报原因,每次只调整一个主要变量。
最容易遗漏的是恢复逻辑和监控链路本身。只设置触发阈值而没有恢复阈值,容易造成反复通知;只监控业务指标而不监控采集器,可能把“没有数据”误认为“没有故障”;只设置主机级阈值而不看服务级结果,又可能在资源正常时漏掉真实的业务异常。完成配置后,务必用一次“短暂异常—持续异常—恢复—采集中断”的完整流程复核,确认每种状态都会在正确的时间触发、升级和解除。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5970.html

