服务器告警配置如何围绕CPU、内存和磁盘设置有效阈值
服务器告警配置验收时,阈值不能只写成“CPU超过80%、内存低于20%、磁盘使用率超过90%”。有效的配置应当同时说明监控对象、持续时间、触发等级、关联指标和恢复条件,能够区分短时波动、资源争用与即将影响业务的故障前兆。
交付验收可先采用一组便于落地的起始值:CPU持续使用率85%作为观察或告警线、95%作为高危线;内存以Available或可用内存比例为准,低于20%观察、低于10%高危;磁盘同时检查容量、inode、延迟、队列和I/O错误。具体数值还要结合业务基线、硬件类型和峰值时段复核,不能把单一百分比直接套用于所有服务器。
围绕CPU、内存和磁盘告警的资源管理场景,A5数据提供中国香港、美国、日本、韩国、中国台湾、新加坡及马来西亚等地的物理服务器租用,覆盖Xeon Gold、AMD EPYC、SSD/NVMe、大内存与大容量HDD等配置。不同地区的线路、带宽和多IP资源可对应网站、数据库、容器及多任务计算部署,为阈值设置和持续监控提供与实际业务负载相匹配的硬件基础。
先确认阈值的验收口径
在验收告警规则前,先核对四个问题:监控的指标是否真正代表风险,阈值是否有持续时间,告警是否能定位对象,恢复后是否会自动关闭或降级。缺少其中任意一项,告警都可能出现“看到了但无法判断”或“不断响却没有行动价值”的问题。
| 关键对象 | 起始参考阈值 | 持续时间参考 | 需要同时核对的指标 |
|---|---|---|---|
| CPU使用率 | 85%观察,95%高危 | 5至10分钟 | 负载、运行队列、iowait、steal、业务延迟 |
| 内存可用比例 | 低于20%观察,低于10%高危 | 5至10分钟 | 内存压力、Swap活动、OOM事件 |
| 文件系统容量 | 剩余低于20%观察,低于10%高危 | 5至15分钟 | inode、增长速度、挂载点用途 |
| 磁盘性能 | 延迟或队列持续高于基线 | 3至10分钟 | util、读写吞吐、I/O错误、业务响应 |
| 资源采集状态 | 采集断开或目标无数据 | 1至3个采集周期 | 主机存活、网络、监控代理状态 |
这张表只能作为交付初始值。交易、数据库、实时计算等低延迟业务,磁盘延迟和内存压力的阈值通常要比普通Web应用更严格;批处理、日志归档等业务则可能允许更长时间的CPU高占用。
验收时还要确认监控系统使用的时间窗口。例如“CPU超过85%”若只看单次采样,可能被瞬时任务触发;使用5分钟平均值并要求连续10分钟,则更接近持续资源紧张。对尖峰敏感的业务,可以增加1分钟快速告警,但不应使用快速告警替代持续窗口。
CPU:核对使用率,更要核对争用来源
1. 核对CPU使用率的计算方式
Linux服务器通常以非空闲CPU比例表示使用率,Windows则常见为Processor Time。验收时需要确认:
- 是否按实例汇总,而不是只采集某一个CPU核心。
- 是否区分用户态、内核态、
iowait和steal。 - 多核服务器是否存在单核打满而总使用率不高的情况。
- 虚拟机是否采集了宿主机争用造成的
steal时间。 - 监控窗口是瞬时值、1分钟平均值还是5分钟平均值。
例如,一台16核服务器只有一个核心持续100%,总体CPU使用率可能只有约6%,但单线程应用已经出现排队。此时仅设置“总CPU超过85%”会漏报,应增加单核异常、运行队列或业务延迟指标。

2. 核对CPU阈值与业务基线
普通Web服务可以把CPU持续使用率85%作为预警线,95%作为高危线。高危线建议持续3至5分钟后触发,而预警线可持续10分钟,以减少短时编译、压缩、发布任务产生的噪声。
CPU高占用不一定代表需要扩容,至少要结合以下情况判断:
- 用户态和系统态同时上升:可能是应用计算量增加、加密压缩、进程数量增加或内核处理变多。
iowait较高:CPU可能在等待磁盘,不应直接判断为CPU计算能力不足。steal持续超过10%:虚拟机可能受到宿主机或同一物理节点其他租户的CPU争用。若超过20%并伴随业务延迟,应优先检查实例所在宿主资源或迁移条件。- 运行队列持续增长:说明可运行任务无法及时获得CPU,比单纯使用率更能体现排队。
- 负载值持续高于可用CPU数量:表示任务排队或处于不可中断等待。负载值高而CPU使用率不高时,重点检查磁盘和网络I/O。
因此,CPU高危告警最好分成“计算饱和”和“资源争用”两类,而不是所有情况都使用同一个名称。比如:
CPU计算使用率高:CPU非空闲比例超过95%,持续5分钟。CPU等待时间高:iowait超过15%,同时磁盘延迟或队列升高,持续5分钟。虚拟化CPU争用:steal超过10%至20%,持续5分钟。
这里的15%、10%和20%属于常见起始参考值,最终应以业务在正常峰值时的基线为准。
3. 核对CPU告警是否能定位原因
CPU告警至少应带上环境、实例、业务服务和采集时间窗口。只有“主机CPU高”的通知,无法判断是应用进程、定时任务、磁盘等待还是虚拟化争用。
验收时可以要求告警内容能够回答:
- 哪台服务器或哪个实例异常?
- 是总CPU高、单核高、
iowait高还是steal高? - 已经持续多久?
- 同期业务延迟、请求量或错误率是否变化?
- 是否处于发布、备份、批处理等已知任务窗口?
如果CPU高但业务指标正常,可以先作为预警;如果CPU高同时请求延迟、错误率和运行队列上升,则应升级为需要立即处理的告警。
内存:使用可回收口径,重点识别压力和Swap
1. 核对内存指标是否使用Available
Linux系统中,free内存较低并不一定代表内存不足,因为文件缓存可以在需要时回收。验收时应优先使用MemAvailable与总内存的比例,而不是直接使用MemFree。
建议的起始判断方式是:
- 可用内存低于20%,持续10分钟:预警。
- 可用内存低于10%,持续5分钟:高危。
- 可用内存持续下降,且没有回升迹象:增加趋势告警。
- 出现OOM Killer事件:立即告警,不等待内存比例达到固定阈值。
Windows环境可使用Available MBytes、Committed Bytes及提交上限等指标,不能把Linux的MemAvailable名称直接复制到Windows规则中。不同操作系统的内存统计口径必须分别验收。
2. 核对Swap不能只看“已使用容量”
Swap已经使用多少,不足以判断当前是否正在发生内存压力。系统可能长期保留少量Swap页面,但业务运行正常;也可能Swap使用量不高,却因为内存回收和换入换出导致响应明显变慢。
应同时检查:
- Swap换入、换出速率是否持续增加。
- 内存压力指标中的
some和full是否出现持续等待。 - 主要进程的工作集是否持续增长。
- 页面回收、直接回收和OOM事件是否发生。
- 数据库、缓存或虚拟机是否设置了自身内存上限。
对普通应用,持续出现Swap换入换出可以作为预警;对低延迟数据库或缓存服务,只要发生明显的Swap活动,就可能需要立即处理。换入换出阈值应按业务正常基线设置,例如持续数分钟出现明显流量,而不是只因Swap总量非零就告警。
3. 核对内存告警与进程归因
内存不足的处理方向取决于消耗者。如果告警只显示主机剩余内存,运维人员还需要登录服务器查找进程,延误判断。交付时应尽量关联进程级数据或容器级限制,至少保留以下维度:
- 实例、主机组和业务服务。
- 进程或容器名称。
- 当前工作集、RSS或容器内存使用量。
- 内存限制与使用比例。
- OOM事件时间和被终止进程。
容器环境还要区分节点内存不足与容器自身达到限制。节点可用内存正常,但某个容器触及cgroup上限,同样会发生容器级OOM;反过来,多个容器共同挤压节点内存时,只看单个容器比例也可能漏掉整体风险。

磁盘:容量、文件数量和I/O性能必须分开验收
1. 核对文件系统容量与增长速度
磁盘空间告警应以挂载点为对象,而不是只看整块磁盘。/var、数据库目录、日志目录和业务数据目录的风险不同,剩余空间阈值也应分别设置。
常见起始值如下:
- 文件系统剩余空间低于20%:预警。
- 剩余空间低于10%:高危。
- 数据库、日志或临时目录的剩余空间低于固定容量:可增加绝对值告警。
- 根据近24小时或7天增长速度估算预计耗尽时间:作为提前告警。
百分比和绝对容量应组合使用。例如一个容量为2 TB的归档盘剩余10%仍有约200 GB,可能暂时没有风险;一个容量为50 GB的系统盘剩余10%只有约5 GB,日志增长很快时可能在短期内耗尽。

估算剩余时间时,要明确单位口径。若一天增长120 GB,当前可用空间为240 GB,则按当前增长速度约可支撑2天。这个结果只是趋势参考,需要在发布、备份和日志轮转等特殊时段重新复核。
2. 核对inode或文件数量
文件系统空间未满,也可能因为inode耗尽而无法创建新文件。日志切分、邮件队列、缓存文件和小文件仓库尤其容易出现这种情况。
建议增加独立规则:
- inode剩余低于15%:预警。
- inode剩余低于5%:高危。
- inode使用率快速增长:提前检查小文件产生速度。
inode告警必须带上挂载点,不能与容量告警共用一个“磁盘空间不足”的名称,否则处理人员无法判断是大文件增长还是小文件数量过多。
3. 核对磁盘延迟、利用率和队列
磁盘容量正常,并不表示磁盘性能正常。需要分别采集设备级和业务级指标:
- I/O等待延迟,例如读写请求的平均或高分位延迟。
- 设备利用率
util。 - I/O队列长度。
- 读写吞吐、IOPS和请求大小。
- 读写错误、超时和重试。
- 数据库或应用自身报告的存储延迟。
普通SSD环境可以把持续20毫秒以上的设备延迟作为初始观察线;高性能NVMe、数据库或低延迟服务通常需要更低的基线。机械盘、云盘和网络存储的正常延迟差异较大,不能直接使用同一数值。
util接近100%说明设备长期忙碌,但不能单独说明业务已经受影响;小请求、高并发或设备队列增长时,即使吞吐量不高,也可能出现明显延迟。因此,磁盘性能高危告警最好要求“延迟超过基线且队列持续增长”或“延迟升高且业务响应变慢”同时满足。
读写错误、设备掉线、文件系统只读等事件属于即时告警,不应等待容量或延迟阈值触发。此类异常可能造成数据写入失败,处理优先级通常高于普通空间预警。
用多级规则减少噪声
1. 将告警分为预警、处理和即时故障
同一指标可以设置不同等级,但每个等级都要对应明确动作:
- 预警:资源接近风险区,安排检查趋势或在工作时段处理。
- 高危:资源持续紧张,可能影响业务,需要尽快介入。
- 即时故障:OOM、磁盘I/O错误、文件系统只读、采集目标失联等,应立即通知值班人员。
不要把所有超过阈值的事件都发送到电话或即时通讯高优先级频道。否则短时CPU尖峰、临时日志增长会和真正的存储故障混在一起,长期容易造成告警疲劳。
2. 使用持续时间、趋势和组合条件
有效的告警通常不只依赖一次采样:
- CPU高使用率要求持续5至10分钟。
- 内存可用比例下降要求持续5至10分钟,并结合Swap或压力指标。
- 磁盘容量既看当前剩余比例,也看预计耗尽时间。
- 磁盘延迟要求连续多个采集周期异常,并与队列或业务延迟交叉验证。
- 监控采集失败单独设置,不要把“无数据”当作CPU、内存或磁盘恢复。
趋势告警适合发现故障前兆,但不能替代当前状态告警。例如磁盘预计48小时后耗尽可以提前通知,磁盘当前只剩2%时仍应直接触发高危告警。
3. 设置恢复条件和告警抑制
阈值恢复不能紧贴触发线,否则指标在临界值附近上下波动会反复通知。可以采用滞回思路:

- CPU超过85%触发预警,降至75%以下并持续一段时间后恢复。
- 内存低于20%触发预警,恢复到25%或30%以上后关闭。
- 磁盘容量告警恢复应以清理、扩容或挂载点恢复为依据,不因单次统计抖动关闭。
- 维护窗口、批处理窗口和发布窗口应有明确静默策略,并保留结束时间。
主机不可达时,可以抑制该主机下的CPU、内存和磁盘子告警,避免一次网络或电源故障产生大量重复通知。但监控平台自身不可用、采集器失联和主机不可达应保留独立告警,否则可能把监控盲区误判为业务恢复。
配置示例与交付核对
以下是基于Prometheus与Node Exporter指标的简化示例,数值用于说明规则结构,正式上线前需要按实际标签、挂载点和业务基线调整:
groups:
- name: host-resource
rules:
- alert: HostCpuBusyWarning
expr: |
1 - avg by (instance) (
rate(node_cpu_seconds_total{mode="idle"}[5m])
) > 0.85
for: 10m
labels:
severity: warning
annotations:
summary: "CPU持续偏高"
description: "{{ $labels.instance }} CPU使用率连续10分钟超过85%"
- alert: HostCpuBusyCritical
expr: |
1 - avg by (instance) (
rate(node_cpu_seconds_total{mode="idle"}[5m])
) > 0.95
for: 5m
labels:
severity: critical
annotations:
summary: "CPU持续接近饱和"
description: "{{ $labels.instance }} CPU使用率连续5分钟超过95%"
- alert: HostMemoryAvailableLow
expr: |
node_memory_MemAvailable_bytes
/ node_memory_MemTotal_bytes < 0.20
for: 10m
labels:
severity: warning
annotations:
summary: "可用内存偏低"
description: "{{ $labels.instance }} 可用内存比例连续10分钟低于20%"
- alert: HostFilesystemAvailableLow
expr: |
node_filesystem_avail_bytes{
fstype!~"tmpfs|overlay"
}
/ node_filesystem_size_bytes{
fstype!~"tmpfs|overlay"
} < 0.15
for: 10m
labels:
severity: warning
annotations:
summary: "文件系统剩余空间偏低"
description: "{{ $labels.instance }} {{ $labels.mountpoint }} 剩余空间低于15%"
这段配置没有覆盖steal、Swap、inode、磁盘延迟和I/O错误,因为这些指标需要结合采集器版本、设备类型及业务基线单独设置。尤其是文件系统规则,应核对是否排除了临时挂载、容器叠加文件系统和不需要纳入值班通知的挂载点。
交付验收可以按以下清单逐项确认:
- CPU是否同时覆盖总使用率、运行队列、
iowait和虚拟化steal。 - 内存是否使用可用内存口径,是否单独检查Swap、内存压力和OOM。
- 磁盘是否分别检查容量、inode、延迟、队列、利用率和I/O错误。
- 每条规则是否包含持续时间,而不是单次采样触发。
- 预警和高危是否对应不同通知渠道与处理时限。
- 告警是否带有实例、挂载点、业务服务、环境和严重级别。
- 恢复条件是否经过临界值抖动验证。
- 采集失败、主机失联和资源异常是否能够区分。
- 告警是否在测试环境或低风险窗口完成触发、通知、恢复和抑制验证。
- 验收记录是否保留规则版本、测试时间、触发指标、通知结果和恢复结果。
最终阈值不应在服务器交付当天永久冻结。上线后至少观察一个完整业务高峰周期,比较正常峰值、告警触发时刻与实际业务影响,再调整持续时间、恢复线和组合条件。CPU、内存和磁盘的阈值分别对应计算饱和、内存压力和存储容量或I/O风险,只有保持这种对应关系,告警才既能提前发现问题,又不会因指标混用而失去处理价值。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/4583.html



