为美国服务器配置Netdata监控,怎样设置持续高负载告警?
已有美国服务器接入Netdata后,要把“负载偶尔升高”与“持续高负载”分开告警,关键是同时设置观察窗口、按CPU核数归一化的阈值,以及恢复回差。对于普通Linux主机,可以检查最近5分钟内的最低负载是否仍超过阈值,再将告警发送到已有通知渠道,而不是仅凭某一时刻的Load Average发消息。
下面沿用现有Netdata环境,配置一条“持续高负载”告警,并完成通知测试、异常检查和恢复验证。美国机房的位置不会改变CPU负载的判定方法;跨境访问延迟、通知链路故障,需要另外监控,不能混入主机负载阈值。
A5数据提供美国物理服务器资源,覆盖常规Xeon、AMD EPYC、GPU及多IP系列,可为部署Netdata监控的网站、跨境业务、数据库、容器和多任务计算提供稳定的硬件基础。美国AMD服务器配有不同规格的内存与NVMe存储,常规产品提供CN2 GIA线路方案,便于结合主机负载、存储压力和网络访问情况开展统一运维监控。
一、确认现有环境和告警口径
本操作适用于使用systemd管理、原生安装Netdata Agent的Linux服务器。示例使用常见配置目录/etc/netdata;容器安装、自定义安装目录或集中管理的告警,应先核实实际配置入口,不要直接套用路径。
先进行只读检查:
systemctl status netdata --no-pager
systemctl cat netdata
netdata -v
getconf _NPROCESSORS_ONLN
curl -fsS 'http://127.0.0.1:19999/api/v1/chart?chart=system.load'
检查以下结果:
- Netdata服务处于运行状态。
system.load图表存在,包含load1、load5、load15维度。- 在线逻辑CPU数量与服务器当前规格一致。
- 已有告警渠道可以使用,配置目录不存在其他系统自动覆盖文件的情况。
如果Agent没有监听本地19999端口,应使用现有监听地址或通过Dashboard检查,不必为了本次调整开放公网端口。
高负载不等于CPU使用率高
Linux Load Average统计的是可运行任务以及部分不可中断等待任务的平均数量,不是CPU使用率百分比。因此,CPU计算繁忙和磁盘等待严重,都可能让负载升高。
用于整机监控时,可将负载除以在线逻辑CPU数量,得到便于比较的“每核负载”。但该值不能单独证明CPU已经耗尽,也不能直接用于受CPU配额限制的容器。
例如,4个在线逻辑CPU的主机,负载为4时,每核负载为1。本文采用以下示例阈值,正式上线前应结合已有正常业务时段的曲线调整。
| 项目 | 示例设置 | 用途 |
|---|---|---|
| 观察指标 | system.load的load1 | 观察较近的负载变化 |
| 查询窗口 | 最近5分钟取最小值 | 确认窗口内没有低于进入阈值的样本 |
| WARNING进入阈值 | 每核负载大于1.00 | 提示持续排队或等待 |
| CRITICAL进入阈值 | 每核负载大于1.50 | 提示更严重的持续负载 |
| WARNING退出阈值 | 每核负载不高于0.85 | 减少临界值附近反复切换 |
| CRITICAL退出阈值 | 每核负载不高于1.25 | 允许先降级到WARNING |
这里检查的是一分钟平均负载在最近5分钟窗口中的持续表现,不是每个进程的瞬时状态。它适合发现持续积压,但不能证明接口一定变慢;业务响应时间和错误率仍需独立观察。
二、调整持续高负载规则与通知
1. 备份本次要改的文件
先确认实际配置目录。下面以/etc/netdata/health.d为例,仅新增或调整独立文件,不修改发行包自带的告警规则。
BACKUP_DIR="/root/netdata-health-backup-$(date +%Y%m%d-%H%M%S)"
sudo mkdir -p "$BACKUP_DIR"
if sudo test -f /etc/netdata/health.d/custom-sustained-load.conf; then
sudo cp -a /etc/netdata/health.d/custom-sustained-load.conf "$BACKUP_DIR/"
fi
printf '备份目录:%s\n' "$BACKUP_DIR"
记录输出路径。若文件原先不存在,恢复时撤下新增文件即可;若原先存在,则恢复备份。
此操作只影响本文件定义的告警,不会改变CPU、网络或业务进程。不过,错误配置可能导致告警漏报,因此应保留已有有效规则,直到新规则通过验证。
2. 写入告警配置
用编辑器打开文件:
sudoedit /etc/netdata/health.d/custom-sustained-load.conf
以下示例对应4个在线逻辑CPU:
alarm: sustained_host_load
on: system.load
lookup: min -5m unaligned of load1
every: 10s
calc: $this / 4
units: load/core
warn: ($status >= $WARNING) ? ($this > 0.85) : ($this > 1.00)
crit: ($status == $CRITICAL) ? ($this > 1.25) : ($this > 1.50)
delay: up 30s down 2m
to: sysadmin
info: Sustained host load per online logical CPU over a five-minute window
配置中的4必须替换为实际在线逻辑CPU数量。CPU规格或在线CPU数量改变后,也要同步调整;不要认为该常量会自动识别扩容结果。
几个关键项的作用如下:
lookup: min -5m:取最近5分钟的最小值。若其仍超过阈值,说明窗口内所有有效样本都超过该阈值。calc:把负载转换为每核负载。warn和crit:分别使用进入、退出阈值,形成回差。delay:延迟状态变更通知,减少短时间内消息来回变化。to: sysadmin:发送给现有通知配置中对应的接收角色,需核实该角色实际映射到谁。
“持续5分钟”的主要约束来自查询窗口,不是delay。通知延迟不能替代持续性判断,也不会阻止Dashboard先显示新的告警状态。
这里取最小值是一种相对严格的规则:短暂回落到进入阈值以下,就会推迟告警。如果业务负载经常短促回落,但整体已长期偏高,可以改用最近5分钟平均值;不过,此时只能称为“窗口平均负载偏高”,不能解释成全窗口持续超限。
还要确认本地保留了覆盖该窗口的高分辨率数据。Agent刚启动、数据缺失或查询使用粗粒度汇总时,窗口不一定包含完整的5分钟有效样本,应结合数据覆盖情况判断。
3. 重新加载并核实通知渠道
优先只重载健康规则,不重启整个Agent:
sudo netdatacli reload-health
sudo journalctl -u netdata --since "5 minutes ago" --no-pager
如果系统找不到netdatacli,应检查安装目录和该版本提供的管理命令,不要直接以重启服务代替排查。日志中若出现配置解析错误,应先修正再继续测试。
通知侧沿用已经工作的邮件或Webhook等渠道。修改health_alarm_notify.conf前另行备份,并核对sysadmin的实际接收人。不要只确认“填了地址”,还应检查:
- 发送功能是否启用。
- Agent服务账号能否读取通知配置。
- 邮件发送程序或Webhook出口是否正常。
- 接收平台是否存在静默、频率限制或值班路由。
- 消息是否包含主机标识、状态、数值和时间。
美国服务器的通知记录建议统一使用UTC,或明确展示时区,避免值班人员把服务器日志时间和本地时间错位。
三、检查规则结果,而不是等待生产故障
1. 确认告警已加载
在Dashboard的告警列表中查找sustained_host_load,确认其绑定到system.load。也可以查看本地告警接口:
curl -fsS 'http://127.0.0.1:19999/api/v1/alarms?all'
若安装了jq,可缩小输出范围:
curl -fsS 'http://127.0.0.1:19999/api/v1/alarms?all' |
jq '.alarms | to_entries[] |
select(.value.name == "sustained_host_load")'
重点检查告警名称、图表、计算值和状态。没有查到规则时,先确认配置路径、解析日志和图表是否存在,不要立即降低阈值。
2. 按预期场景核对
以4核主机为例,以下是规则行为示例,并非实测数据:

| 负载表现 | 预期结果 |
|---|---|
load1升到8,但只保持几十秒 | 不应仅凭这次峰值进入持续高负载告警 |
最近5分钟所有有效load1样本均大于4 | 满足WARNING进入条件 |
最近5分钟所有有效load1样本均大于6 | 满足CRITICAL进入条件 |
| CRITICAL期间,窗口最小每核负载降到1.20 | 可降级为WARNING |
| WARNING期间,窗口最小每核负载降到0.80 | 可转为CLEAR,恢复通知再受延迟控制 |
由于load1本身经过平滑,检查又采用5分钟窗口,通知还设置了延迟,所以“业务开始繁忙5分钟”不等于“第5分钟整一定收到消息”。应以采集值越过阈值的时间为准。
3. 安全验证通知链路
不建议在生产服务器上运行CPU或磁盘压力任务来触发告警。先使用当前安装版本提供的通知测试功能,确认消息能送达。
随后可在独立测试文件中创建一个名称明确的临时告警,验证“采集—判断—发送”完整链路:
alarm: temporary_notification_test
on: system.load
lookup: average -10s unaligned of load1
every: 10s
warn: $this >= 0
to: sysadmin
info: Temporary notification delivery test
有效负载值通常非负,因此这条规则会产生测试WARNING。它只用于测试,不代表主机故障。测试前通知值班人员,测试后将文件移出health.d并重新加载;不要把正式规则阈值改成零,也不要把移除测试规则视为已经验证了正常CLEAR恢复通知。
四、出现异常时按低风险顺序处理
告警不存在或显示UNDEFINED
先检查system.load是否持续出数,再检查配置日志。
- 图表不存在:检查系统采集功能,而不是继续修改表达式。
- 图表存在、规则不存在:检查文件位置、名称和解析错误。
- 规则存在但无有效值:检查维度名称、采集空档和历史数据覆盖。
采集停止可能让高负载告警无法计算,但这不代表服务器恢复正常。监控失联需要独立告警覆盖。
Dashboard告警正常,但没有收到消息
先查本机通知执行结果,再检查外部通知平台。若本机发送失败,应处理凭据、发送程序或网络出口;若本机显示发送成功但接收端没有消息,则检查平台路由、静默和频率限制。
不要通过开放Netdata公网端口来解决通知问题。Dashboard入站访问和告警出站发送是两条不同链路。
高负载持续,但CPU使用率不高
先做只读观察:
uptime
vmstat 1 5
ps -eo pid,comm,stat,%cpu,%mem --sort=-%cpu | head -n 15
如果已安装sysstat,再检查:
iostat -xz 1 5
结合Netdata同一时间段判断:
- CPU使用率高、运行队列持续增长:优先检查繁忙进程和任务并发。
- CPU不高,但I/O等待、磁盘延迟和不可中断等待任务增加:优先检查存储与文件系统。
- 内存可用量下降并伴随持续换入换出:检查内存压力,而不只看“已用内存百分比”。
- 虚拟机CPU steal明显升高:结合宿主资源争用情况处理,不能简单归因于应用。
不要仅凭负载告警直接结束进程、清理缓存或重启数据库。先关联业务响应时间、错误率和资源曲线,再按对应服务的维护流程处理。
五、恢复配置与上线验收
新规则如果产生明显误报,应先恢复配置,再分析阈值或窗口,不要为了消除消息直接关闭全部通知。
若本次修改前已有同名文件,恢复记录下来的备份:
sudo cp -a /root/实际备份目录/custom-sustained-load.conf \
/etc/netdata/health.d/custom-sustained-load.conf
sudo netdatacli reload-health
若原先没有该文件,将新增文件移到备份目录:
sudo mv /etc/netdata/health.d/custom-sustained-load.conf \
/root/实际备份目录/custom-sustained-load.conf.withdrawn
sudo netdatacli reload-health
执行前替换为实际备份路径。恢复仅影响本条自定义告警,不恢复业务进程或通知平台设置;若同时修改了通知配置,需要使用其独立备份恢复。
上线或验收检查清单
- [ ]
system.load持续出数,最近5分钟数据覆盖正常。 - [ ] 每核负载的分母与当前在线逻辑CPU数量一致。
- [ ] 已明确采用窗口最小值还是平均值,没有混淆两者含义。
- [ ] WARNING、CRITICAL和恢复回差符合现有业务曲线。
- [ ] 健康规则加载成功,日志没有相关解析错误。
- [ ] 通知测试已送达,主机标识、时间和接收人准确。
- [ ] 临时测试规则已撤下,已有规则的重复通知已核对。
- [ ] 采集失联、业务响应异常有独立监控,不依赖负载告警兜底。
- [ ] 备份路径和恢复方式已记录,CPU规格调整时会复核规则。
验收通过后,再覆盖一个完整业务周期观察告警频率。若重复告警较多,先区分正常定时任务、阈值回差不足和真实资源积压,再调整规则;不要仅靠延长通知延迟掩盖持续异常。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/3952.html



