为美国服务器配置Netdata监控,怎样设置持续高负载告警?

发布人:A5数据发布时间:2026-10-16 09:23阅读量:100

已有美国服务器接入Netdata后,要把“负载偶尔升高”与“持续高负载”分开告警,关键是同时设置观察窗口、按CPU核数归一化的阈值,以及恢复回差。对于普通Linux主机,可以检查最近5分钟内的最低负载是否仍超过阈值,再将告警发送到已有通知渠道,而不是仅凭某一时刻的Load Average发消息。

下面沿用现有Netdata环境,配置一条“持续高负载”告警,并完成通知测试、异常检查和恢复验证。美国机房的位置不会改变CPU负载的判定方法;跨境访问延迟、通知链路故障,需要另外监控,不能混入主机负载阈值。

A5数据提供美国物理服务器资源,覆盖常规Xeon、AMD EPYC、GPU及多IP系列,可为部署Netdata监控的网站、跨境业务、数据库、容器和多任务计算提供稳定的硬件基础。美国AMD服务器配有不同规格的内存与NVMe存储,常规产品提供CN2 GIA线路方案,便于结合主机负载、存储压力和网络访问情况开展统一运维监控。

一、确认现有环境和告警口径

本操作适用于使用systemd管理、原生安装Netdata Agent的Linux服务器。示例使用常见配置目录/etc/netdata;容器安装、自定义安装目录或集中管理的告警,应先核实实际配置入口,不要直接套用路径。

先进行只读检查:

systemctl status netdata --no-pager
systemctl cat netdata
netdata -v
getconf _NPROCESSORS_ONLN
curl -fsS 'http://127.0.0.1:19999/api/v1/chart?chart=system.load'

检查以下结果:

  • Netdata服务处于运行状态。
  • system.load图表存在,包含load1、load5、load15维度。
  • 在线逻辑CPU数量与服务器当前规格一致。
  • 已有告警渠道可以使用,配置目录不存在其他系统自动覆盖文件的情况。

如果Agent没有监听本地19999端口,应使用现有监听地址或通过Dashboard检查,不必为了本次调整开放公网端口。

高负载不等于CPU使用率高

Linux Load Average统计的是可运行任务以及部分不可中断等待任务的平均数量,不是CPU使用率百分比。因此,CPU计算繁忙和磁盘等待严重,都可能让负载升高。

用于整机监控时,可将负载除以在线逻辑CPU数量,得到便于比较的“每核负载”。但该值不能单独证明CPU已经耗尽,也不能直接用于受CPU配额限制的容器。

例如,4个在线逻辑CPU的主机,负载为4时,每核负载为1。本文采用以下示例阈值,正式上线前应结合已有正常业务时段的曲线调整。

项目示例设置用途
观察指标system.load的load1观察较近的负载变化
查询窗口最近5分钟取最小值确认窗口内没有低于进入阈值的样本
WARNING进入阈值每核负载大于1.00提示持续排队或等待
CRITICAL进入阈值每核负载大于1.50提示更严重的持续负载
WARNING退出阈值每核负载不高于0.85减少临界值附近反复切换
CRITICAL退出阈值每核负载不高于1.25允许先降级到WARNING

这里检查的是一分钟平均负载在最近5分钟窗口中的持续表现,不是每个进程的瞬时状态。它适合发现持续积压,但不能证明接口一定变慢;业务响应时间和错误率仍需独立观察。

二、调整持续高负载规则与通知

1. 备份本次要改的文件

先确认实际配置目录。下面以/etc/netdata/health.d为例,仅新增或调整独立文件,不修改发行包自带的告警规则。

BACKUP_DIR="/root/netdata-health-backup-$(date +%Y%m%d-%H%M%S)"
sudo mkdir -p "$BACKUP_DIR"

if sudo test -f /etc/netdata/health.d/custom-sustained-load.conf; then
    sudo cp -a /etc/netdata/health.d/custom-sustained-load.conf "$BACKUP_DIR/"
fi

printf '备份目录:%s\n' "$BACKUP_DIR"

记录输出路径。若文件原先不存在,恢复时撤下新增文件即可;若原先存在,则恢复备份。

此操作只影响本文件定义的告警,不会改变CPU、网络或业务进程。不过,错误配置可能导致告警漏报,因此应保留已有有效规则,直到新规则通过验证。

2. 写入告警配置

用编辑器打开文件:

sudoedit /etc/netdata/health.d/custom-sustained-load.conf

以下示例对应4个在线逻辑CPU:

alarm: sustained_host_load
on: system.load
lookup: min -5m unaligned of load1
every: 10s
calc: $this / 4
units: load/core
warn: ($status >= $WARNING) ? ($this > 0.85) : ($this > 1.00)
crit: ($status == $CRITICAL) ? ($this > 1.25) : ($this > 1.50)
delay: up 30s down 2m
to: sysadmin
info: Sustained host load per online logical CPU over a five-minute window

配置中的4必须替换为实际在线逻辑CPU数量。CPU规格或在线CPU数量改变后,也要同步调整;不要认为该常量会自动识别扩容结果。

几个关键项的作用如下:

  • lookup: min -5m:取最近5分钟的最小值。若其仍超过阈值,说明窗口内所有有效样本都超过该阈值。
  • calc:把负载转换为每核负载。
  • warn和crit:分别使用进入、退出阈值,形成回差。
  • delay:延迟状态变更通知,减少短时间内消息来回变化。
  • to: sysadmin:发送给现有通知配置中对应的接收角色,需核实该角色实际映射到谁。

“持续5分钟”的主要约束来自查询窗口,不是delay。通知延迟不能替代持续性判断,也不会阻止Dashboard先显示新的告警状态。

这里取最小值是一种相对严格的规则:短暂回落到进入阈值以下,就会推迟告警。如果业务负载经常短促回落,但整体已长期偏高,可以改用最近5分钟平均值;不过,此时只能称为“窗口平均负载偏高”,不能解释成全窗口持续超限。

还要确认本地保留了覆盖该窗口的高分辨率数据。Agent刚启动、数据缺失或查询使用粗粒度汇总时,窗口不一定包含完整的5分钟有效样本,应结合数据覆盖情况判断。

3. 重新加载并核实通知渠道

优先只重载健康规则,不重启整个Agent:

sudo netdatacli reload-health
sudo journalctl -u netdata --since "5 minutes ago" --no-pager

如果系统找不到netdatacli,应检查安装目录和该版本提供的管理命令,不要直接以重启服务代替排查。日志中若出现配置解析错误,应先修正再继续测试。

通知侧沿用已经工作的邮件或Webhook等渠道。修改health_alarm_notify.conf前另行备份,并核对sysadmin的实际接收人。不要只确认“填了地址”,还应检查:

  • 发送功能是否启用。
  • Agent服务账号能否读取通知配置。
  • 邮件发送程序或Webhook出口是否正常。
  • 接收平台是否存在静默、频率限制或值班路由。
  • 消息是否包含主机标识、状态、数值和时间。

美国服务器的通知记录建议统一使用UTC,或明确展示时区,避免值班人员把服务器日志时间和本地时间错位。

三、检查规则结果,而不是等待生产故障

1. 确认告警已加载

在Dashboard的告警列表中查找sustained_host_load,确认其绑定到system.load。也可以查看本地告警接口:

curl -fsS 'http://127.0.0.1:19999/api/v1/alarms?all'

若安装了jq,可缩小输出范围:

curl -fsS 'http://127.0.0.1:19999/api/v1/alarms?all' |
jq '.alarms | to_entries[] |
    select(.value.name == "sustained_host_load")'

重点检查告警名称、图表、计算值和状态。没有查到规则时,先确认配置路径、解析日志和图表是否存在,不要立即降低阈值。

2. 按预期场景核对

以4核主机为例,以下是规则行为示例,并非实测数据:

三、检查规则结果,而不是等待生产故障|2. 按预期场景核对配图

负载表现预期结果
load1升到8,但只保持几十秒不应仅凭这次峰值进入持续高负载告警
最近5分钟所有有效load1样本均大于4满足WARNING进入条件
最近5分钟所有有效load1样本均大于6满足CRITICAL进入条件
CRITICAL期间,窗口最小每核负载降到1.20可降级为WARNING
WARNING期间,窗口最小每核负载降到0.80可转为CLEAR,恢复通知再受延迟控制

由于load1本身经过平滑,检查又采用5分钟窗口,通知还设置了延迟,所以“业务开始繁忙5分钟”不等于“第5分钟整一定收到消息”。应以采集值越过阈值的时间为准。

3. 安全验证通知链路

不建议在生产服务器上运行CPU或磁盘压力任务来触发告警。先使用当前安装版本提供的通知测试功能,确认消息能送达。

随后可在独立测试文件中创建一个名称明确的临时告警,验证“采集—判断—发送”完整链路:

alarm: temporary_notification_test
on: system.load
lookup: average -10s unaligned of load1
every: 10s
warn: $this >= 0
to: sysadmin
info: Temporary notification delivery test

有效负载值通常非负,因此这条规则会产生测试WARNING。它只用于测试,不代表主机故障。测试前通知值班人员,测试后将文件移出health.d并重新加载;不要把正式规则阈值改成零,也不要把移除测试规则视为已经验证了正常CLEAR恢复通知。

四、出现异常时按低风险顺序处理

告警不存在或显示UNDEFINED

先检查system.load是否持续出数,再检查配置日志。

  • 图表不存在:检查系统采集功能,而不是继续修改表达式。
  • 图表存在、规则不存在:检查文件位置、名称和解析错误。
  • 规则存在但无有效值:检查维度名称、采集空档和历史数据覆盖。

采集停止可能让高负载告警无法计算,但这不代表服务器恢复正常。监控失联需要独立告警覆盖。

Dashboard告警正常,但没有收到消息

先查本机通知执行结果,再检查外部通知平台。若本机发送失败,应处理凭据、发送程序或网络出口;若本机显示发送成功但接收端没有消息,则检查平台路由、静默和频率限制。

不要通过开放Netdata公网端口来解决通知问题。Dashboard入站访问和告警出站发送是两条不同链路。

高负载持续,但CPU使用率不高

先做只读观察:

uptime
vmstat 1 5
ps -eo pid,comm,stat,%cpu,%mem --sort=-%cpu | head -n 15

如果已安装sysstat,再检查:

iostat -xz 1 5

结合Netdata同一时间段判断:

  • CPU使用率高、运行队列持续增长:优先检查繁忙进程和任务并发。
  • CPU不高,但I/O等待、磁盘延迟和不可中断等待任务增加:优先检查存储与文件系统。
  • 内存可用量下降并伴随持续换入换出:检查内存压力,而不只看“已用内存百分比”。
  • 虚拟机CPU steal明显升高:结合宿主资源争用情况处理,不能简单归因于应用。

不要仅凭负载告警直接结束进程、清理缓存或重启数据库。先关联业务响应时间、错误率和资源曲线,再按对应服务的维护流程处理。

五、恢复配置与上线验收

新规则如果产生明显误报,应先恢复配置,再分析阈值或窗口,不要为了消除消息直接关闭全部通知。

若本次修改前已有同名文件,恢复记录下来的备份:

sudo cp -a /root/实际备份目录/custom-sustained-load.conf \
    /etc/netdata/health.d/custom-sustained-load.conf
sudo netdatacli reload-health

若原先没有该文件,将新增文件移到备份目录:

sudo mv /etc/netdata/health.d/custom-sustained-load.conf \
    /root/实际备份目录/custom-sustained-load.conf.withdrawn
sudo netdatacli reload-health

执行前替换为实际备份路径。恢复仅影响本条自定义告警,不恢复业务进程或通知平台设置;若同时修改了通知配置,需要使用其独立备份恢复。

上线或验收检查清单

  • [ ] system.load持续出数,最近5分钟数据覆盖正常。
  • [ ] 每核负载的分母与当前在线逻辑CPU数量一致。
  • [ ] 已明确采用窗口最小值还是平均值,没有混淆两者含义。
  • [ ] WARNING、CRITICAL和恢复回差符合现有业务曲线。
  • [ ] 健康规则加载成功,日志没有相关解析错误。
  • [ ] 通知测试已送达,主机标识、时间和接收人准确。
  • [ ] 临时测试规则已撤下,已有规则的重复通知已核对。
  • [ ] 采集失联、业务响应异常有独立监控,不依赖负载告警兜底。
  • [ ] 备份路径和恢复方式已记录,CPU规格调整时会复核规则。

验收通过后,再覆盖一个完整业务周期观察告警频率。若重复告警较多,先区分正常定时任务、阈值回差不足和真实资源积压,再调整规则;不要仅靠延长通知延迟掩盖持续异常。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/3952.html

相关推荐