日本服务器安装Netdata后,哪些指标需要监控并如何设置告警?
日本服务器已经安装并运行 Netdata 后,日常监控不应只盯着 CPU 使用率。需要同时观察 CPU 等待、内存可用量、Swap、磁盘空间与延迟、网络丢包、关键服务响应以及来自日本用户侧的访问延迟。告警阈值也不宜采用“一次超过就通知”的方式,而应结合持续时间、历史基线和故障关联关系,区分预警、严重告警与恢复通知。
实际配置时,可以先使用 Netdata 自带的系统指标和默认健康规则,再针对业务特点补充告警。日本机房、东京或大阪访问节点只能说明服务器所在位置,不能代表所有日本用户的访问质量;服务器本机指标与外部探针需要分别监控,才能判断问题发生在主机、网络路径还是应用层。

现有环境与监控边界
本文以已经安装 Netdata Agent 的 Linux 服务器为前提,不重复安装过程。开始调整告警前,先确认 Netdata 服务、采集接口和本机 API 是否正常。
sudo systemctl is-active netdata
netdata -v
sudo netdatacli ping
curl -s http://127.0.0.1:19999/api/v1/info | jq .
如果系统没有 jq,可以先直接查看原始 JSON:
curl -s http://127.0.0.1:19999/api/v1/info
Netdata 的服务名通常是 netdata,但不同发行版或手工安装方式可能存在差异。无法找到服务时,先核对实际服务名,不要直接执行重启命令:
systemctl list-unit-files | grep -i netdata
ps -ef | grep '[n]etdata'
还需要确认本机 API 的监听范围:
sudo ss -lntp | grep 19999
如果 Netdata 只监听 127.0.0.1:19999,本地检查不受影响,也能减少监控面板暴露风险。若监听在公网地址,应通过防火墙、访问控制或受保护的管理网络限制访问,不建议为了方便直接开放给所有来源。
先核对图表名称和维度
健康规则中的 on 和 lookup 必须匹配当前 Netdata 生成的图表名称。不同发行版、采集器和磁盘挂载方式可能导致图表 ID 不同,尤其是网卡、磁盘和文件系统名称。
curl -s http://127.0.0.1:19999/api/v1/charts \
| jq -r '.charts | keys[]' \
| grep -E 'system\.(cpu|ram|swap|load)|disk|net'
查看某个图表的维度:
curl -s 'http://127.0.0.1:19999/api/v1/data?chart=system.cpu&after=-60&points=1&format=json' \
| jq '{dimension_names, labels}'
在生产环境中,建议先记录以下条件:
- 虚拟 CPU 数量、内存容量和 Swap 大小;
- 根分区、数据分区、日志分区的挂载点和容量;
- 对外提供的端口、服务名称及进程;
- 日本用户访问的主要入口,例如网站、API、邮件服务或数据库连接;
- 过去 7 至 14 天的 CPU、内存、磁盘和网络基线。
Netdata 看到的是服务器本机或服务器所在网络的状态。它不能单独证明日本三大运营商、东京到大阪或日本境外用户的访问延迟,因此公网可用性应使用日本境内的外部探针补充。
面向日本本地访问与跨境业务,A5数据提供日本物理服务器,涵盖Xeon Gold、AMD EPYC及NVMe存储等配置;CTG系列还提供SSD、大容量HDD、多IP等方案,并有CIA、GIA、CN2和SoftBank等线路选项。不同硬件与网络资源可承载网站、数据库和接口服务,也为Netdata监控主机负载、存储状态及网络指标提供相应的部署基础。
关键指标与告警起始值
下面的数值适合作为初始参考,不是所有业务都必须采用的固定标准。高峰型网站、编译任务、批处理服务器和数据库服务器应使用自身历史数据修正阈值。
| 监控对象 | 重点指标 | 预警参考值 | 严重告警参考值 | 建议持续时间 |
|---|---|---|---|---|
| CPU | 非空闲使用率 | 超过 75% | 超过 90% | 5 至 10 分钟 |
| CPU 等待 | iowait | 超过 15% | 超过 30% | 5 分钟 |
| 虚拟化资源 | steal | 超过 5% | 超过 15% | 5 分钟 |
| 系统负载 | 5 分钟负载 / vCPU | 大于 1 | 大于 2 | 10 分钟 |
| 内存 | available 占比 | 低于 20% | 低于 10% | 5 分钟 |
| Swap | 持续换入换出 | 持续出现 | 持续升高并伴随响应变慢 | 5 分钟 |
| 文件系统 | 已用空间 | 超过 80% | 超过 90% | 5 分钟 |
| inode | 已用 inode | 超过 80% | 超过 90% | 5 分钟 |
| 磁盘 | 延迟或队列 | 高于平时 2 倍 | 延迟超过 50 毫秒 | 5 分钟 |
| 网络 | 丢包、错误、丢弃 | 持续非零或超过 1% | 超过 3% | 5 分钟 |
| 服务 | HTTP 错误或连接失败 | 连续 2 次 | 连续 3 至 5 次 | 1 至 5 分钟 |
| 外部访问 | 日本探针 RTT | 高于基线 2 倍 | 超过业务上限 | 5 分钟 |
CPU、负载与虚拟化等待
CPU 总使用率只能说明处理器是否繁忙,不能单独说明故障原因。应同时观察:
user和system:判断是应用计算还是内核、网络、系统调用消耗;iowait:判断线程是否在等待磁盘或其他块设备;steal:判断虚拟机是否因宿主机资源争用而等待;load:反映正在运行或等待 CPU、磁盘等资源的任务数量。
例如,4 vCPU 服务器的 5 分钟负载为 3.2,负载与 vCPU 比值为 3.2 ÷ 4 = 0.8,通常不应仅因这个数值触发严重告警。相同负载出现在 2 vCPU 服务器上时,比值为 1.6,说明任务排队压力更大。
CPU 使用率持续高但 iowait 很低,通常先查进程和请求量;CPU 不高、iowait 很高,则应优先检查磁盘延迟、日志写入和数据库 I/O。虚拟机的 steal 持续升高时,应用本身可能没有明显变化,但响应时间会恶化,这类问题应记录时间段并联系服务器资源提供方核对宿主机资源。

内存、Swap 与内存压力
不要只对 free 设置告警。Linux 会将空闲内存用于缓存,free 较低并不一定代表内存不足。更适合作为告警依据的是 available、Swap 活动和系统压力。
建议按照以下关系判断:
available降低,但 Swap 没有活动:可能只是缓存占用,观察即可;available低于 20%,并持续下降:进入预警状态;available低于 10%,同时出现 Swap 换入换出:需要检查进程或缓存增长;- Swap 已使用量较高但没有持续换入换出:不一定是故障,Linux 可能保留很久以前换出的页面;
- Swap 持续换入换出并伴随接口延迟上升:通常比“Swap 已使用 10%”更值得告警。
对于内存较小的日本业务机,可以把 available 的预警值提高到 25%,为日志轮转、连接突增和内核缓存留出余量。
磁盘空间、inode 与 I/O 延迟
磁盘监控至少要分成三类:
- 文件系统空间:用于发现日志、上传文件、备份文件或缓存持续增长;
- inode:用于发现大量小文件导致“空间尚有剩余但无法创建文件”;
- I/O 延迟与队列:用于发现磁盘性能下降,而不只是容量不足。
容量告警的阈值应结合增长速度。可用天数可以按以下方式估算:
可用天数 = 当前可用空间 ÷ 过去 24 小时平均增长量
例如日志分区可用空间为 24 GB,过去一天平均增长 3 GB,则理论可用时间约为 24 ÷ 3 = 8 天。即使空间还未达到 90%,也可以提前建立预警,避免在日本当地业务高峰期间才被动处理。
不要只监控根分区。网站日志、数据库、容器数据、备份目录可能位于独立挂载点,应逐个确认图表和挂载点。
网络吞吐、错误与外部可用性
网络流量本身不是故障指标。带宽利用率持续达到端口上限、错误包、丢弃包、TCP 重传和连接失败更有判断价值。
日本服务器还应区分两种延迟:
- 服务器本机看到的网卡、连接和重传指标;
- 日本不同运营商或地区探针访问业务入口的 RTT、丢包、HTTP 状态码和首字节时间。
服务器本机 ping 127.0.0.1 正常,只能说明本机协议栈可用;从服务器访问自身公网地址正常,也不能证明东京、名古屋、大阪或其他地区用户访问正常。外部探针应至少设置两个日本境内观测点,单个探针异常时不要立即升级为全局网络故障。
在现有 Netdata 中设置告警
备份现有健康规则
调整前先保存本地规则和通知配置。备份操作不会修改正在运行的服务,但备份文件中可能含有通知地址或敏感参数,应限制权限。
sudo mkdir -p /root/netdata-alert-backup
sudo cp -a /etc/netdata/health.d \
/root/netdata-alert-backup/health.d-$(date +%F-%H%M%S)
sudo cp -a /etc/netdata/health_alarm_notify.conf \
/root/netdata-alert-backup/health_alarm_notify.conf-$(date +%F-%H%M%S) 2>/dev/null || true
本地自定义规则通常放在 /etc/netdata/health.d/。如果目录不存在,先确认当前安装方式和配置目录,不要直接把规则写入发行版提供的默认目录,以免升级时被覆盖。
sudo find /etc/netdata -maxdepth 2 -type d -name 'health.d' -print
增加具有持续时间的规则
以下是 Netdata 传统 health .conf 语法的示例,重点用于说明告警结构。使用前应根据前面查到的图表维度核对 system.cpu、system.ram 和文件系统图表名称。
alarm: cpu_iowait_japan_server
on: system.cpu
lookup: average -5m percentage of iowait
units: %
every: 1m
warn: $this > 15
crit: $this > 30
delay: up 5m down 5m
repeat: every 2h
to: sysadmin
info: CPU is waiting for I/O for a sustained period.
alarm: memory_available_japan_server
on: system.ram
lookup: average -5m percentage of available
units: %
every: 1m
warn: $this < 20
crit: $this < 10
delay: up 5m down 10m
repeat: every 2h
to: sysadmin
info: Available memory is below the configured threshold.
alarm: root_filesystem_japan_server
on: disk_space._root
lookup: average -5m percentage of avail
units: %
every: 1m
warn: $this < 20
crit: $this < 10
delay: up 5m down 10m
repeat: every 4h
to: sysadmin
info: Root filesystem available space is low.
这里的磁盘规则假定图表 ID 是 disk_space._root,并且 avail 表示可用空间。如果实际图表名称是其他形式,应以 API 返回值为准。不同版本或采集器下,挂载点可能表现为编码后的图表 ID,不能直接照抄。
delay: up 用于要求条件持续一段时间后才进入告警,delay: down 用于恢复后持续稳定一段时间才发送恢复通知。repeat 用于限制重复提醒频率。某些较旧版本对延迟或重复通知语法支持不同,若重新加载时出现配置解析错误,应查看日志并按当前版本支持的语法调整,不要反复重启服务尝试。
CPU 总使用率可以按业务情况增加规则,但不要同时创建多个含义重复的 CPU 告警。例如,已有默认规则负责总 CPU 使用率时,只增加 iowait 和 steal 规则即可,避免一次负载升高触发多封内容相同的邮件。
配置通知渠道
告警规则中的 to: sysadmin 只是选择通知组,还需要在通知配置中定义接收方式。以邮件为例,先确认服务器已经配置可用的本地邮件发送组件,再编辑通知配置:
sudoedit /etc/netdata/health_alarm_notify.conf
配置内容示例:
SEND_EMAIL="YES"
DEFAULT_RECIPIENT_EMAIL="ops@example.com"
邮箱地址应替换为实际运维组地址。SMTP 密码、Webhook 密钥等敏感信息不要直接写入公开脚本或提交到代码仓库。配置通知后,先确认测试邮件能到达,并检查邮件是否被延迟、退信或归档到垃圾邮件。
如果使用 Netdata Cloud 或其他受支持的通知渠道,应在对应渠道完成授权,并将接收者绑定到告警组。不要把通知渠道的网络失败误判成服务器没有产生告警,必要时保留一种独立的备用通知方式。
重新加载并验证规则
优先重新加载健康规则,不要为了加载一条规则直接重启整个 Netdata 服务:
sudo netdatacli reload-health
如果当前版本不支持该命令,先查看可用命令:
sudo netdatacli help
确认版本支持后,再使用发行版提供的 reload 操作。重启属于后备方案,因为重启期间可能产生一段监控数据空洞:
sudo systemctl reload netdata
重新加载后检查日志:
sudo journalctl -u netdata -n 100 --no-pager
查看当前活动告警:
curl -s 'http://127.0.0.1:19999/api/v1/alarms?active' | jq .
如果 API 返回为空,不代表规则没有加载,可能只是当前没有达到阈值。应同时检查日志中是否出现 health 配置解析错误,并在 Netdata 面板中确认图表与规则名称。
不要在高峰期通过人为占满 CPU、制造磁盘写满或停止生产服务来测试严重告警。可在维护窗口建立一个短期、低影响的测试规则,验证通知送达后立即删除,并再次加载健康规则。
告警降噪与故障前兆判断
用持续时间代替瞬时阈值
日本业务高峰、定时备份、日志压缩和缓存刷新都可能造成短时波动。单点 CPU 达到 95% 不一定需要人工介入,但 CPU 连续 10 分钟超过 90%,同时接口延迟升高,就应升级处理。
告警通常可以分为三层:
- 预警:指标偏离基线,但业务仍正常,安排检查;
- 严重:指标持续恶化或已经影响请求,立即处理;
- 恢复:指标回到安全范围并保持稳定,关闭对应事件。
对于响应时间,建议先按过去 7 至 14 天同一时段的典型值设置阈值。例如日本用户正常首字节时间约为 180 毫秒,短时达到 300 毫秒可以观察;如果连续 5 分钟超过 600 毫秒,同时 HTTP 错误率升高,则比单独的 RTT 告警更有价值。
用组合条件识别故障前兆
单个指标的意义有限,下面几种组合更适合用于判断早期风险:
| 指标组合 | 可能的前兆 | 优先检查 |
|---|---|---|
| available 下降、Swap 换入增加、负载上升 | 内存不足或进程增长 | 进程内存、连接数、缓存和最近发布 |
| CPU 不高、iowait 上升、磁盘延迟增加 | 磁盘拥塞或数据库写入压力 | I/O 队列、日志、数据库和备份任务 |
| steal 上升、应用响应变慢 | 虚拟机宿主机资源争用 | 同时段 CPU steal、实例资源状态 |
| 磁盘空间下降、inode 快速消耗 | 大量小文件或日志未轮转 | 日志目录、缓存目录、临时文件 |
| 网卡丢弃增加、TCP 重传增加、外部 RTT 升高 | 网络拥塞或链路质量下降 | 网卡统计、端口利用率和外部探针 |
| HTTP 5xx 增加、进程存活但响应超时 | 应用线程池、数据库或上游依赖异常 | 应用日志、连接池和上游服务 |
可以通过设置依赖关系减少级联告警。例如服务器断电或网络完全中断时,CPU、磁盘和应用服务可能同时停止上报。此时应优先保留“主机不可达”或“外部服务不可用”事件,不要让多个下游指标各自发送重复通知。
结果检查与日常巡检
完成规则调整后,至少检查以下内容:
- Netdata 服务保持 active,最近日志没有 health 配置解析错误;
- 自定义规则出现在当前配置中,图表名称和维度均能对应;
- 告警接口能返回当前状态,恢复状态不会长期停留;
- 邮件、消息或其他通知渠道能够收到测试通知;
- 告警内容包含主机名、规则名、当前值、阈值和恢复状态;
- 预警和严重告警没有采用相同的通知频率;
- 磁盘、网卡和文件系统的监控对象没有漏掉独立挂载点;
- 外部日本探针与服务器本机指标已经分开记录;
- 观察至少一个高峰时段,确认没有因正常业务波动产生大量重复提醒。
日常巡检可以从只读命令开始:
free -h
vmstat 1 5
df -hT
df -ih
ss -s
ip -s link
systemctl --failed
如果需要检查磁盘延迟,先确认系统是否安装了 iostat:
command -v iostat
存在时再执行:
iostat -xz 1 5
检查本机 Web 服务只能验证服务器到本地服务的路径:
curl -fsS -o /dev/null \
-w 'status=%{http_code} time=%{time_total}s\n' \
http://127.0.0.1/
这个结果正常时,只能说明本机服务可以响应。公网域名、TLS、DNS、CDN 或日本用户到服务器之间的链路仍需从外部探针验证。
异常处理顺序
发现告警后,先判断影响范围,再决定是否操作服务。建议按照由低风险到高风险的顺序处理。

主机指标异常但业务暂时正常
先查看告警是否持续、是否只发生在定时任务时段,并对照多个指标:
- CPU 高但 iowait 低:查看进程、请求量和定时任务;
- 内存低但 Swap 没有活动:查看缓存、进程 RSS 和连接数;
- 磁盘空间下降:定位增长最快的挂载点和目录;
- 网络流量升高但无错误:确认是否为正常发布、备份或下载业务;
- 外部 RTT 升高但服务器指标正常:比较多个日本探针,排除单点线路问题。
此阶段不要先清空日志、停止进程或修改防火墙。先保留告警时间、图表截图、进程列表和相关日志,便于区分一次性事件与持续性故障。
磁盘空间接近耗尽
先确认具体分区:
df -hT
sudo du -xhd1 /var 2>/dev/null | sort -h
sudo du -xhd1 /var/log 2>/dev/null | sort -h
删除日志、备份或上传文件属于有影响的操作。操作前应确认文件用途、保留周期和是否有外部备份;不要直接删除仍被服务写入的日志文件,也不要使用未经核对的通配符批量清理。优先通过应用自身的日志轮转、备份策略或管理员批准的清理流程处理。
如果只是需要释放临时空间,应记录删除对象和数量,并保留恢复来源。清理后重新检查 inode、磁盘空间和应用写入状态,不能只看 df -h 恢复就结束。
服务无响应或返回 5xx
先确认进程、端口和本机响应:
sudo systemctl status nginx --no-pager
sudo ss -lntp
curl -I --max-time 5 http://127.0.0.1/
sudo journalctl -u nginx --since "15 minutes ago" --no-pager
上面的服务名仅适用于实际使用 Nginx 的环境,其他应用应替换为对应服务名。重启应用会中断正在处理的连接或触发短时不可用,必须先确认服务具备自动恢复条件、配置已备份,并评估当前业务影响。若问题来自数据库、上游接口或磁盘 I/O,单纯重启 Web 服务可能只会暂时掩盖原因。
必要恢复与配置回退
如果新增规则导致告警数量异常、通知循环或 Netdata 无法重新加载,先回退本次自定义文件,不要删除整个 /etc/netdata 配置目录。
sudo mv /etc/netdata/health.d/local-japan.conf \
/etc/netdata/health.d/local-japan.conf.disabled
sudo netdatacli reload-health
如果文件名不同,应替换为实际文件名。这个操作只会停用该自定义规则文件,不会删除历史监控数据,也不会恢复被其他文件覆盖的规则。之后查看日志确认解析错误已经消失:
sudo journalctl -u netdata -n 100 --no-pager
curl -s 'http://127.0.0.1:19999/api/v1/alarms?active' | jq .
需要恢复原配置时,从调整前备份中复制回去。复制前确认目标文件内容,避免覆盖同事在此期间做出的合法修改:
sudo cp -a /root/netdata-alert-backup/health.d-YYYY-MM-DD-HHMMSS/local-japan.conf \
/etc/netdata/health.d/local-japan.conf
sudo netdatacli reload-health
如果必须重启 Netdata,应预留监控空洞时间,并确认业务服务不依赖 Netdata 进程:
sudo systemctl restart netdata
sudo systemctl is-active netdata
sudo netdatacli ping
防火墙调整、批量删除文件、重启数据库和强制终止进程都不应由单条 Netdata 告警自动触发。此类操作需要明确影响范围、配置或数据备份、执行窗口和回滚命令。
上线或验收检查清单
- [ ] 已确认 Netdata 服务正常运行,版本和实际配置目录已记录。
- [ ] 已核对
system.cpu、system.ram、磁盘、网卡等图表 ID 与维度。 - [ ] CPU、iowait、steal、负载、内存 available 和 Swap 已分别判断。
- [ ] 根分区、数据分区、日志分区和备份分区均纳入容量及 inode 监控。
- [ ] 磁盘延迟、网络错误、丢弃和重传没有被容量或流量指标替代。
- [ ] 预警与严重告警设置了持续时间,避免瞬时波动触发通知。
- [ ] 告警规则设置了恢复通知和合理的重复提醒周期。
- [ ] 邮件或其他通知渠道已经完成实际送达验证。
- [ ] 日本境内外部探针与服务器本机监控已经分开配置。
- [ ] 已记录规则备份位置、回退文件名和重新加载命令。
- [ ] 未通过生产环境压满 CPU、磁盘或停止服务来测试告警。
- [ ] 已观察至少一个业务高峰时段,并根据误报情况调整阈值。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/4923.html



