日本服务器安装Netdata后,哪些指标需要监控并如何设置告警?

发布人:A5数据发布时间:2026-10-21 11:27阅读量:144

日本服务器已经安装并运行 Netdata 后,日常监控不应只盯着 CPU 使用率。需要同时观察 CPU 等待、内存可用量、Swap、磁盘空间与延迟、网络丢包、关键服务响应以及来自日本用户侧的访问延迟。告警阈值也不宜采用“一次超过就通知”的方式,而应结合持续时间、历史基线和故障关联关系,区分预警、严重告警与恢复通知。

实际配置时,可以先使用 Netdata 自带的系统指标和默认健康规则,再针对业务特点补充告警。日本机房、东京或大阪访问节点只能说明服务器所在位置,不能代表所有日本用户的访问质量;服务器本机指标与外部探针需要分别监控,才能判断问题发生在主机、网络路径还是应用层。

现有环境与监控边界配图

现有环境与监控边界

本文以已经安装 Netdata Agent 的 Linux 服务器为前提,不重复安装过程。开始调整告警前,先确认 Netdata 服务、采集接口和本机 API 是否正常。

sudo systemctl is-active netdata
netdata -v
sudo netdatacli ping
curl -s http://127.0.0.1:19999/api/v1/info | jq .

如果系统没有 jq,可以先直接查看原始 JSON:

curl -s http://127.0.0.1:19999/api/v1/info

Netdata 的服务名通常是 netdata,但不同发行版或手工安装方式可能存在差异。无法找到服务时,先核对实际服务名,不要直接执行重启命令:

systemctl list-unit-files | grep -i netdata
ps -ef | grep '[n]etdata'

还需要确认本机 API 的监听范围:

sudo ss -lntp | grep 19999

如果 Netdata 只监听 127.0.0.1:19999,本地检查不受影响,也能减少监控面板暴露风险。若监听在公网地址,应通过防火墙、访问控制或受保护的管理网络限制访问,不建议为了方便直接开放给所有来源。

先核对图表名称和维度

健康规则中的 on 和 lookup 必须匹配当前 Netdata 生成的图表名称。不同发行版、采集器和磁盘挂载方式可能导致图表 ID 不同,尤其是网卡、磁盘和文件系统名称。

curl -s http://127.0.0.1:19999/api/v1/charts \
  | jq -r '.charts | keys[]' \
  | grep -E 'system\.(cpu|ram|swap|load)|disk|net'

查看某个图表的维度:

curl -s 'http://127.0.0.1:19999/api/v1/data?chart=system.cpu&after=-60&points=1&format=json' \
  | jq '{dimension_names, labels}'

在生产环境中,建议先记录以下条件:

  • 虚拟 CPU 数量、内存容量和 Swap 大小;
  • 根分区、数据分区、日志分区的挂载点和容量;
  • 对外提供的端口、服务名称及进程;
  • 日本用户访问的主要入口,例如网站、API、邮件服务或数据库连接;
  • 过去 7 至 14 天的 CPU、内存、磁盘和网络基线。

Netdata 看到的是服务器本机或服务器所在网络的状态。它不能单独证明日本三大运营商、东京到大阪或日本境外用户的访问延迟,因此公网可用性应使用日本境内的外部探针补充。

面向日本本地访问与跨境业务,A5数据提供日本物理服务器,涵盖Xeon Gold、AMD EPYC及NVMe存储等配置;CTG系列还提供SSD、大容量HDD、多IP等方案,并有CIA、GIA、CN2和SoftBank等线路选项。不同硬件与网络资源可承载网站、数据库和接口服务,也为Netdata监控主机负载、存储状态及网络指标提供相应的部署基础。

关键指标与告警起始值

下面的数值适合作为初始参考,不是所有业务都必须采用的固定标准。高峰型网站、编译任务、批处理服务器和数据库服务器应使用自身历史数据修正阈值。

监控对象重点指标预警参考值严重告警参考值建议持续时间
CPU非空闲使用率超过 75%超过 90%5 至 10 分钟
CPU 等待iowait超过 15%超过 30%5 分钟
虚拟化资源steal超过 5%超过 15%5 分钟
系统负载5 分钟负载 / vCPU大于 1大于 210 分钟
内存available 占比低于 20%低于 10%5 分钟
Swap持续换入换出持续出现持续升高并伴随响应变慢5 分钟
文件系统已用空间超过 80%超过 90%5 分钟
inode已用 inode超过 80%超过 90%5 分钟
磁盘延迟或队列高于平时 2 倍延迟超过 50 毫秒5 分钟
网络丢包、错误、丢弃持续非零或超过 1%超过 3%5 分钟
服务HTTP 错误或连接失败连续 2 次连续 3 至 5 次1 至 5 分钟
外部访问日本探针 RTT高于基线 2 倍超过业务上限5 分钟

CPU、负载与虚拟化等待

CPU 总使用率只能说明处理器是否繁忙,不能单独说明故障原因。应同时观察:

  • user 和 system:判断是应用计算还是内核、网络、系统调用消耗;
  • iowait:判断线程是否在等待磁盘或其他块设备;
  • steal:判断虚拟机是否因宿主机资源争用而等待;
  • load:反映正在运行或等待 CPU、磁盘等资源的任务数量。

例如,4 vCPU 服务器的 5 分钟负载为 3.2,负载与 vCPU 比值为 3.2 ÷ 4 = 0.8,通常不应仅因这个数值触发严重告警。相同负载出现在 2 vCPU 服务器上时,比值为 1.6,说明任务排队压力更大。

CPU 使用率持续高但 iowait 很低,通常先查进程和请求量;CPU 不高、iowait 很高,则应优先检查磁盘延迟、日志写入和数据库 I/O。虚拟机的 steal 持续升高时,应用本身可能没有明显变化,但响应时间会恶化,这类问题应记录时间段并联系服务器资源提供方核对宿主机资源。

CPU、负载与虚拟化等待配图

内存、Swap 与内存压力

不要只对 free 设置告警。Linux 会将空闲内存用于缓存,free 较低并不一定代表内存不足。更适合作为告警依据的是 available、Swap 活动和系统压力。

建议按照以下关系判断:

  • available 降低,但 Swap 没有活动:可能只是缓存占用,观察即可;
  • available 低于 20%,并持续下降:进入预警状态;
  • available 低于 10%,同时出现 Swap 换入换出:需要检查进程或缓存增长;
  • Swap 已使用量较高但没有持续换入换出:不一定是故障,Linux 可能保留很久以前换出的页面;
  • Swap 持续换入换出并伴随接口延迟上升:通常比“Swap 已使用 10%”更值得告警。

对于内存较小的日本业务机,可以把 available 的预警值提高到 25%,为日志轮转、连接突增和内核缓存留出余量。

磁盘空间、inode 与 I/O 延迟

磁盘监控至少要分成三类:

  1. 文件系统空间:用于发现日志、上传文件、备份文件或缓存持续增长;
  2. inode:用于发现大量小文件导致“空间尚有剩余但无法创建文件”;
  3. I/O 延迟与队列:用于发现磁盘性能下降,而不只是容量不足。

容量告警的阈值应结合增长速度。可用天数可以按以下方式估算:

可用天数 = 当前可用空间 ÷ 过去 24 小时平均增长量

例如日志分区可用空间为 24 GB,过去一天平均增长 3 GB,则理论可用时间约为 24 ÷ 3 = 8 天。即使空间还未达到 90%,也可以提前建立预警,避免在日本当地业务高峰期间才被动处理。

不要只监控根分区。网站日志、数据库、容器数据、备份目录可能位于独立挂载点,应逐个确认图表和挂载点。

网络吞吐、错误与外部可用性

网络流量本身不是故障指标。带宽利用率持续达到端口上限、错误包、丢弃包、TCP 重传和连接失败更有判断价值。

日本服务器还应区分两种延迟:

  • 服务器本机看到的网卡、连接和重传指标;
  • 日本不同运营商或地区探针访问业务入口的 RTT、丢包、HTTP 状态码和首字节时间。

服务器本机 ping 127.0.0.1 正常,只能说明本机协议栈可用;从服务器访问自身公网地址正常,也不能证明东京、名古屋、大阪或其他地区用户访问正常。外部探针应至少设置两个日本境内观测点,单个探针异常时不要立即升级为全局网络故障。

在现有 Netdata 中设置告警

备份现有健康规则

调整前先保存本地规则和通知配置。备份操作不会修改正在运行的服务,但备份文件中可能含有通知地址或敏感参数,应限制权限。

sudo mkdir -p /root/netdata-alert-backup
sudo cp -a /etc/netdata/health.d \
  /root/netdata-alert-backup/health.d-$(date +%F-%H%M%S)

sudo cp -a /etc/netdata/health_alarm_notify.conf \
  /root/netdata-alert-backup/health_alarm_notify.conf-$(date +%F-%H%M%S) 2>/dev/null || true

本地自定义规则通常放在 /etc/netdata/health.d/。如果目录不存在,先确认当前安装方式和配置目录,不要直接把规则写入发行版提供的默认目录,以免升级时被覆盖。

sudo find /etc/netdata -maxdepth 2 -type d -name 'health.d' -print

增加具有持续时间的规则

以下是 Netdata 传统 health .conf 语法的示例,重点用于说明告警结构。使用前应根据前面查到的图表维度核对 system.cpu、system.ram 和文件系统图表名称。

alarm: cpu_iowait_japan_server
on: system.cpu
lookup: average -5m percentage of iowait
units: %
every: 1m
warn: $this > 15
crit: $this > 30
delay: up 5m down 5m
repeat: every 2h
to: sysadmin
info: CPU is waiting for I/O for a sustained period.

alarm: memory_available_japan_server
on: system.ram
lookup: average -5m percentage of available
units: %
every: 1m
warn: $this < 20
crit: $this < 10
delay: up 5m down 10m
repeat: every 2h
to: sysadmin
info: Available memory is below the configured threshold.

alarm: root_filesystem_japan_server
on: disk_space._root
lookup: average -5m percentage of avail
units: %
every: 1m
warn: $this < 20
crit: $this < 10
delay: up 5m down 10m
repeat: every 4h
to: sysadmin
info: Root filesystem available space is low.

这里的磁盘规则假定图表 ID 是 disk_space._root,并且 avail 表示可用空间。如果实际图表名称是其他形式,应以 API 返回值为准。不同版本或采集器下,挂载点可能表现为编码后的图表 ID,不能直接照抄。

delay: up 用于要求条件持续一段时间后才进入告警,delay: down 用于恢复后持续稳定一段时间才发送恢复通知。repeat 用于限制重复提醒频率。某些较旧版本对延迟或重复通知语法支持不同,若重新加载时出现配置解析错误,应查看日志并按当前版本支持的语法调整,不要反复重启服务尝试。

CPU 总使用率可以按业务情况增加规则,但不要同时创建多个含义重复的 CPU 告警。例如,已有默认规则负责总 CPU 使用率时,只增加 iowait 和 steal 规则即可,避免一次负载升高触发多封内容相同的邮件。

配置通知渠道

告警规则中的 to: sysadmin 只是选择通知组,还需要在通知配置中定义接收方式。以邮件为例,先确认服务器已经配置可用的本地邮件发送组件,再编辑通知配置:

sudoedit /etc/netdata/health_alarm_notify.conf

配置内容示例:

SEND_EMAIL="YES"
DEFAULT_RECIPIENT_EMAIL="ops@example.com"

邮箱地址应替换为实际运维组地址。SMTP 密码、Webhook 密钥等敏感信息不要直接写入公开脚本或提交到代码仓库。配置通知后,先确认测试邮件能到达,并检查邮件是否被延迟、退信或归档到垃圾邮件。

如果使用 Netdata Cloud 或其他受支持的通知渠道,应在对应渠道完成授权,并将接收者绑定到告警组。不要把通知渠道的网络失败误判成服务器没有产生告警,必要时保留一种独立的备用通知方式。

重新加载并验证规则

优先重新加载健康规则,不要为了加载一条规则直接重启整个 Netdata 服务:

sudo netdatacli reload-health

如果当前版本不支持该命令,先查看可用命令:

sudo netdatacli help

确认版本支持后,再使用发行版提供的 reload 操作。重启属于后备方案,因为重启期间可能产生一段监控数据空洞:

sudo systemctl reload netdata

重新加载后检查日志:

sudo journalctl -u netdata -n 100 --no-pager

查看当前活动告警:

curl -s 'http://127.0.0.1:19999/api/v1/alarms?active' | jq .

如果 API 返回为空,不代表规则没有加载,可能只是当前没有达到阈值。应同时检查日志中是否出现 health 配置解析错误,并在 Netdata 面板中确认图表与规则名称。

不要在高峰期通过人为占满 CPU、制造磁盘写满或停止生产服务来测试严重告警。可在维护窗口建立一个短期、低影响的测试规则,验证通知送达后立即删除,并再次加载健康规则。

告警降噪与故障前兆判断

用持续时间代替瞬时阈值

日本业务高峰、定时备份、日志压缩和缓存刷新都可能造成短时波动。单点 CPU 达到 95% 不一定需要人工介入,但 CPU 连续 10 分钟超过 90%,同时接口延迟升高,就应升级处理。

告警通常可以分为三层:

  • 预警:指标偏离基线,但业务仍正常,安排检查;
  • 严重:指标持续恶化或已经影响请求,立即处理;
  • 恢复:指标回到安全范围并保持稳定,关闭对应事件。

对于响应时间,建议先按过去 7 至 14 天同一时段的典型值设置阈值。例如日本用户正常首字节时间约为 180 毫秒,短时达到 300 毫秒可以观察;如果连续 5 分钟超过 600 毫秒,同时 HTTP 错误率升高,则比单独的 RTT 告警更有价值。

用组合条件识别故障前兆

单个指标的意义有限,下面几种组合更适合用于判断早期风险:

指标组合可能的前兆优先检查
available 下降、Swap 换入增加、负载上升内存不足或进程增长进程内存、连接数、缓存和最近发布
CPU 不高、iowait 上升、磁盘延迟增加磁盘拥塞或数据库写入压力I/O 队列、日志、数据库和备份任务
steal 上升、应用响应变慢虚拟机宿主机资源争用同时段 CPU steal、实例资源状态
磁盘空间下降、inode 快速消耗大量小文件或日志未轮转日志目录、缓存目录、临时文件
网卡丢弃增加、TCP 重传增加、外部 RTT 升高网络拥塞或链路质量下降网卡统计、端口利用率和外部探针
HTTP 5xx 增加、进程存活但响应超时应用线程池、数据库或上游依赖异常应用日志、连接池和上游服务

可以通过设置依赖关系减少级联告警。例如服务器断电或网络完全中断时,CPU、磁盘和应用服务可能同时停止上报。此时应优先保留“主机不可达”或“外部服务不可用”事件,不要让多个下游指标各自发送重复通知。

结果检查与日常巡检

完成规则调整后,至少检查以下内容:

  1. Netdata 服务保持 active,最近日志没有 health 配置解析错误;
  2. 自定义规则出现在当前配置中,图表名称和维度均能对应;
  3. 告警接口能返回当前状态,恢复状态不会长期停留;
  4. 邮件、消息或其他通知渠道能够收到测试通知;
  5. 告警内容包含主机名、规则名、当前值、阈值和恢复状态;
  6. 预警和严重告警没有采用相同的通知频率;
  7. 磁盘、网卡和文件系统的监控对象没有漏掉独立挂载点;
  8. 外部日本探针与服务器本机指标已经分开记录;
  9. 观察至少一个高峰时段,确认没有因正常业务波动产生大量重复提醒。

日常巡检可以从只读命令开始:

free -h
vmstat 1 5
df -hT
df -ih
ss -s
ip -s link
systemctl --failed

如果需要检查磁盘延迟,先确认系统是否安装了 iostat:

command -v iostat

存在时再执行:

iostat -xz 1 5

检查本机 Web 服务只能验证服务器到本地服务的路径:

curl -fsS -o /dev/null \
  -w 'status=%{http_code} time=%{time_total}s\n' \
  http://127.0.0.1/

这个结果正常时,只能说明本机服务可以响应。公网域名、TLS、DNS、CDN 或日本用户到服务器之间的链路仍需从外部探针验证。

异常处理顺序

发现告警后,先判断影响范围,再决定是否操作服务。建议按照由低风险到高风险的顺序处理。

异常处理顺序配图

主机指标异常但业务暂时正常

先查看告警是否持续、是否只发生在定时任务时段,并对照多个指标:

  • CPU 高但 iowait 低:查看进程、请求量和定时任务;
  • 内存低但 Swap 没有活动:查看缓存、进程 RSS 和连接数;
  • 磁盘空间下降:定位增长最快的挂载点和目录;
  • 网络流量升高但无错误:确认是否为正常发布、备份或下载业务;
  • 外部 RTT 升高但服务器指标正常:比较多个日本探针,排除单点线路问题。

此阶段不要先清空日志、停止进程或修改防火墙。先保留告警时间、图表截图、进程列表和相关日志,便于区分一次性事件与持续性故障。

磁盘空间接近耗尽

先确认具体分区:

df -hT
sudo du -xhd1 /var 2>/dev/null | sort -h
sudo du -xhd1 /var/log 2>/dev/null | sort -h

删除日志、备份或上传文件属于有影响的操作。操作前应确认文件用途、保留周期和是否有外部备份;不要直接删除仍被服务写入的日志文件,也不要使用未经核对的通配符批量清理。优先通过应用自身的日志轮转、备份策略或管理员批准的清理流程处理。

如果只是需要释放临时空间,应记录删除对象和数量,并保留恢复来源。清理后重新检查 inode、磁盘空间和应用写入状态,不能只看 df -h 恢复就结束。

服务无响应或返回 5xx

先确认进程、端口和本机响应:

sudo systemctl status nginx --no-pager
sudo ss -lntp
curl -I --max-time 5 http://127.0.0.1/
sudo journalctl -u nginx --since "15 minutes ago" --no-pager

上面的服务名仅适用于实际使用 Nginx 的环境,其他应用应替换为对应服务名。重启应用会中断正在处理的连接或触发短时不可用,必须先确认服务具备自动恢复条件、配置已备份,并评估当前业务影响。若问题来自数据库、上游接口或磁盘 I/O,单纯重启 Web 服务可能只会暂时掩盖原因。

必要恢复与配置回退

如果新增规则导致告警数量异常、通知循环或 Netdata 无法重新加载,先回退本次自定义文件,不要删除整个 /etc/netdata 配置目录。

sudo mv /etc/netdata/health.d/local-japan.conf \
  /etc/netdata/health.d/local-japan.conf.disabled

sudo netdatacli reload-health

如果文件名不同,应替换为实际文件名。这个操作只会停用该自定义规则文件,不会删除历史监控数据,也不会恢复被其他文件覆盖的规则。之后查看日志确认解析错误已经消失:

sudo journalctl -u netdata -n 100 --no-pager
curl -s 'http://127.0.0.1:19999/api/v1/alarms?active' | jq .

需要恢复原配置时,从调整前备份中复制回去。复制前确认目标文件内容,避免覆盖同事在此期间做出的合法修改:

sudo cp -a /root/netdata-alert-backup/health.d-YYYY-MM-DD-HHMMSS/local-japan.conf \
  /etc/netdata/health.d/local-japan.conf

sudo netdatacli reload-health

如果必须重启 Netdata,应预留监控空洞时间,并确认业务服务不依赖 Netdata 进程:

sudo systemctl restart netdata
sudo systemctl is-active netdata
sudo netdatacli ping

防火墙调整、批量删除文件、重启数据库和强制终止进程都不应由单条 Netdata 告警自动触发。此类操作需要明确影响范围、配置或数据备份、执行窗口和回滚命令。

上线或验收检查清单

  • [ ] 已确认 Netdata 服务正常运行,版本和实际配置目录已记录。
  • [ ] 已核对 system.cpu、system.ram、磁盘、网卡等图表 ID 与维度。
  • [ ] CPU、iowait、steal、负载、内存 available 和 Swap 已分别判断。
  • [ ] 根分区、数据分区、日志分区和备份分区均纳入容量及 inode 监控。
  • [ ] 磁盘延迟、网络错误、丢弃和重传没有被容量或流量指标替代。
  • [ ] 预警与严重告警设置了持续时间,避免瞬时波动触发通知。
  • [ ] 告警规则设置了恢复通知和合理的重复提醒周期。
  • [ ] 邮件或其他通知渠道已经完成实际送达验证。
  • [ ] 日本境内外部探针与服务器本机监控已经分开配置。
  • [ ] 已记录规则备份位置、回退文件名和重新加载命令。
  • [ ] 未通过生产环境压满 CPU、磁盘或停止服务来测试告警。
  • [ ] 已观察至少一个业务高峰时段,并根据误报情况调整阈值。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/4923.html

相关推荐