日本服务器用Nagios监控主机与服务,怎样设置检查项并验证告警是否生效
在已经运行 Nagios Core 的环境中,为日本服务器补充监控,重点不是简单增加一个主机对象,而是把“主机是否可达、服务是否可用、资源是否接近耗尽、告警是否真正送达”分别设置为可验证的检查项。配置完成后,还要通过安全的测试服务确认 CRITICAL 告警、恢复通知和重复告警抑制均符合预期。
下面以 Nagios Core 监控一台 Linux 日本服务器为例,假定监控端已经安装 Nagios Plugins,目标服务器已经配置 NRPE 或具备其他远程检查方式。示例中的主机名、IP、域名、路径和联系人均需替换为现有环境中的实际值,不从生产服务器上停止 SSH、Nginx 或删除文件来制造故障。
现状与条件:先确认监控链路
确认 Nagios 配置位置和服务名称
不同发行版的配置路径可能不同,常见位置包括:
- 源码或独立部署:
/usr/local/nagios/etc/nagios.cfg - Debian、Ubuntu 部分软件包:
/etc/nagios4/nagios.cfg - 插件目录:
/usr/lib/nagios/plugins或/usr/local/nagios/libexec
先在监控端核对 Nagios 主程序、配置文件和服务单元,不要直接套用其他服务器的路径。
command -v nagios
sudo find /etc /usr/local/nagios -name nagios.cfg 2>/dev/null
systemctl list-unit-files | grep -E '^nagios(4)?\.service'
检查插件是否存在:
PLUGIN_DIR=/usr/lib/nagios/plugins
for plugin in check_ping check_ssh check_http check_nrpe check_disk check_load check_dummy
do
if [ -x "$PLUGIN_DIR/$plugin" ]; then
echo "OK: $PLUGIN_DIR/$plugin"
else
echo "MISSING: $PLUGIN_DIR/$plugin"
fi
done
如果插件目录实际为 /usr/local/nagios/libexec,应将后续示例中的 $USER1$ 或插件路径与现有 resource.cfg 保持一致。Nagios 命令中的插件名称、参数格式也可能随版本变化,不能仅凭配置文件名称判断,必要时执行:
/usr/lib/nagios/plugins/check_http --help
/usr/lib/nagios/plugins/check_load --help
/usr/lib/nagios/plugins/check_nrpe --help
检查日本服务器的时间、地址和访问方式
日本服务器通常同时具备 IPv4、IPv6、域名和 HTTPS 入口。监控时需要明确 Nagios 实际检查的路径,否则可能出现浏览器访问正常、Nagios 却因 DNS 或 IPv6 路径不同而报警。
在目标服务器上核对主机信息:
hostnamectl
ip -br address
timedatectl
在 Nagios 监控端检查域名解析:
getent ahosts app.example.jp
如果 DNS 同时返回 A 和 AAAA 记录,而应用只允许其中一种协议,应在检查命令中明确使用 -4 或 -6。对于 HTTPS 检查,还要使用正确的域名作为 Host/SNI,不能只填写 IP 地址,否则可能误报证书或虚拟主机错误。
监控端与目标服务器的时间应保持同步。时间不一致会影响告警时间线、维护窗口、证书剩余时间和日志比对。除非有明确的系统时区规范,不要为了 Nagios 单独修改生产服务器时区;只需记录监控端和目标端分别使用的时区,并确认时间同步服务正常。
先备份再修改配置
配置调整前备份将要修改的对象文件。备份只影响配置文件,不会改变当前运行状态,也不会自动保存历史监控数据。
NAGIOS_ETC=/usr/local/nagios/etc
BACKUP_DIR=/var/backups/nagios-$(date +%Y%m%d%H%M%S)
sudo mkdir -p "$BACKUP_DIR"
sudo cp -a "$NAGIOS_ETC/nagios.cfg" "$BACKUP_DIR/"
sudo cp -a "$NAGIOS_ETC/objects" "$BACKUP_DIR/"
echo "Backup saved to: $BACKUP_DIR"
如果实际配置目录不同,应替换 NAGIOS_ETC。回滚时只恢复本次修改过的文件,避免覆盖其他管理员同时提交的配置。
日常操作:设置主机、服务和阈值
先按故障层次拆分检查项
一台日本业务服务器不应只设置一个 Ping 检查。建议将检查分为四层:
| 层级 | 检查对象 | 典型检查项 | 主要判断 |
|---|---|---|---|
| 主机可达性 | 服务器网络入口 | ICMP、主机状态 | 服务器是否能从监控端到达 |
| 基础服务 | SSH、NRPE、DNS | TCP 端口、远程插件 | 管理和监控通道是否可用 |
| 业务入口 | HTTP/HTTPS | 状态码、健康检查路径、TLS | 用户请求是否能获得预期响应 |
| 资源与前兆 | 磁盘、inode、负载、进程 | NRPE 远程插件 | 是否存在故障前的资源压力 |
主机状态与服务状态要分开。Ping 丢包不一定代表 HTTPS 已经不可用;反过来,主机仍然可达,也不能说明 Nginx、应用进程或数据库连接正常。
根据业务影响设置阈值
以下是适合用于初始配置的参考值,实际阈值应结合日本服务器的 CPU 核数、磁盘用途、日常流量和业务高峰调整。
| 指标 | Warning 参考值 | Critical 参考值 | 设置时注意 |
|---|---|---|---|
| ICMP 延迟 | 100 ms 或丢包 20% | 300 ms 或丢包 60% | 延迟取决于监控端位置,不能代表所有地区用户体验 |
| 主机连续失败 | 连续 2 次进入软状态 | 连续 3 次进入硬状态 | 避免一次瞬时丢包立即通知 |
| 根分区可用空间 | 低于 20% | 低于 10% | 日志盘、数据库盘应单独设置 |
| inode 可用比例 | 低于 20% | 低于 10% | 大量小文件可能先耗尽 inode |
| HTTPS | 非预期状态码或超时 | 持续失败、连接拒绝 | 使用真实健康检查路径 |
| TLS 证书 | 剩余少于 30 天 | 剩余少于 7 天 | 证书更新后要验证恢复通知 |
| 系统负载 | 持续超过正常峰值 | 持续影响请求处理 | 不能把固定数字套用到所有 CPU 规格 |
| 关键进程 | 进程数低于预期 | 进程不存在 | 进程存在不等于业务可用 |
Warning 应用于趋势和提前处置,Critical 应尽量对应用户影响或即将造成影响的状态。比如磁盘剩余 19% 不一定需要立即切换业务,但应检查日志增长;HTTPS 健康接口持续返回 500,则应作为高优先级事件处理。
添加命令定义
如果现有 commands.cfg 中没有相同名称的命令,可以增加以下示例。先确认 $USER1$ 指向实际插件目录,避免重复定义已经存在的命令。
define command {
command_name check_https_health
command_line $USER1$/check_http -H $ARG1$ -S -p 443 -u /healthz -e 200 -t 10
}
define command {
command_name check_tls_expiry
command_line $USER1$/check_http -H $ARG1$ -S -p 443 -C $ARG2$ -t 10
}
define command {
command_name check_nrpe_custom
command_line $USER1$/check_nrpe -H $HOSTADDRESS$ -c $ARG1$ -t 10
}
check_https_health 使用域名作为 Host 参数,适合 HTTPS 虚拟主机。/healthz 只是示例路径,应换成业务实际提供的健康检查接口。该接口最好能够同时反映应用进程和必要的后端依赖,但不要让一次非关键依赖波动导致所有服务器同时告警。
check_tls_expiry 中的 -C 30,7 表示以 30 天和 7 天作为证书剩余时间的两级阈值。不同版本的 check_http 参数可能略有差异,应以本机 check_http --help 输出为准。
配置远程资源检查
如果使用 NRPE,需要在日本服务器的 NRPE 配置中增加经过确认的命令。插件路径要以目标服务器实际路径为准,下面以常见路径作为示例。
command[check_disk_root]=/usr/lib/nagios/plugins/check_disk -w 20% -c 10% -p /
command[check_load_4cpu]=/usr/lib/nagios/plugins/check_load -w 6.0,5.0,4.0 -c 10.0,8.0,6.0
command[check_nginx_process]=/usr/lib/nagios/plugins/check_procs -C nginx -c 1:
这里的负载阈值仅适合用于一台约 4 vCPU 服务器的初始参考。check_load 通常按 1 分钟、5 分钟、15 分钟负载依次判断;如果目标服务器是 2 vCPU、8 vCPU 或存在稳定的批处理任务,应根据历史正常值重新设置。
在 NRPE 配置中限制允许连接的监控端地址,只允许 Nagios 监控端访问 NRPE 端口。不要将 NRPE 端口直接暴露到公网。如果需要调整防火墙,先保存现有规则,变更范围只限于监控端 IP,验证失败时恢复原规则。NRPE 服务名称可能是 nrpe 或 nagios-nrpe-server,应先查询实际服务名。
面向需要持续监控主机、网络入口与业务服务的日本部署场景,A5idc数据提供日本物理服务器资源,覆盖Xeon Gold、AMD EPYC与NVMe存储,并配有CN2、国际带宽及不同线路方案;CTG系列还支持SSD、大容量HDD和多IP配置,可承载网站、业务后台、数据库及文件存储等不同类型服务,为Nagios按主机、服务、磁盘和网络维度建立检查对象提供相应的基础资源。
增加日本服务器主机对象
以下配置假定现有环境已经定义了 linux-server、generic-service、check-host-alive、admins 等对象。如果这些名称不存在,应先从现有配置中查找对应模板和联系人,不要盲目重复定义。
define host {
use linux-server
host_name jp-app-01
alias Japan application server 01
address 203.0.113.20
check_command check-host-alive
check_interval 5
retry_interval 1
max_check_attempts 3
notification_interval 60
notification_options d,u,r
contact_groups admins
notifications_enabled 1
}
203.0.113.20 是文档示例地址,不能直接用于生产。max_check_attempts 3 表示第一次失败先进入软状态,连续达到设定次数后才进入硬状态并触发通知,有助于过滤短暂丢包。
增加服务检查对象
define service {
use generic-service
host_name jp-app-01
service_description ICMP-Latency
check_command check_ping!100.0,20%!300.0,60%
check_interval 5
retry_interval 1
max_check_attempts 3
notification_interval 60
notification_options w,u,c,r
contact_groups admins
check_period 24x7
notification_period 24x7
flap_detection_enabled 1
}
define service {
use generic-service
host_name jp-app-01
service_description SSH
check_command check_ssh
check_interval 5
retry_interval 1
max_check_attempts 3
notification_interval 60
notification_options w,u,c,r
contact_groups admins
}
define service {
use generic-service
host_name jp-app-01
service_description HTTPS-Health
check_command check_https_health!app.example.jp
check_interval 2
retry_interval 1
max_check_attempts 3
notification_interval 30
notification_options w,u,c,r
contact_groups admins
}
define service {
use generic-service
host_name jp-app-01
service_description TLS-Certificate
check_command check_tls_expiry!app.example.jp!30,7
check_interval 60
retry_interval 5
max_check_attempts 2
notification_interval 1440
notification_options w,u,c,r
contact_groups admins
}
define service {
use generic-service
host_name jp-app-01
service_description Root-Disk
check_command check_nrpe_custom!check_disk_root
check_interval 5
retry_interval 1
max_check_attempts 3
notification_interval 60
notification_options w,u,c,r
contact_groups admins
}
define service {
use generic-service
host_name jp-app-01
service_description System-Load
check_command check_nrpe_custom!check_load_4cpu
check_interval 5
retry_interval 1
max_check_attempts 3
notification_interval 60
notification_options w,u,c,r
contact_groups admins
}
HTTPS 健康检查设置为 2 分钟一次,是因为它更接近用户入口;证书检查每 60 分钟一次即可,不需要每分钟重复查询。证书告警的 notification_interval 1440 表示每天最多重复通知一次,避免同一张即将过期的证书在短时间内形成大量重复邮件。
主机不可达时,不应让 SSH、HTTPS、磁盘和负载同时形成同等优先级的告警。应在现有 Nagios 配置中确认主机父子关系、主机状态通知和服务通知抑制逻辑。对于有路由器、防火墙或专用网络入口的环境,先定义正确的 parents,使 Nagios 能区分 DOWN 和 UNREACHABLE。
配置降噪而不是隐藏故障
告警降噪可以从以下几方面处理:
- 通过
max_check_attempts过滤一次性超时,不要用极高阈值掩盖真正故障。 - 通过
retry_interval让失败状态在短时间内重试。 - 通过
notification_interval控制持续故障的重复通知。 - 对证书、磁盘、inode 等趋势性问题设置较长的重复通知间隔。
- 启用 flap detection,避免状态在 OK、WARNING、CRITICAL 之间快速抖动时不断发信。
- 不要在刚接入监控时就启用自动重启。先观察告警准确度,确认故障范围后再单独设计事件处理器。
负载、磁盘和延迟都应结合历史数据观察。若日本服务器每天固定时间执行备份,备份期间负载升高是已知行为,可以设置维护窗口或调整阈值,但不能简单关闭整个服务通知。
结果检查:验证配置、状态和通知链路
先做配置语法检查
修改完成后,先执行 Nagios 配置验证。使用实际的 nagios.cfg 路径:
sudo nagios -v /usr/local/nagios/etc/nagios.cfg
成功时应看到类似以下结果:
Total Warnings: 0
Total Errors: 0
Things look okay - No serious problems were detected during the pre-flight check
如果存在错误,不要 reload。常见原因包括对象名称重复、模板不存在、check_command 参数数量不匹配、联系人组未定义以及配置文件没有被 nagios.cfg 的 cfg_file 或 cfg_dir 引入。
确认没有错误后,再使用实际服务名加载配置:
sudo systemctl reload nagios
sudo systemctl is-active nagios
如果系统中使用的是 nagios4.service,应执行:
sudo systemctl reload nagios4
sudo systemctl is-active nagios4
reload 只重新读取监控配置,不会重启日本服务器上的业务进程。若 reload 失败,保留当前运行实例,先查看服务日志和 Nagios 日志,不要连续重复执行 reload。
检查监控端到目标端的实际结果
从 Nagios 监控端直接运行插件,确认检查结果与 Web 界面一致:
/usr/lib/nagios/plugins/check_ping \
-H 203.0.113.20 \
-w 100.0,20% \
-c 300.0,60%
/usr/lib/nagios/plugins/check_ssh \
-H 203.0.113.20
/usr/lib/nagios/plugins/check_http \
-H app.example.jp \
-S \
-p 443 \
-u /healthz \
-e 200 \
-t 10
/usr/lib/nagios/plugins/check_nrpe \
-H 203.0.113.20 \
-c check_disk_root \
-t 10
返回码通常具有以下含义:
0:OK1:WARNING2:CRITICAL3:UNKNOWN
HTTPS 检查还要核对实际返回内容:
curl -skS --connect-timeout 5 \
-o /dev/null \
-w 'http_code=%{http_code} time_connect=%{time_connect} time_total=%{time_total}\n' \
https://app.example.jp/healthz
如果 curl 返回 200,而 Nagios 返回 CRITICAL,应优先检查两者是否使用了相同的域名、地址族、出口网络和请求路径。Nagios 监控端的检查结果只能说明“从这个监控位置看到的状态”,不能直接代表所有日本本地或海外访问者的结果。
查看状态转移和通知记录
在 Nagios Web 界面中检查:
- 主机是否从 Pending 进入 UP;
- 每个服务是否显示正确的插件输出;
- 检查间隔是否符合配置;
Notifications是否启用;- 联系人组是否包含实际接收人;
- 服务是否被错误地设置为 downtime 或 acknowledged。
同时查看 Nagios 日志:
sudo tail -f /usr/local/nagios/var/nagios.log
也可以筛选指定主机:
sudo grep 'jp-app-01' /usr/local/nagios/var/nagios.log | tail -n 30
应能够看到服务状态从 SOFT 变为 HARD,以及相应的 SERVICE NOTIFICATION 记录。邮件、短信或工单系统还需要在接收端确认,不要只以 Nagios 日志中出现通知记录作为最终验收结果。
告警验证:用测试服务验证通知是否生效
不通过停止生产服务制造故障
以下操作不建议用于告警测试:
- 停止 SSH、Nginx 或应用服务;
- 临时删除默认路由;
- 修改公网防火墙使服务器不可达;
- 持续写入文件直到磁盘满;
- 删除日志、数据库或应用数据;
- 修改生产证书或强制返回错误。
这些方法会影响真实业务,而且恢复过程可能引入新的故障。更安全的方式是在 Nagios 中创建一个临时测试服务,由 check_dummy 直接返回 CRITICAL。
先确认插件存在:
test -x /usr/lib/nagios/plugins/check_dummy \
&& echo "check_dummy is available"
在命令配置中增加临时命令:
define command {
command_name check_nagios_notification_test
command_line $USER1$/check_dummy 2 "Nagios notification test"
}
再增加一个临时服务。联系人组应使用真实接收告警的联系人组,测试服务名称必须明显标记为临时对象。
define service {
use generic-service
host_name jp-app-01
service_description NOTIFY-TEST-REMOVE
check_command check_nagios_notification_test
check_interval 1
retry_interval 1
max_check_attempts 2
notification_interval 0
notification_options w,u,c,r
contact_groups admins
notifications_enabled 1
}
再次执行配置检查并 reload。由于该检查会返回 CRITICAL,预计第一次检查进入软状态,达到 max_check_attempts 后进入硬状态。验证以下内容:

- Web 界面中
NOTIFY-TEST-REMOVE是否变为 CRITICAL。 - Nagios 日志中是否出现该服务的硬状态变化。
- 日志中是否出现 CRITICAL 通知记录。
- 实际邮箱、短信或工单系统是否收到通知。
notification_interval 0是否避免了持续重复通知。- 通知内容中的主机名、服务名、状态和插件输出是否准确。
验证恢复通知
验证 CRITICAL 通知后,将测试命令改为返回 OK:
define command {
command_name check_nagios_notification_test
command_line $USER1$/check_dummy 0 "Nagios notification recovery test"
}
执行配置检查并 reload。下一次检查成功后,Nagios 应将该服务从 CRITICAL 转为 OK,并发送恢复通知。此时要确认恢复通知没有被联系人配置、通知选项或维护状态抑制。
验证结束后,删除临时服务和临时命令,或者将其放入明确的测试配置目录并关闭通知。生产环境不应长期保留始终返回 CRITICAL 的测试对象。
异常处理:按结果定位问题
服务显示 UNKNOWN 或 NRPE 超时
先确认插件本身能否连接目标服务器:
/usr/lib/nagios/plugins/check_nrpe \
-H 203.0.113.20 \
-c check_disk_root \
-t 10
如果返回连接失败,依次检查:
- 目标服务器 NRPE 服务是否运行;
- NRPE 是否只允许 Nagios 监控端 IP;
- TCP 5666 是否被网络策略拦截;
- NRPE 与插件的 TLS 或协议版本是否兼容;
- 远程插件路径是否存在且具备执行权限;
command[...]中的命令是否引用了不存在的参数。
如果连接成功但返回 UNKNOWN,通常是远程插件执行失败、参数格式错误、权限不足或挂载点不存在。此时应先在目标服务器本地执行对应插件,再调整命令,不要直接放宽权限或将 NRPE 开放到公网。
HTTPS 正常但 Nagios 报警
优先比较以下条件:
- Nagios 使用的域名是否与浏览器访问域名一致;
- Nagios 是否优先走了 IPv6;
- HTTPS 证书是否要求正确的 SNI;
/healthz是否需要认证或特定请求头;- Nagios 监控端是否经过不同的 DNS、出口或防火墙;
- 超时时间是否小于日本服务器的正常响应时间;
- 检查返回的是 200、301、403 还是 500。
如果业务允许重定向,检查命令中可能需要启用跟随跳转的参数;如果健康接口只接受特定 Host,则应在命令中固定正确域名。不要因为一次 curl 成功就直接提高超时或取消证书校验。
磁盘或 inode 告警
磁盘空间和 inode 要分别判断:
df -h
df -i
如果空间不足,先确认增长最快的挂载点、日志目录、临时目录和备份目录。不要直接执行全盘删除。涉及日志清理、数据库文件、容器层或备份文件时,应先确认保留周期、备份状态和业务负责人,必要时先做快照或目录级备份,并记录可恢复路径。
如果空间充足但 inode 不足,通常是大量小文件造成,应定位文件数量和生成进程,而不是继续扩大磁盘容量。
负载告警但服务仍可访问
负载值需要结合 CPU 核数、运行队列、I/O 等待和业务响应时间判断:
nproc
uptime
free -m
高负载可能来自 CPU 计算、磁盘 I/O、备份任务或大量进程等待。仅提高 check_load 阈值会掩盖前兆。应同时查看 HTTPS 响应时间、应用错误率和磁盘延迟,再决定是调整阈值、安排维护窗口,还是处理实际任务。
没有收到告警
按照通知链路从 Nagios 内部向外检查:
- 主机或服务的
notifications_enabled是否为1。 - 当前状态是否达到硬状态。
notification_options是否包含对应的w、u、c或r。- 联系人或联系人组是否真正挂在该主机或服务上。
- 当前对象是否处于 downtime 或 acknowledged。
nagios.log是否生成SERVICE NOTIFICATION。- 邮件命令、SMTP、中继或工单接口是否正常。
- 接收端是否将通知放入垃圾邮件或重复事件合并队列。
如果日志中没有通知记录,问题通常在 Nagios 状态或联系人配置;如果日志有通知记录但收件人没有收到,问题通常在邮件、短信或外部工单通道。
必要恢复:回滚配置和清理测试对象
配置校验失败时
配置校验失败时不要 reload。先保存错误输出,确认是新增文件未被正确引用、模板重复,还是参数语法不兼容。修正后再次执行:
sudo nagios -v /usr/local/nagios/etc/nagios.cfg
只有在 Errors: 0 后再 reload。
reload 后状态异常时
如果本次修改导致大量对象消失、通知异常或服务状态错误,应恢复本次备份中的相关对象文件,而不是覆盖整个 Nagios 配置目录:
sudo cp -a /var/backups/nagios-YYYYMMDDHHMMSS/objects/services-jp.cfg \
/usr/local/nagios/etc/objects/services-jp.cfg
sudo nagios -v /usr/local/nagios/etc/nagios.cfg
sudo systemctl reload nagios
上面的备份目录、文件名和服务名需要替换为实际值。恢复前确认没有覆盖其他管理员在同一时间提交的配置。回滚只恢复 Nagios 配置,不会改变日本服务器上的应用、网络或磁盘数据。
维护结束后的清理
测试告警完成后,删除或禁用 NOTIFY-TEST-REMOVE 服务及其专用命令,重新做配置校验并 reload。最后确认:
- 测试对象不再出现在生产监控列表;
- 正常业务服务仍显示 OK;
- 测试产生的 CRITICAL 和恢复通知均有记录;
- 没有遗留 downtime、acknowledgement 或临时联系人;
- 备份文件按现有配置保留策略归档。
上线前验收清单
- [ ] Nagios 配置路径、插件目录和服务名称已核对。
- [ ] 日本服务器的 IP、域名、IPv4/IPv6 访问方式已确认。
- [ ] 监控端和目标端时间同步,告警时间能够与业务日志对应。
- [ ] 主机可达性、SSH、HTTPS、TLS、磁盘、inode、负载和关键进程已按需拆分。
- [ ] Warning 与 Critical 阈值有业务依据,没有直接套用到不同 CPU、磁盘和业务类型。
- [ ] 主机失败与服务失败的通知关系已确认,避免一次网络故障产生大量重复告警。
- [ ]
max_check_attempts、retry_interval和notification_interval已完成降噪设置。 - [ ]
nagios -v检查无错误,reload 后服务进程保持运行。 - [ ] Web 界面显示的插件输出、检查间隔和联系人组正确。
- [ ] 通过临时
check_dummy服务验证了 CRITICAL 告警。 - [ ] 已验证恢复通知、重复告警抑制和实际接收端投递。
- [ ] 测试对象已删除或禁用,没有遗留测试告警。
- [ ] 配置备份位置、回滚文件和回滚步骤已记录。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/8490.html

