日本服务器用Nagios监控主机与服务,怎样设置检查项并验证告警是否生效

发布人:A5数据发布时间:2026-11-09 14:02阅读量:77

在已经运行 Nagios Core 的环境中,为日本服务器补充监控,重点不是简单增加一个主机对象,而是把“主机是否可达、服务是否可用、资源是否接近耗尽、告警是否真正送达”分别设置为可验证的检查项。配置完成后,还要通过安全的测试服务确认 CRITICAL 告警、恢复通知和重复告警抑制均符合预期。

下面以 Nagios Core 监控一台 Linux 日本服务器为例,假定监控端已经安装 Nagios Plugins,目标服务器已经配置 NRPE 或具备其他远程检查方式。示例中的主机名、IP、域名、路径和联系人均需替换为现有环境中的实际值,不从生产服务器上停止 SSH、Nginx 或删除文件来制造故障。

现状与条件:先确认监控链路

确认 Nagios 配置位置和服务名称

不同发行版的配置路径可能不同,常见位置包括:

  • 源码或独立部署:/usr/local/nagios/etc/nagios.cfg
  • Debian、Ubuntu 部分软件包:/etc/nagios4/nagios.cfg
  • 插件目录:/usr/lib/nagios/plugins 或 /usr/local/nagios/libexec

先在监控端核对 Nagios 主程序、配置文件和服务单元,不要直接套用其他服务器的路径。

command -v nagios
sudo find /etc /usr/local/nagios -name nagios.cfg 2>/dev/null
systemctl list-unit-files | grep -E '^nagios(4)?\.service'

检查插件是否存在:

PLUGIN_DIR=/usr/lib/nagios/plugins

for plugin in check_ping check_ssh check_http check_nrpe check_disk check_load check_dummy
do
    if [ -x "$PLUGIN_DIR/$plugin" ]; then
        echo "OK: $PLUGIN_DIR/$plugin"
    else
        echo "MISSING: $PLUGIN_DIR/$plugin"
    fi
done

如果插件目录实际为 /usr/local/nagios/libexec,应将后续示例中的 $USER1$ 或插件路径与现有 resource.cfg 保持一致。Nagios 命令中的插件名称、参数格式也可能随版本变化,不能仅凭配置文件名称判断,必要时执行:

/usr/lib/nagios/plugins/check_http --help
/usr/lib/nagios/plugins/check_load --help
/usr/lib/nagios/plugins/check_nrpe --help

检查日本服务器的时间、地址和访问方式

日本服务器通常同时具备 IPv4、IPv6、域名和 HTTPS 入口。监控时需要明确 Nagios 实际检查的路径,否则可能出现浏览器访问正常、Nagios 却因 DNS 或 IPv6 路径不同而报警。

在目标服务器上核对主机信息:

hostnamectl
ip -br address
timedatectl

在 Nagios 监控端检查域名解析:

getent ahosts app.example.jp

如果 DNS 同时返回 A 和 AAAA 记录,而应用只允许其中一种协议,应在检查命令中明确使用 -4 或 -6。对于 HTTPS 检查,还要使用正确的域名作为 Host/SNI,不能只填写 IP 地址,否则可能误报证书或虚拟主机错误。

监控端与目标服务器的时间应保持同步。时间不一致会影响告警时间线、维护窗口、证书剩余时间和日志比对。除非有明确的系统时区规范,不要为了 Nagios 单独修改生产服务器时区;只需记录监控端和目标端分别使用的时区,并确认时间同步服务正常。

先备份再修改配置

配置调整前备份将要修改的对象文件。备份只影响配置文件,不会改变当前运行状态,也不会自动保存历史监控数据。

NAGIOS_ETC=/usr/local/nagios/etc
BACKUP_DIR=/var/backups/nagios-$(date +%Y%m%d%H%M%S)

sudo mkdir -p "$BACKUP_DIR"
sudo cp -a "$NAGIOS_ETC/nagios.cfg" "$BACKUP_DIR/"
sudo cp -a "$NAGIOS_ETC/objects" "$BACKUP_DIR/"
echo "Backup saved to: $BACKUP_DIR"

如果实际配置目录不同,应替换 NAGIOS_ETC。回滚时只恢复本次修改过的文件,避免覆盖其他管理员同时提交的配置。

日常操作:设置主机、服务和阈值

先按故障层次拆分检查项

一台日本业务服务器不应只设置一个 Ping 检查。建议将检查分为四层:

层级检查对象典型检查项主要判断
主机可达性服务器网络入口ICMP、主机状态服务器是否能从监控端到达
基础服务SSH、NRPE、DNSTCP 端口、远程插件管理和监控通道是否可用
业务入口HTTP/HTTPS状态码、健康检查路径、TLS用户请求是否能获得预期响应
资源与前兆磁盘、inode、负载、进程NRPE 远程插件是否存在故障前的资源压力

主机状态与服务状态要分开。Ping 丢包不一定代表 HTTPS 已经不可用;反过来,主机仍然可达,也不能说明 Nginx、应用进程或数据库连接正常。

根据业务影响设置阈值

以下是适合用于初始配置的参考值,实际阈值应结合日本服务器的 CPU 核数、磁盘用途、日常流量和业务高峰调整。

指标Warning 参考值Critical 参考值设置时注意
ICMP 延迟100 ms 或丢包 20%300 ms 或丢包 60%延迟取决于监控端位置,不能代表所有地区用户体验
主机连续失败连续 2 次进入软状态连续 3 次进入硬状态避免一次瞬时丢包立即通知
根分区可用空间低于 20%低于 10%日志盘、数据库盘应单独设置
inode 可用比例低于 20%低于 10%大量小文件可能先耗尽 inode
HTTPS非预期状态码或超时持续失败、连接拒绝使用真实健康检查路径
TLS 证书剩余少于 30 天剩余少于 7 天证书更新后要验证恢复通知
系统负载持续超过正常峰值持续影响请求处理不能把固定数字套用到所有 CPU 规格
关键进程进程数低于预期进程不存在进程存在不等于业务可用

Warning 应用于趋势和提前处置,Critical 应尽量对应用户影响或即将造成影响的状态。比如磁盘剩余 19% 不一定需要立即切换业务,但应检查日志增长;HTTPS 健康接口持续返回 500,则应作为高优先级事件处理。

添加命令定义

如果现有 commands.cfg 中没有相同名称的命令,可以增加以下示例。先确认 $USER1$ 指向实际插件目录,避免重复定义已经存在的命令。

define command {
    command_name    check_https_health
    command_line    $USER1$/check_http -H $ARG1$ -S -p 443 -u /healthz -e 200 -t 10
}

define command {
    command_name    check_tls_expiry
    command_line    $USER1$/check_http -H $ARG1$ -S -p 443 -C $ARG2$ -t 10
}

define command {
    command_name    check_nrpe_custom
    command_line    $USER1$/check_nrpe -H $HOSTADDRESS$ -c $ARG1$ -t 10
}

check_https_health 使用域名作为 Host 参数,适合 HTTPS 虚拟主机。/healthz 只是示例路径,应换成业务实际提供的健康检查接口。该接口最好能够同时反映应用进程和必要的后端依赖,但不要让一次非关键依赖波动导致所有服务器同时告警。

check_tls_expiry 中的 -C 30,7 表示以 30 天和 7 天作为证书剩余时间的两级阈值。不同版本的 check_http 参数可能略有差异,应以本机 check_http --help 输出为准。

配置远程资源检查

如果使用 NRPE,需要在日本服务器的 NRPE 配置中增加经过确认的命令。插件路径要以目标服务器实际路径为准,下面以常见路径作为示例。

command[check_disk_root]=/usr/lib/nagios/plugins/check_disk -w 20% -c 10% -p /
command[check_load_4cpu]=/usr/lib/nagios/plugins/check_load -w 6.0,5.0,4.0 -c 10.0,8.0,6.0
command[check_nginx_process]=/usr/lib/nagios/plugins/check_procs -C nginx -c 1:

这里的负载阈值仅适合用于一台约 4 vCPU 服务器的初始参考。check_load 通常按 1 分钟、5 分钟、15 分钟负载依次判断;如果目标服务器是 2 vCPU、8 vCPU 或存在稳定的批处理任务,应根据历史正常值重新设置。

在 NRPE 配置中限制允许连接的监控端地址,只允许 Nagios 监控端访问 NRPE 端口。不要将 NRPE 端口直接暴露到公网。如果需要调整防火墙,先保存现有规则,变更范围只限于监控端 IP,验证失败时恢复原规则。NRPE 服务名称可能是 nrpe 或 nagios-nrpe-server,应先查询实际服务名。

面向需要持续监控主机、网络入口与业务服务的日本部署场景,A5idc数据提供日本物理服务器资源,覆盖Xeon Gold、AMD EPYC与NVMe存储,并配有CN2、国际带宽及不同线路方案;CTG系列还支持SSD、大容量HDD和多IP配置,可承载网站、业务后台、数据库及文件存储等不同类型服务,为Nagios按主机、服务、磁盘和网络维度建立检查对象提供相应的基础资源。

增加日本服务器主机对象

以下配置假定现有环境已经定义了 linux-server、generic-service、check-host-alive、admins 等对象。如果这些名称不存在,应先从现有配置中查找对应模板和联系人,不要盲目重复定义。

define host {
    use                     linux-server
    host_name               jp-app-01
    alias                   Japan application server 01
    address                 203.0.113.20
    check_command           check-host-alive
    check_interval           5
    retry_interval            1
    max_check_attempts        3
    notification_interval    60
    notification_options     d,u,r
    contact_groups           admins
    notifications_enabled    1
}

203.0.113.20 是文档示例地址,不能直接用于生产。max_check_attempts 3 表示第一次失败先进入软状态,连续达到设定次数后才进入硬状态并触发通知,有助于过滤短暂丢包。

增加服务检查对象

define service {
    use                     generic-service
    host_name               jp-app-01
    service_description     ICMP-Latency
    check_command           check_ping!100.0,20%!300.0,60%
    check_interval           5
    retry_interval           1
    max_check_attempts      3
    notification_interval   60
    notification_options    w,u,c,r
    contact_groups          admins
    check_period             24x7
    notification_period      24x7
    flap_detection_enabled  1
}

define service {
    use                     generic-service
    host_name               jp-app-01
    service_description     SSH
    check_command           check_ssh
    check_interval           5
    retry_interval           1
    max_check_attempts      3
    notification_interval   60
    notification_options    w,u,c,r
    contact_groups          admins
}

define service {
    use                     generic-service
    host_name               jp-app-01
    service_description     HTTPS-Health
    check_command           check_https_health!app.example.jp
    check_interval           2
    retry_interval           1
    max_check_attempts      3
    notification_interval   30
    notification_options    w,u,c,r
    contact_groups          admins
}

define service {
    use                     generic-service
    host_name               jp-app-01
    service_description     TLS-Certificate
    check_command           check_tls_expiry!app.example.jp!30,7
    check_interval           60
    retry_interval           5
    max_check_attempts      2
    notification_interval   1440
    notification_options    w,u,c,r
    contact_groups          admins
}

define service {
    use                     generic-service
    host_name               jp-app-01
    service_description     Root-Disk
    check_command           check_nrpe_custom!check_disk_root
    check_interval           5
    retry_interval           1
    max_check_attempts      3
    notification_interval   60
    notification_options    w,u,c,r
    contact_groups          admins
}

define service {
    use                     generic-service
    host_name               jp-app-01
    service_description     System-Load
    check_command           check_nrpe_custom!check_load_4cpu
    check_interval           5
    retry_interval           1
    max_check_attempts      3
    notification_interval   60
    notification_options    w,u,c,r
    contact_groups          admins
}

HTTPS 健康检查设置为 2 分钟一次,是因为它更接近用户入口;证书检查每 60 分钟一次即可,不需要每分钟重复查询。证书告警的 notification_interval 1440 表示每天最多重复通知一次,避免同一张即将过期的证书在短时间内形成大量重复邮件。

主机不可达时,不应让 SSH、HTTPS、磁盘和负载同时形成同等优先级的告警。应在现有 Nagios 配置中确认主机父子关系、主机状态通知和服务通知抑制逻辑。对于有路由器、防火墙或专用网络入口的环境,先定义正确的 parents,使 Nagios 能区分 DOWN 和 UNREACHABLE。

配置降噪而不是隐藏故障

告警降噪可以从以下几方面处理:

  1. 通过 max_check_attempts 过滤一次性超时,不要用极高阈值掩盖真正故障。
  2. 通过 retry_interval 让失败状态在短时间内重试。
  3. 通过 notification_interval 控制持续故障的重复通知。
  4. 对证书、磁盘、inode 等趋势性问题设置较长的重复通知间隔。
  5. 启用 flap detection,避免状态在 OK、WARNING、CRITICAL 之间快速抖动时不断发信。
  6. 不要在刚接入监控时就启用自动重启。先观察告警准确度,确认故障范围后再单独设计事件处理器。

负载、磁盘和延迟都应结合历史数据观察。若日本服务器每天固定时间执行备份,备份期间负载升高是已知行为,可以设置维护窗口或调整阈值,但不能简单关闭整个服务通知。

结果检查:验证配置、状态和通知链路

先做配置语法检查

修改完成后,先执行 Nagios 配置验证。使用实际的 nagios.cfg 路径:

sudo nagios -v /usr/local/nagios/etc/nagios.cfg

成功时应看到类似以下结果:

Total Warnings: 0
Total Errors:   0
Things look okay - No serious problems were detected during the pre-flight check

如果存在错误,不要 reload。常见原因包括对象名称重复、模板不存在、check_command 参数数量不匹配、联系人组未定义以及配置文件没有被 nagios.cfg 的 cfg_file 或 cfg_dir 引入。

确认没有错误后,再使用实际服务名加载配置:

sudo systemctl reload nagios
sudo systemctl is-active nagios

如果系统中使用的是 nagios4.service,应执行:

sudo systemctl reload nagios4
sudo systemctl is-active nagios4

reload 只重新读取监控配置,不会重启日本服务器上的业务进程。若 reload 失败,保留当前运行实例,先查看服务日志和 Nagios 日志,不要连续重复执行 reload。

检查监控端到目标端的实际结果

从 Nagios 监控端直接运行插件,确认检查结果与 Web 界面一致:

/usr/lib/nagios/plugins/check_ping \
  -H 203.0.113.20 \
  -w 100.0,20% \
  -c 300.0,60%

/usr/lib/nagios/plugins/check_ssh \
  -H 203.0.113.20

/usr/lib/nagios/plugins/check_http \
  -H app.example.jp \
  -S \
  -p 443 \
  -u /healthz \
  -e 200 \
  -t 10

/usr/lib/nagios/plugins/check_nrpe \
  -H 203.0.113.20 \
  -c check_disk_root \
  -t 10

返回码通常具有以下含义:

  • 0:OK
  • 1:WARNING
  • 2:CRITICAL
  • 3:UNKNOWN

HTTPS 检查还要核对实际返回内容:

curl -skS --connect-timeout 5 \
  -o /dev/null \
  -w 'http_code=%{http_code} time_connect=%{time_connect} time_total=%{time_total}\n' \
  https://app.example.jp/healthz

如果 curl 返回 200,而 Nagios 返回 CRITICAL,应优先检查两者是否使用了相同的域名、地址族、出口网络和请求路径。Nagios 监控端的检查结果只能说明“从这个监控位置看到的状态”,不能直接代表所有日本本地或海外访问者的结果。

查看状态转移和通知记录

在 Nagios Web 界面中检查:

  • 主机是否从 Pending 进入 UP;
  • 每个服务是否显示正确的插件输出;
  • 检查间隔是否符合配置;
  • Notifications 是否启用;
  • 联系人组是否包含实际接收人;
  • 服务是否被错误地设置为 downtime 或 acknowledged。

同时查看 Nagios 日志:

sudo tail -f /usr/local/nagios/var/nagios.log

也可以筛选指定主机:

sudo grep 'jp-app-01' /usr/local/nagios/var/nagios.log | tail -n 30

应能够看到服务状态从 SOFT 变为 HARD,以及相应的 SERVICE NOTIFICATION 记录。邮件、短信或工单系统还需要在接收端确认,不要只以 Nagios 日志中出现通知记录作为最终验收结果。

告警验证:用测试服务验证通知是否生效

不通过停止生产服务制造故障

以下操作不建议用于告警测试:

  • 停止 SSH、Nginx 或应用服务;
  • 临时删除默认路由;
  • 修改公网防火墙使服务器不可达;
  • 持续写入文件直到磁盘满;
  • 删除日志、数据库或应用数据;
  • 修改生产证书或强制返回错误。

这些方法会影响真实业务,而且恢复过程可能引入新的故障。更安全的方式是在 Nagios 中创建一个临时测试服务,由 check_dummy 直接返回 CRITICAL。

先确认插件存在:

test -x /usr/lib/nagios/plugins/check_dummy \
  && echo "check_dummy is available"

在命令配置中增加临时命令:

define command {
    command_name    check_nagios_notification_test
    command_line    $USER1$/check_dummy 2 "Nagios notification test"
}

再增加一个临时服务。联系人组应使用真实接收告警的联系人组,测试服务名称必须明显标记为临时对象。

define service {
    use                     generic-service
    host_name               jp-app-01
    service_description     NOTIFY-TEST-REMOVE
    check_command           check_nagios_notification_test
    check_interval           1
    retry_interval            1
    max_check_attempts        2
    notification_interval    0
    notification_options     w,u,c,r
    contact_groups           admins
    notifications_enabled    1
}

再次执行配置检查并 reload。由于该检查会返回 CRITICAL,预计第一次检查进入软状态,达到 max_check_attempts 后进入硬状态。验证以下内容:

告警验证:用测试服务验证通知是否生效配图

  1. Web 界面中 NOTIFY-TEST-REMOVE 是否变为 CRITICAL。
  2. Nagios 日志中是否出现该服务的硬状态变化。
  3. 日志中是否出现 CRITICAL 通知记录。
  4. 实际邮箱、短信或工单系统是否收到通知。
  5. notification_interval 0 是否避免了持续重复通知。
  6. 通知内容中的主机名、服务名、状态和插件输出是否准确。

验证恢复通知

验证 CRITICAL 通知后,将测试命令改为返回 OK:

define command {
    command_name    check_nagios_notification_test
    command_line    $USER1$/check_dummy 0 "Nagios notification recovery test"
}

执行配置检查并 reload。下一次检查成功后,Nagios 应将该服务从 CRITICAL 转为 OK,并发送恢复通知。此时要确认恢复通知没有被联系人配置、通知选项或维护状态抑制。

验证结束后,删除临时服务和临时命令,或者将其放入明确的测试配置目录并关闭通知。生产环境不应长期保留始终返回 CRITICAL 的测试对象。

异常处理:按结果定位问题

服务显示 UNKNOWN 或 NRPE 超时

先确认插件本身能否连接目标服务器:

/usr/lib/nagios/plugins/check_nrpe \
  -H 203.0.113.20 \
  -c check_disk_root \
  -t 10

如果返回连接失败,依次检查:

  • 目标服务器 NRPE 服务是否运行;
  • NRPE 是否只允许 Nagios 监控端 IP;
  • TCP 5666 是否被网络策略拦截;
  • NRPE 与插件的 TLS 或协议版本是否兼容;
  • 远程插件路径是否存在且具备执行权限;
  • command[...] 中的命令是否引用了不存在的参数。

如果连接成功但返回 UNKNOWN,通常是远程插件执行失败、参数格式错误、权限不足或挂载点不存在。此时应先在目标服务器本地执行对应插件,再调整命令,不要直接放宽权限或将 NRPE 开放到公网。

HTTPS 正常但 Nagios 报警

优先比较以下条件:

  • Nagios 使用的域名是否与浏览器访问域名一致;
  • Nagios 是否优先走了 IPv6;
  • HTTPS 证书是否要求正确的 SNI;
  • /healthz 是否需要认证或特定请求头;
  • Nagios 监控端是否经过不同的 DNS、出口或防火墙;
  • 超时时间是否小于日本服务器的正常响应时间;
  • 检查返回的是 200、301、403 还是 500。

如果业务允许重定向,检查命令中可能需要启用跟随跳转的参数;如果健康接口只接受特定 Host,则应在命令中固定正确域名。不要因为一次 curl 成功就直接提高超时或取消证书校验。

磁盘或 inode 告警

磁盘空间和 inode 要分别判断:

df -h
df -i

如果空间不足,先确认增长最快的挂载点、日志目录、临时目录和备份目录。不要直接执行全盘删除。涉及日志清理、数据库文件、容器层或备份文件时,应先确认保留周期、备份状态和业务负责人,必要时先做快照或目录级备份,并记录可恢复路径。

如果空间充足但 inode 不足,通常是大量小文件造成,应定位文件数量和生成进程,而不是继续扩大磁盘容量。

负载告警但服务仍可访问

负载值需要结合 CPU 核数、运行队列、I/O 等待和业务响应时间判断:

nproc
uptime
free -m

高负载可能来自 CPU 计算、磁盘 I/O、备份任务或大量进程等待。仅提高 check_load 阈值会掩盖前兆。应同时查看 HTTPS 响应时间、应用错误率和磁盘延迟,再决定是调整阈值、安排维护窗口,还是处理实际任务。

没有收到告警

按照通知链路从 Nagios 内部向外检查:

  1. 主机或服务的 notifications_enabled 是否为 1。
  2. 当前状态是否达到硬状态。
  3. notification_options 是否包含对应的 w、u、c 或 r。
  4. 联系人或联系人组是否真正挂在该主机或服务上。
  5. 当前对象是否处于 downtime 或 acknowledged。
  6. nagios.log 是否生成 SERVICE NOTIFICATION。
  7. 邮件命令、SMTP、中继或工单接口是否正常。
  8. 接收端是否将通知放入垃圾邮件或重复事件合并队列。

如果日志中没有通知记录,问题通常在 Nagios 状态或联系人配置;如果日志有通知记录但收件人没有收到,问题通常在邮件、短信或外部工单通道。

必要恢复:回滚配置和清理测试对象

配置校验失败时

配置校验失败时不要 reload。先保存错误输出,确认是新增文件未被正确引用、模板重复,还是参数语法不兼容。修正后再次执行:

sudo nagios -v /usr/local/nagios/etc/nagios.cfg

只有在 Errors: 0 后再 reload。

reload 后状态异常时

如果本次修改导致大量对象消失、通知异常或服务状态错误,应恢复本次备份中的相关对象文件,而不是覆盖整个 Nagios 配置目录:

sudo cp -a /var/backups/nagios-YYYYMMDDHHMMSS/objects/services-jp.cfg \
  /usr/local/nagios/etc/objects/services-jp.cfg

sudo nagios -v /usr/local/nagios/etc/nagios.cfg
sudo systemctl reload nagios

上面的备份目录、文件名和服务名需要替换为实际值。恢复前确认没有覆盖其他管理员在同一时间提交的配置。回滚只恢复 Nagios 配置,不会改变日本服务器上的应用、网络或磁盘数据。

维护结束后的清理

测试告警完成后,删除或禁用 NOTIFY-TEST-REMOVE 服务及其专用命令,重新做配置校验并 reload。最后确认:

  • 测试对象不再出现在生产监控列表;
  • 正常业务服务仍显示 OK;
  • 测试产生的 CRITICAL 和恢复通知均有记录;
  • 没有遗留 downtime、acknowledgement 或临时联系人;
  • 备份文件按现有配置保留策略归档。

上线前验收清单

  • [ ] Nagios 配置路径、插件目录和服务名称已核对。
  • [ ] 日本服务器的 IP、域名、IPv4/IPv6 访问方式已确认。
  • [ ] 监控端和目标端时间同步,告警时间能够与业务日志对应。
  • [ ] 主机可达性、SSH、HTTPS、TLS、磁盘、inode、负载和关键进程已按需拆分。
  • [ ] Warning 与 Critical 阈值有业务依据,没有直接套用到不同 CPU、磁盘和业务类型。
  • [ ] 主机失败与服务失败的通知关系已确认,避免一次网络故障产生大量重复告警。
  • [ ] max_check_attempts、retry_interval 和 notification_interval 已完成降噪设置。
  • [ ] nagios -v 检查无错误,reload 后服务进程保持运行。
  • [ ] Web 界面显示的插件输出、检查间隔和联系人组正确。
  • [ ] 通过临时 check_dummy 服务验证了 CRITICAL 告警。
  • [ ] 已验证恢复通知、重复告警抑制和实际接收端投递。
  • [ ] 测试对象已删除或禁用,没有遗留测试告警。
  • [ ] 配置备份位置、回滚文件和回滚步骤已记录。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/8490.html

相关推荐