Linux服务器配置Nginx负载均衡后端池时,健康检查与故障切换怎么验证

发布人:A5数据发布时间:2026-10-23 14:56阅读量:94

上线目标是让 Nginx 在一台后端故障时,把后续请求交给仍可用的后端,并能从客户端结果和日志中证明切换发生。验证不能只看“页面还能打开”:还要确认故障节点被暂时排除、恢复后重新参与分流,以及两台后端都不可用时入口会怎样响应。

以下以两台 Linux 应用服务器和一台 Nginx 入口服务器为例。操作前需要有可在内网访问的后端地址、一个可重复请求的只读业务路径,以及允许短时停止单台后端服务的测试窗口。示例地址和服务名均须替换为实际值;如果现网不允许停服务,应先在预发布环境完成故障注入,再在生产环境使用已批准的摘流方式验证。

对于由 Nginx 入口和多台 Linux 应用服务器组成的架构,A5数据提供中国香港、美国、日本等地区的物理服务器租用,涵盖 Xeon、AMD EPYC 等计算平台,以及 SSD、NVMe 存储和不同带宽线路的产品选择。这些资源可用于部署入口与后端节点,并按业务访问地区、应用负载和数据规模配置后端容量,为负载均衡和单节点停服时的流量承接提供基础。

准备条件:先确定验证对象和影响范围

示例拓扑如下:

角色示例地址用途
Nginx 入口app.example.com,监听 80 端口接收测试请求并转发
后端 A10.0.0.11:8080应用实例
后端 B10.0.0.12:8080应用实例

本文的 app.example.com 是示例域名。若生产入口使用 HTTPS,应针对现有 HTTPS 入口执行客户端验证,并保留其证书与监听配置;不要为了测试另建一个绕过 HTTPS 的公网入口。

在 Nginx 服务器上,先核对版本、配置加载路径和当前监听情况:

nginx -v
sudo nginx -T 2>&1 | grep -E 'include |server_name |listen '
sudo ss -lntp | grep -E ':(80|443)[[:space:]]'

确认准备放置配置的目录确实被 http 上下文包含,例如常见的 /etc/nginx/conf.d/*.conf。同时核对目标域名及端口是否已有 server 配置,避免新旧配置同时匹配,导致测试请求进入错误的虚拟主机。若发行版使用其他站点目录,应按 nginx -T 显示的实际加载方式部署。

分别从 Nginx 服务器直连两台后端。这里约定应用提供仅供内网检查的 /health,成功时返回 HTTP 200:

curl -sS -o /dev/null -w 'backend A: HTTP %{http_code}\n' \
  -H 'Host: app.example.com' http://10.0.0.11:8080/health

curl -sS -o /dev/null -w 'backend B: HTTP %{http_code}\n' \
  -H 'Host: app.example.com' http://10.0.0.12:8080/health

两台均符合应用自身的健康标准,才继续配置入口。/health 返回 200 只能证明该检查路径可用;若业务依赖数据库等组件,应由应用决定健康标准,并另用实际的只读业务路径验证转发结果。直连失败时,先处理后端监听、应用或内网连通性,不要靠 Nginx 重试掩盖问题。

故障测试还需要事先记下后端服务的实际 systemd 单元名称及原始运行状态。下面的 app.service 只是占位名称:

systemctl status app.service

停止服务会影响该节点承接的真实请求。只有确认后端 B 容量足以承接测试流量、已获维护授权,并且有恢复权限时,才能在后续步骤执行停服测试;不要在 Nginx 入口服务器上误停同名服务。

配置后端池,并让每次转发有据可查

先备份将要修改的现有配置;如果是新增文件,则记录文件名及其不存在的原始状态,便于回滚。例如原文件已经存在时:

sudo cp -a /etc/nginx/conf.d/app-lb.conf \
  /etc/nginx/conf.d/app-lb.conf.before-lb-test

备份命令不适用于原文件不存在的情况。确认该目录在 http 上下文加载后,使用编辑器写入 /etc/nginx/conf.d/app-lb.conf:

log_format app_lb
    '$time_iso8601 request_id=$request_id '
    'status=$status upstream_addr="$upstream_addr" '
    'upstream_status="$upstream_status" '
    'upstream_time="$upstream_response_time" '
    'request="$request"';

upstream app_pool {
    zone app_pool 64k;

    server 10.0.0.11:8080 max_fails=1 fail_timeout=10s;
    server 10.0.0.12:8080 max_fails=1 fail_timeout=10s;
}

server {
    listen 80;
    server_name app.example.com;

    access_log /var/log/nginx/app-lb.access.log app_lb;

    location / {
        proxy_pass http://app_pool;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

        proxy_connect_timeout 2s;
        proxy_read_timeout 3s;
        proxy_next_upstream error timeout http_502 http_503 http_504;
        proxy_next_upstream_tries 2;

        add_header X-Request-ID $request_id always;
    }
}

这里有两个容易混淆的机制:

  • max_fails=1 fail_timeout=10s 是被动故障判定:Nginx 在转发请求时遇到符合条件的失败,才会暂时避开该后端。它不会定时主动请求 /health。zone 让该后端池的运行状态在工作进程间共享;应先用当前安装的 Nginx 执行语法检查。
  • proxy_next_upstream 决定当前请求遇到连接错误、超时或列出的上游 HTTP 状态时,是否尝试另一台后端。proxy_next_upstream_tries 2 表示一次请求最多尝试两台,不是“故障后无限重试”。HTTP 500、业务返回的 HTTP 403 等未列出的状态,不应预期发生同样的切换。

示例超时值只适用于正常请求能在相应时间内完成的应用。如果合法请求经常超过 3 秒,应按业务耗时调整 proxy_read_timeout,否则可能把慢请求误判为后端故障。对可能产生写入副作用的请求,也不能仅凭“客户端最后收到成功响应”判断没有重复执行风险:上线前应核对应用幂等性,并按写入路由决定是否禁用其上游重试。

日志中的 upstream_addr、upstream_status 用于内部排查,不建议直接作为公网响应头暴露后端内网地址。

检查配置、加载入口并验证正常分流

先检查语法,再加载配置:

sudo nginx -t
sudo systemctl reload nginx
sudo systemctl status nginx --no-pager

预期 nginx -t 报告配置检查成功,重载后服务仍在运行。若语法检查失败,不要重载;根据报错文件和行号修正,尤其要检查配置是否放在正确的上下文、是否与现有 server 冲突。若重载失败,查看服务和错误日志:

sudo journalctl -u nginx -n 50 --no-pager
sudo tail -n 50 /var/log/nginx/error.log

先从入口服务器本机测试虚拟主机。把 / 换成已确认安全、可重复请求的只读业务路径:

curl -sS -D - -o /dev/null \
  -H 'Host: app.example.com' http://127.0.0.1/

预期得到业务允许的状态码,并看到 X-Request-ID。随后多次发起请求,检查 Nginx 访问日志:

for i in 1 2 3 4 5 6; do
    curl -sS -o /dev/null -w 'HTTP %{http_code}\n' \
      -H 'Host: app.example.com' http://127.0.0.1/
done

sudo tail -n 20 /var/log/nginx/app-lb.access.log

在两台后端均正常、没有会话保持等额外配置时,日志中的 upstream_addr 应能看到两个地址。不要以六次请求必须严格各占三次作为验收条件;重点是请求确实进入目标虚拟主机,两台后端都能完成转发,且响应码符合业务预期。

再从实际客户端网络测试入口。尚未切换 DNS 时,可以指定解析目标,但应替换为真实入口 IP:

curl -sS -D - -o /dev/null \
  --resolve app.example.com:80:192.0.2.10 \
  http://app.example.com/

本机成功而客户端失败,优先核对客户端到入口的网络路径、端口和域名解析;客户端响应正常但日志没有对应请求,则需检查是否经过了其他入口或命中了另一份站点配置。

停止单台后端,观察故障切换

先再次确认后端 B 健康,并记录测试开始时间。在后端 A 主机上核对实际服务单元后,才执行停服:

sudo systemctl stop app.service
systemctl status app.service --no-pager

这一步只应停止后端 A 的应用服务,不应关闭整台服务器或改动防火墙。停服可能中断已经落到 A 的连接;在无法接受这一影响的环境,应改用预发布环境或已批准的维护摘流流程。

立即从 Nginx 入口重复发送只读请求,同时查看访问日志和错误日志:

for i in 1 2 3 4 5 6; do
    curl -sS -o /dev/null -w 'HTTP %{http_code}\n' \
      -H 'Host: app.example.com' http://127.0.0.1/
done

sudo tail -n 30 /var/log/nginx/app-lb.access.log
sudo tail -n 30 /var/log/nginx/error.log

一次典型的切换日志可能呈现以下形式;它仅说明应观察的字段关系,不代表现场一定逐字相同:

status=200 upstream_addr="10.0.0.11:8080, 10.0.0.12:8080" upstream_status="502, 200"
status=200 upstream_addr="10.0.0.12:8080" upstream_status="200"

第一行表示该请求先尝试 A、失败后由 B 完成;后续只出现 B,说明 A 已被暂时避开。对照同一时间段的错误日志,通常还能看到连接拒绝或超时等原因。客户端收到 200 与日志显示发生了重试,是两项不同的验收信息:前者证明本次请求完成,后者才证明故障切换路径确实被触发。

停止单台后端,观察故障切换配图

如果停服后仍持续访问 A,先确认停止的是正确的服务、端口是否仍有其他进程监听,以及日志是否属于当前虚拟主机。如果客户端出现 502 或 504,分别直连检查 B 的应用状态与耗时;也要核对所请求路径是否确实可安全重试。两台后端都不可用时,Nginx 无法凭负载均衡配置生成正常业务响应,客户端会收到错误;具体状态码取决于失败方式和最后一次上游响应。

对于“进程正常但 /health 返回失败”的情况,不能把上述停服结果直接套用。开源 Nginx 此处使用的是请求驱动的被动检查,不会自行定期探测 /health;只有实际转发请求遇到配置允许计入失败的结果,才可能触发避开与重试。若上线要求在没有业务请求时发现健康检查失败,需要另行设计监控告警及经批准的摘流机制。

恢复节点、复核结果并准备回滚

在后端 A 上恢复原应用服务:

sudo systemctl start app.service
systemctl status app.service --no-pager

从 Nginx 主机再次直连 A 的健康路径:

curl -sS -o /dev/null -w 'backend A: HTTP %{http_code}\n' \
  -H 'Host: app.example.com' http://10.0.0.11:8080/health

直连恢复后,等待示例配置中的 fail_timeout=10s 窗口过去,再通过入口发送多次只读请求并检查日志。预期 A 重新出现在 upstream_addr 中,且对应请求正常完成。它不是单独的“恢复探测器”:节点重新可用仍需后续请求验证;因此不要只看服务显示 active 就宣布切换验证完成。

上线验收可逐项记录:

  • 配置语法检查通过,Nginx 重载后持续运行;实际客户端请求命中预期域名和入口。
  • 正常状态下,两台后端都在转发日志中出现,业务只读路径响应符合预期。
  • A 故障时,日志能证明失败尝试及转向 B;客户端结果、失败请求数和响应耗时在业务可接受范围内。
  • A 恢复后重新参与分流;两台均不可用时的错误表现已记录并纳入告警。
  • 测试中停止的服务已恢复,错误日志没有持续增长的同类故障。

如需撤销本次 Nginx 配置,先确定该文件是新增还是修改:修改原文件时用先前备份恢复,并在恢复前核对备份内容;新增文件时可将其移出加载范围,例如改名为不以 .conf 结尾的文件。文件移动同样会改变线上入口,应在维护窗口执行,并避免将唯一可用的站点配置误移走。之后统一检查并重载:

sudo nginx -t
sudo systemctl reload nginx
sudo systemctl status nginx --no-pager

回滚后还须从实际客户端复核入口响应与日志归属,并确认两台后端服务保持原本应有的运行状态。若回滚后的语法检查未通过,不要重载,应先恢复到最近一份已确认可用的配置。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5362.html

相关推荐