云负载均衡后端健康检查失败怎么排查,如何区分端口与应用状态

发布人:A5数据发布时间:2026-10-31 16:27阅读量:119

云负载均衡后端健康检查失败,不等于云服务器端口一定没有打开。健康检查通常至少涉及四层:负载均衡是否能到达后端地址、后端端口是否监听、服务是否完成对应协议握手,以及应用是否在指定路径返回了负载均衡认可的状态码。只有 TCP 连接成功,最多说明“端口路径基本可达”,不能证明应用接口正常。

排查时应把“端口状态”和“应用状态”分开验证:先在负载均衡控制台确认后端地址、端口、检查协议、路径、超时和失败原因,再在服务器上检查监听与进程,随后使用与健康检查相同的协议、端口、Host 和路径发起请求。端口连接被拒绝、连接超时、TLS 握手失败、返回 404 或 500,分别对应不同的原因树,不能只根据“健康检查失败”这一条信息直接修改防火墙或重启服务。

在云负载均衡后端资源方面,A5idc数据提供中国香港、美国、日本、韩国、中国台湾、新加坡和马来西亚等地区的物理服务器租用,覆盖常规建站、数据库、接口服务及多任务计算场景。不同地区可提供Xeon Gold、AMD EPYC等处理器平台,并配备SSD或NVMe存储、差异化带宽线路和多IP方案,为负载均衡后端部署提供多地域、计算、存储与网络资源基础。

先确认失败范围和检查条件

1. 观察是单台后端失败,还是整个后端组失败

先在云负载均衡控制台查看后端健康状态、失败原因和最近更新时间,重点确认以下信息:

  • 失败的是一台云服务器,还是同一后端组中的全部服务器。
  • 后端登记的是私网地址、公网地址还是其他网络接口地址。
  • 后端端口是否与实际服务监听端口一致。
  • 健康检查协议是 TCP、HTTP 还是 HTTPS。
  • HTTP 检查使用的路径、Host、请求方法和期望状态码是什么。
  • 检查超时时间、检查间隔、连续失败次数和连续成功次数是多少。
  • 后端是否处于维护、排空、禁用或未生效状态。
  • 失败原因是连接超时、连接被拒绝、协议错误、状态码不符合,还是响应超时。

如果只有一台后端失败,而其他后端使用相同的检查配置并且状态正常,问题通常更接近该服务器自身的监听、系统资源、服务进程或本机规则。如果所有后端同时失败,则应优先检查负载均衡健康检查配置、网络访问策略、协议与端口的匹配关系,以及所有后端共用的应用配置。

2. 区分端口检查与应用检查

不同类型的健康检查,能够证明的范围不同。

检查类型能确认的内容不能直接确认的内容常见失败表现
TCP目标地址和端口可以完成 TCP 连接HTTP 路径、业务依赖、返回内容是否正确超时、拒绝、连接重置
HTTPTCP 建连、HTTP 请求和返回状态码HTTPS 证书、特定业务依赖是否完整404、401、403、5xx、响应超时
HTTPSTCP 建连、TLS 握手、HTTP 请求和状态码业务接口全部可用证书、SNI、协议版本、状态码错误

例如,服务端口 8080 正在监听,TCP 健康检查可能显示正常;但应用的 /healthz 返回 500 时,HTTP 健康检查仍会失败。反过来,如果健康检查使用 TCP,即使应用首页已经返回 502,只要端口还能建立连接,TCP 检查也可能保持正常。

建立后端健康检查失败的原因树

可以按“网络 → 系统监听 → 服务协议 → 应用依赖”的顺序建立原因树。每一层都要先观察证据,再决定是否进入下一层,避免在没有确认根因时反复改配置。

建立后端健康检查失败的原因树配图

网络层:负载均衡探测流量是否能到达云服务器

网络层常见问题包括:

  • 后端地址登记错误,指向了错误的私网 IP 或公网 IP。
  • 负载均衡与云服务器不在可达的网络范围内。
  • 云服务器安全组没有允许健康检查来源访问后端端口。
  • 子网 ACL、网络防火墙或路由策略拦截了探测流量。
  • 后端端口在配置中填写为 80,但实际服务使用 8080 或其他端口。
  • 云服务器有多个网卡,服务监听地址与负载均衡访问的地址不一致。
  • 健康检查来源地址被应用自身的访问控制列表拒绝。

安全组或网络访问策略不能只按“允许负载均衡”这样的模糊描述判断。应确认当前云平台对健康检查源地址的定义,并检查规则是否覆盖正确的协议、目标端口和方向。不同云平台对探测源地址的呈现方式可能不同,不能凭经验直接填写某个固定网段。

可先在控制台核对:

  1. 后端登记的 IP 是否确实属于目标云服务器。
  2. 后端端口是否为服务实际监听端口。
  3. 入方向规则是否允许健康检查源访问该端口。
  4. 规则优先级是否被更严格的拒绝规则覆盖。
  5. 云服务器所在子网和负载均衡所在网络是否存在有效路由。

不要一开始就把端口对公网开放来验证。若必须临时调整安全组,应仅允许健康检查所需的来源和端口,记录原规则,验证完成后按原配置回滚,避免把排障措施变成长期暴露面。

系统层:端口是否真正监听在可访问地址上

登录后端云服务器,先确认端口监听状态。以下以示例端口 8080 为例,端口和服务名需要替换为实际值。

sudo ss -lntp | grep ':8080'

可能看到类似结果:

LISTEN 0 512 127.0.0.1:8080 0.0.0.0:* users:(("java",pid=2314,fd=142))

这表示进程只监听本机回环地址。服务器本地访问 127.0.0.1:8080 可能成功,但负载均衡通过云服务器私网 IP 访问时无法建立连接。

更适合被其他主机访问的监听结果通常类似:

LISTEN 0 512 0.0.0.0:8080 0.0.0.0:* users:(("java",pid=2314,fd=142))

或者监听在明确的私网地址上:

LISTEN 0 512 10.0.2.15:8080 0.0.0.0:* users:(("java",pid=2314,fd=142))

还要注意 IPv4 和 IPv6 的差异。服务如果只监听 [::1]:8080,而负载均衡通过 IPv4 私网地址访问,也可能无法连接。检查监听结果时,不要只看端口数字,还要看绑定地址。

随后确认进程和服务状态:

sudo systemctl is-active nginx
sudo systemctl status nginx --no-pager

如果后端是 Java、Go、Node.js 或容器服务,应将 nginx 替换为实际服务名。服务名不确定时,可以先查看进程和监听端口的对应关系:

sudo ss -lntp
ps -ef | grep -v grep | grep -E 'java|node|gunicorn|uvicorn|php-fpm'

如果端口没有监听,优先查看服务启动失败、配置解析失败、端口被占用或进程启动后立即退出等原因。不要仅凭“服务进程存在”判断健康,因为进程可能已经卡死、线程池耗尽,或者实际监听的是另一个端口。

本机访问控制:规则是否阻断了探测

在 Linux 云服务器上,本机防火墙、nftables、iptables 或基于发行版的管理工具都可能影响访问。先查看当前系统使用的规则工具,不要直接执行清空规则或放开所有端口的命令。

sudo nft list ruleset

如果系统使用 UFW 或 firewalld,可按实际情况查看:

sudo ufw status verbose
sudo firewall-cmd --list-all

这些命令只用于观察。涉及修改防火墙前,应先保存现有规则和变更前状态,确认影响范围,并准备按原规则恢复。尤其不要使用清空规则、停止防火墙或允许所有来源访问的方式作为常规排障手段。

如果需要确认探测请求是否到达服务器,可以在短时间内抓包观察。以下命令只监听示例端口,不会修改网络配置:

sudo tcpdump -ni any 'tcp port 8080'

判断时可关注三种现象:

  • 完全看不到来自健康检查源的请求:更接近路由、安全组、ACL、后端地址错误或探测流量未到达。
  • 能看到 SYN,但服务器没有正常回应:可能是本机规则、监听地址或内核资源问题。
  • 能完成 TCP 握手,随后出现 HTTP 请求或连接关闭:网络层大概率已经打通,应继续检查服务协议和应用响应。

抓包中的源地址应与云平台公布或控制台展示的健康检查来源相互印证,不要仅凭任意一个公网地址就修改允许列表。

服务层:端口能连通,但协议不匹配

端口监听正常后,使用与健康检查完全一致的协议进行本机测试。HTTP 示例:

curl -sS -D - -o /tmp/health.body \
  --connect-timeout 3 \
  --max-time 10 \
  http://127.0.0.1:8080/healthz

cat /tmp/health.body

这一步主要观察:

  • 是否能建立 TCP 连接。
  • HTTP 是否能完成请求和响应。
  • 返回状态码是否符合健康检查配置。
  • 响应时间是否超过健康检查超时。
  • 返回内容是否包含应用错误、上游错误或认证提示。

如果本机访问返回 200,但负载均衡仍失败,不能立刻认为配置无误。127.0.0.1 绕过了云网络、安全组和负载均衡来源限制,下一步还应从同一网络中的另一台云服务器,使用后端私网 IP 发起请求:

curl -sS -D - -o /tmp/health.peer.body \
  --connect-timeout 3 \
  --max-time 10 \
  http://10.0.2.15:8080/healthz

其中 10.0.2.15 仅为示例地址。若本机访问成功、同网段其他主机访问失败,重点回到监听地址、安全组、子网规则和本机防火墙。

如果负载均衡向后端发送指定 Host,而应用依赖虚拟主机路由,则本机测试还需要模拟 Host:

curl -sS -D - -o /dev/null \
  --connect-timeout 3 \
  --max-time 10 \
  -H 'Host: api.internal.example' \
  http://10.0.2.15:8080/healthz

同一个端口在不同 Host 下可能进入不同 Nginx server、网关路由或应用租户。如果不带 Host 返回 200,带上健康检查实际使用的 Host 却返回 404 或 403,根因通常是虚拟主机或路由配置,而不是端口未开放。

HTTPS 层:检查协议、证书和 SNI

如果后端服务使用 HTTPS,必须确认负载均衡的健康检查协议与后端端口匹配。常见冲突包括:

  • 后端 8443 提供 HTTPS,但健康检查按 HTTP 发送请求。
  • 后端 8080 提供 HTTP,却配置为 HTTPS 检查。
  • 证书绑定的域名依赖 SNI,健康检查没有发送正确的 Server Name。
  • 证书已过期、链不完整,或负载均衡启用了证书校验。
  • TLS 版本或加密套件不兼容。

可用 OpenSSL 观察 TLS 握手和证书信息:

openssl s_client \
  -connect 10.0.2.15:8443 \
  -servername api.internal.example \
  -brief

如果需要同时验证域名、SNI 和 HTTP 路径,可以使用:

curl -sS -D - -o /dev/null \
  --connect-timeout 3 \
  --max-time 10 \
  --resolve api.internal.example:8443:10.0.2.15 \
  https://api.internal.example:8443/healthz

诊断时使用 -k 忽略证书校验只能帮助区分“HTTP 服务是否有响应”和“证书校验是否失败”,不能把忽略证书后的成功结果当作正式健康检查成功。正式修复应使负载均衡的证书校验、域名、SNI 和后端证书配置保持一致。

用结果分支逐层排除

下面的判断表可用于把现象映射到下一步,而不是把所有问题都归结为防火墙。

观察结果更可能的原因下一步检查
连接超时,服务器抓包无请求后端地址、路由、安全组、ACL 或健康检查来源不匹配核对后端 IP、网络路径和入方向规则
抓到 SYN,但无 SYN-ACK端口未监听、监听地址不对、本机规则或资源异常检查 ss、防火墙和系统资源
立即返回连接拒绝目标端口没有监听,或本机主动拒绝核对后端端口与服务实际端口
TCP 成功但 HTTP 404检查路径错误、Host 路由不匹配、网关未配置该路径按实际 Host 和路径执行 curl
返回 301 或 302健康检查不跟随重定向,或 HTTP/HTTPS配置不一致改为直接检查最终路径,或调整检查规则
返回 401、403健康检查路径需要认证,或来源被应用 ACL 拒绝设置免认证健康路径或允许探测来源
返回 500、502、503应用异常、反向代理上游不可用、依赖服务失败查看应用、Nginx 和依赖服务日志
TLS 握手失败协议配置、证书、SNI 或 TLS 参数不匹配用 openssl s_client 和带 --resolve 的请求复核
本机成功,其他主机失败监听回环地址、网络策略或安全组问题从同网段主机访问私网地址
所有后端同时失败共用健康检查配置、协议、路径或访问策略有误先检查负载均衡侧配置和统一规则

以下日志仅为演示判断方式,不代表某个实际环境的执行结果:

health check: connect to 10.0.2.15:8080 timeout after 3s

这类结果说明 TCP 建连阶段就没有在规定时间内完成,不能直接推断应用返回错误。

health check: HTTP GET /healthz -> 404

这说明负载均衡已经到达 HTTP 服务并收到响应,端口和基础网络大概率可用,重点应转向路径、Host 或网关路由。

health check: HTTPS handshake failed: certificate verify failed

这类结果应检查后端证书链、证书域名、SNI 和负载均衡的证书校验设置,而不是先重启应用。

定位最常见的配置冲突

后端端口与服务端口不一致

负载均衡通常同时存在前端监听端口、后端转发端口和健康检查端口。前端使用 80 或 443,不代表后端服务也必须监听 80 或 443。

例如:

  • 客户端访问负载均衡的 443。
  • 负载均衡转发到云服务器的 8080。
  • 健康检查却配置为 80。

此时前端访问配置可能看起来正常,但后端健康检查始终失败。应分别核对监听器、后端组和健康检查中的端口,确认它们是否有意不同,而不是只看负载均衡对外暴露的端口。

检查协议与后端服务协议不一致

后端端口本身并不携带“这是 HTTP 还是 HTTPS”的信息。一个端口监听正常,并不代表可以使用任意协议访问。

用 HTTP 请求访问 HTTPS 端口,常见结果是协议错误或连接被关闭;用 HTTPS 访问普通 HTTP 端口,则可能出现 TLS 握手失败。应根据服务实际配置确认:

curl -sS -D - -o /dev/null http://10.0.2.15:8080/healthz

或:

curl -sS -D - -o /dev/null \
  --resolve api.internal.example:8443:10.0.2.15 \
  https://api.internal.example:8443/healthz

不要因为端口号是 443 就默认后端一定启用了 HTTPS,也不要因为端口号是 8080 就默认一定是 HTTP。

健康路径存在,但返回条件不符合

应用首页能打开,不代表健康检查路径正确。健康检查可能访问 /health,而应用只实现了 /healthz;也可能路径存在,但由于依赖数据库、缓存或下游接口异常返回 503。

一个适合健康检查的接口通常应具备以下特征:

  • 路径稳定,不依赖动态业务参数。
  • 不要求用户登录或临时会话。
  • 能明确反映进程和关键依赖的可用性。
  • 响应体较小,处理时间可控。
  • 返回状态码与负载均衡的成功条件一致。

是否把数据库、缓存等依赖纳入健康状态,需要根据业务容错方式决定。如果接口只用于判断 Web 进程是否存活,可以使用浅层检查;如果后端不可访问数据库就无法提供正常业务,则应使用深层检查,但要注意依赖故障可能导致整个后端组被摘除。

反向代理与应用健康状态不一致

Nginx 或网关可能在 80 端口返回 200,但它转发到应用的业务路径实际返回 502。也可能 Nginx 配置了一个静态健康页面,始终返回 200,导致端口检查正常而业务已经不可用。

可以先检查 Nginx 配置是否能被解析:

sudo nginx -t

然后分别访问:

  • 负载均衡健康检查实际访问的端口。
  • Nginx 代理后的业务路径。
  • 应用进程直接监听的内部端口。

如果 Nginx 健康路径返回 200,但应用内部接口持续 5xx,应明确健康检查要代表“代理进程存活”还是“业务服务可用”,再调整检查路径或应用健康逻辑。不要用一个永远返回 200 的静态页面掩盖上游故障。

验证恢复,不只看控制台变绿

定位并修复后,应按相同链路逐项验证。

  1. 确认服务器侧监听未被改变
   sudo ss -lntp | grep ':8080'

检查监听地址、端口和进程是否仍符合预期。

  1. 从服务器本机验证协议
   curl -sS -D - -o /dev/null \
     --connect-timeout 3 \
     --max-time 10 \
     http://127.0.0.1:8080/healthz

如果健康检查带 Host,应同时模拟 Host;如果是 HTTPS,应按 HTTPS 方式验证。

  1. 从同一网络中的其他主机验证私网访问
   curl -sS -D - -o /dev/null \
     --connect-timeout 3 \
     --max-time 10 \
     -H 'Host: api.internal.example' \
     http://10.0.2.15:8080/healthz

这一步能补足本机回环访问绕过网络策略的问题。

  1. 在负载均衡控制台确认实际配置

重新核对后端端口、检查协议、路径、Host、状态码范围、超时和来源访问策略。若刚修改了配置,应考虑云平台配置生效时间,不要因为短时间内仍显示失败就连续重复修改。

  1. 观察连续检查结果和后端日志

健康状态通常需要连续成功若干次才会恢复。可以在应用或代理日志中观察健康请求是否到达,以及响应状态码和耗时是否稳定。示例日志如下,仅用于说明观察字段:

   2025-01-01T10:00:01Z method=GET path=/healthz status=200 latency_ms=18
   2025-01-01T10:00:06Z method=GET path=/healthz status=200 latency_ms=21

如果日志中没有任何健康请求,而控制台仍显示超时,应回到网络和访问策略层;如果日志有请求但状态码异常,应继续处理应用或代理问题。

  1. 通过负载均衡入口进行业务验证

健康状态恢复后,访问负载均衡的业务入口,检查请求是否能够分配到后端。若多台后端中只有部分恢复,应逐台比较监听端口、服务版本、环境变量、证书和本机规则,避免只验证其中一台。

修改健康检查路径、后端端口或防火墙规则前,应记录原配置。若变更导致业务流量异常,优先恢复原健康检查参数或原访问规则,再进一步缩小验证范围。不要通过批量删除后端、清空防火墙或重启全部服务来“刷新状态”,这些动作会扩大影响范围,也会丢失定位线索。

复发时应持续观察的监控点

健康检查恢复后,还需要监控它是否会周期性失败。建议至少保留以下指标和日志:

  • 后端健康数量、异常后端列表及异常原因。
  • 健康检查成功率、连接耗时、TLS 握手耗时和 HTTP 响应耗时。
  • TCP 连接超时、连接重置、HTTP 4xx 和 5xx 的分类统计。
  • 应用健康路径的状态码分布,而不只是平均响应时间。
  • Nginx 或网关到应用上游的连接失败、读取超时和 502 数量。
  • 进程重启次数、线程池或连接池使用率、文件描述符和系统负载。
  • 安全组、网络 ACL、后端组、健康检查参数的配置变更记录。
  • 多台后端之间的版本、监听地址、环境变量和证书差异。

监控告警最好把“端口不可达”和“应用返回异常”分开。例如,连接超时应通知网络或基础设施负责人,HTTP 500 和依赖超时则应关联应用告警。这样既能减少误判,也能在下一次健康检查失败时快速判断故障位于访问链路还是应用状态。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/6844.html

相关推荐