美国云服务器在云负载均衡后端健康检查失败,如何定位探测路径与端口配置?

发布人:A5数据发布时间:2026-11-02 11:39阅读量:64

美国云服务器挂到云负载均衡后,常见现象是后端实例显示“不健康”,前端请求返回 502、503,或流量只进入部分实例。排查时先确认负载均衡实际探测的协议、端口、路径和成功条件,再沿网络入口、主机监听和应用响应由外到内检查;仅在服务器本机执行 curl 成功,不能证明负载均衡的探测请求也能到达应用。

健康检查与用户请求是两条可能不同的访问路径:检查使用的端口、源地址、HTTP Host、TLS 配置或请求路径,未必与前端访问一致。下面以 Linux 后端和常见 HTTP/HTTPS 云负载均衡为例,具体字段名称和探测源地址应以所用云平台控制台及文档为准。

先确认故障范围与探测条件配图

先确认故障范围与探测条件

记录故障开始时间、受影响的实例、负载均衡后端状态,以及最近是否调整过应用发布、防火墙、监听端口或健康检查配置。若只有部分后端不健康,优先比较这些实例与健康实例的配置差异;如果全部后端同时异常,则先检查负载均衡监听器、后端协议和探测配置是否发生共同变化。

在控制台查看健康检查配置,逐项记下:

  • 后端目标端口:检查请求要连接的端口。确认它是否与应用实际监听端口一致,不要把负载均衡前端监听端口当成后端端口。
  • 协议:TCP 检查只判断连接能否建立;HTTP/HTTPS 检查还会验证应用层响应。配置为 HTTPS 时,还要核对证书、TLS 握手和 SNI 等要求。
  • 请求路径与 Host:例如 /healthz。路径可能需要鉴权、特定 Host 或应用路由才能返回成功。
  • 成功条件:核实允许的 HTTP 状态码范围、响应超时、检查间隔和连续失败阈值。部分负载均衡把重定向、响应超时或非预期状态码判为失败。
  • 探测来源与目标:确认后端组关联的实例、网卡或私网地址,以及云平台要求放行的探测源地址或安全组。

健康状态变化通常有检查间隔和连续成功、失败阈值,不一定在改完配置后立即更新。应先观察控制台状态和事件时间,再判断是否需要继续深入排查。

按由外到内的顺序定位

1. 核对后端地址、端口和协议映射

比较负载均衡后端组中的实例地址与服务器实际使用的网络地址。多网卡、私网地址变更、实例重建或后端组引用错误,都可能造成探测请求发往错误目标。然后核对探测端口与应用监听端口是否一致。

在 Linux 后端执行以下只读检查:

sudo ss -lntp

重点查看目标端口对应的监听地址和进程。例如,应用只监听 127.0.0.1:8080,外部网络设备无法通过实例网卡访问它;如果监听为 0.0.0.0:8080,通常表示 IPv4 所有地址均可接收该端口连接,但仍需结合主机和云侧防火墙判断。若使用 IPv6,还要确认监听地址和后端网络类型匹配。

如果列表中没有目标端口,可能是应用未启动、端口配置不同,或服务启动失败。此时先查看对应服务状态和日志,不要为了让检查“变绿”而随意更换负载均衡端口。若端口有监听但进程不是预期应用,需确认端口占用及服务部署是否发生变化。

2. 检查云侧访问控制与主机防火墙

健康检查请求必须能从云负载均衡到达后端目标端口。云安全组、网络访问控制列表、主机防火墙和应用自身访问控制可能分别影响这条路径。应先在云控制台确认后端网卡实际关联的规则,并按云平台说明放行探测流量;不要假定探测流量一定来自负载均衡的前端地址。

在 Linux 上,可先只读查看防火墙状态。以下命令按系统实际安装的组件选择:

sudo firewall-cmd --state
sudo firewall-cmd --list-all
sudo nft list ruleset
sudo iptables -S

命令不可用时,说明系统可能未安装相应工具,不能据此认定没有防火墙规则。若存在多层规则,应核对目标端口、流量方向、来源范围以及规则优先级,避免只检查了某一层。

若要修改规则,先记录当前规则、修改对象和回退方式,并尽量在云侧通过控制台添加范围明确的允许规则。只对平台确认的探测来源和目标端口开放必要访问,不要清空规则、关闭整个防火墙或扩大为任意来源。验证失败时,撤销本次新增规则,恢复到修改前状态;生产变更应采用可审计的变更流程。

3. 从服务器本机验证监听与应用响应

确认端口有监听后,在后端实例本机请求健康检查目标。以下示例仅适用于 HTTP 服务,需将端口和路径替换为实际配置:

curl -i --max-time 5 http://127.0.0.1:8080/healthz

重点看三类结果:

  • 返回预期成功状态码,且耗时低于检查超时:应用在本机对该路径有响应,但网络可达性和 Host 等条件仍需验证。
  • 返回 404、401、403 或 301/302:路径可能不存在、要求认证、拒绝当前请求,或发生重定向。若负载均衡只接受特定状态码,实际响应可能不符合成功条件。
  • 连接被拒绝或超时:可能没有对应监听、应用无响应,或本机网络策略阻断了请求。结合 ss 和应用日志继续定位。

如果应用按 Host 路由,应显式测试健康检查配置中的 Host。例如:

curl -i --max-time 5 -H 'Host: app.example.com' \
  http://127.0.0.1:8080/healthz

若该请求成功、默认 Host 请求失败,说明路由可能依赖 Host。应让探测请求满足应用路由要求,或配置一个无需用户域名即可访问的专用健康路径;具体能否指定 Host,取决于负载均衡产品的配置能力。

HTTPS 检查还需确认后端服务是否确实提供 TLS。可用以下命令查看握手和响应;其中域名及 SNI 应按实际配置替换:

curl -i --max-time 5 \
  --resolve app.example.com:8443:127.0.0.1 \
  https://app.example.com:8443/healthz

如果证书校验失败,不要直接把“关闭证书校验”当成修复。应确认负载均衡是否验证后端证书、是否要求 SNI,以及后端协议配置是否与服务实际协议一致。HTTP 探测发往只接受 HTTPS 的端口,或 HTTPS 探测发往明文 HTTP 端口,都会导致失败。

4. 区分本机成功与负载均衡可达

本机 curl 成功只证明请求在本机条件下得到响应,并未证明负载均衡能通过网络访问该端口。若系统已有抓包工具,可在排查窗口内短时观察目标端口的流量:

sudo tcpdump -ni any 'tcp port 8080'

看到 SYN 到达但没有 SYN-ACK,通常应继续检查监听地址、本机防火墙或网络栈;握手建立后有请求数据而应用返回错误,则重点看协议、路径、Host 和应用响应。观察期间完全没有探测流量,可能是请求未到达该网卡、后端地址或端口配置不一致,也可能是抓包时机与检查间隔未对上。抓包只能辅助判断,不能单独证明云侧规则正确。

4. 区分本机成功与负载均衡可达配图

如果允许在运维环境中发起测试,可从与负载均衡相同或可比的网络位置访问后端私网地址;公网机器直接访问、服务器本机访问,都不能等价替代云平台健康检查。没有可用测试来源时,结合云平台提供的探测日志、流量日志和规则配置判断,不要凭猜测放宽防火墙。

5. 查看应用日志与资源状态

检查探测发生时间附近的应用访问日志和错误日志。若能看到健康路径请求,记录状态码、响应耗时、Host 和来源信息:请求已到应用但状态码不符合条件,属于应用响应或探测条件不匹配;请求进入应用后超时,则检查依赖服务、线程池、连接池或资源耗尽情况。若日志中没有请求,优先回到网络路径、目标地址、端口和协议检查。

可以先用系统日志定位服务异常。服务名应替换为实际 systemd 单元名称:

sudo systemctl status nginx
sudo journalctl -u nginx --since "30 minutes ago" --no-pager

以上示例适用于服务由 systemd 管理且单元名为 nginx 的环境。若应用运行在容器中或使用其他服务名,应查看对应容器日志或单元日志,不要照搬示例名称。

还要关注健康检查路径是否依赖数据库、缓存、外部 API 等组件。一个专用健康接口若把所有下游依赖都设为“必须成功”,短暂的依赖抖动也可能使整组实例被摘除。是否把依赖纳入健康判定,应根据故障时是否应该停止接收流量来决定;不要简单地把接口改成无条件返回成功,否则负载均衡可能继续把请求送到不可服务的实例。

根据结果缩小故障范围

观察结果更可能的原因下一步核对
ss 中没有目标端口服务未监听、端口不符或启动失败服务状态、启动日志和应用端口配置
本机请求连接失败监听地址、协议或本机策略不符绑定地址、HTTP/HTTPS 模式及本机防火墙
本机请求返回 404、401、403 或重定向路径、鉴权、Host 或成功状态码不匹配健康检查 URI、Host 和允许的状态码
本机正常,抓包看不到探测流量网络入口、后端地址、云侧规则或抓包时机问题后端网卡、探测来源、安全组、网络访问控制列表
抓到 SYN,但连接未建立端口未对外监听或网络策略丢弃监听地址、主机防火墙和云侧入站规则
应用日志有请求但检查仍失败响应码、响应耗时、TLS 或判定条件不符检查日志、超时和协议配置
只有部分实例不健康实例间配置或状态不一致对比监听、规则、应用版本、路径和资源状态
所有实例同时不健康共享的负载均衡配置或共同依赖变更后端组、检查协议与端口、探测来源及统一发布变更

表中是定位方向,不是对单一现象的确定性结论。例如,抓包中没有请求也可能是观察时段未覆盖探测周期;应结合控制台状态变化和日志时间共同判断。

常见配置冲突与修复原则

后端端口与检查端口不一致:确认应用实际监听端口,再决定修改负载均衡检查配置或应用配置。若同时修改两端,容易产生新的不一致;每次尽量只改一项并立即验证。

健康路径返回重定向或需要认证:为探测设计轻量、稳定的专用路径,确保它返回负载均衡允许的状态码,不依赖浏览器会自动处理的跳转,也不要求交互式登录。若通过改写成功状态码来接受重定向,要先确认这不会把应用不可用误判为健康。

检查超时短于应用正常响应时间:先观察健康接口的响应耗时和波动,再调整超时、连续失败阈值或接口实现。增加超时可能延迟故障实例摘除;降低敏感度也可能掩盖真实故障,应结合业务容忍度调整,不宜只为了让状态变绿而放宽判定。

探测流量被防火墙拦截:依据云平台给出的来源信息和当前规则,增加最小范围的允许规则,并确认规则挂载在正确的网卡或实例上。不要把“允许所有来源访问所有端口”作为临时通用解法。若变更后未改善,撤销本次规则并重新核实探测来源和目标端口。

HTTPS 与证书或 SNI 不匹配:核对负载均衡后端采用的协议、端口、证书校验方式和服务器虚拟主机配置。若产品不支持所需 SNI 行为,可评估使用适配的后端检查方案,但需与实际业务流量的安全要求一致,不能仅凭服务器本机测试成功就认定云端检查通过。

修复后的验证与持续观察

修改前记录原配置、受影响实例和回退方法。修复时一次只调整一个关键变量,例如先更正检查路径,再观察结果;不要同时改端口、协议、防火墙和状态码,否则即便恢复,也难以确定根因。

验证至少覆盖以下内容:

  1. 在服务器本机按实际协议、端口、路径和 Host 重放请求,确认返回状态码符合健康检查条件,响应时间低于配置的超时。
  2. 在云控制台确认后端状态由不健康恢复,并留意是否仍有间歇性失败。状态更新可能受检查间隔和连续成功阈值影响,应等待足够的探测周期。
  3. 查看应用日志,确认探测请求到达正确实例并返回预期结果;同时抽查业务请求,避免健康状态恢复但实际业务路由仍异常。
  4. 持续观察一段时间内的后端健康状态、探测延迟、应用错误日志和实例资源。若重新出现波动,按同一时间窗口关联检查事件与应用、网络日志,而不是立即扩大允许范围或放宽成功条件。

如果回退后健康状态恢复,说明本次变更可能引入了冲突;应保留变更前后差异和验证结果,再分项调整。若回退后依旧不健康,则返回后端地址、探测来源和实际监听状态重新核验,避免把尚未确认的修复方案叠加到生产配置中。

面向美国站点和跨境业务的应用后端,A5idc数据提供美国物理服务器,涵盖常规 Xeon、AMD EPYC 等不同计算配置,部分方案配备 NVMe 存储。相关资源可承载网站、接口服务、数据库及容器等工作负载,为负载均衡架构下的多实例应用提供计算与存储基础。美国常规系列还提供 CN2 GIA 线路方案,满足跨境业务对网络资源的不同需求。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/7061.html

相关推荐