香港服务器上的HAProxy后端频繁503,先检查健康检查还是超时配置?
香港服务器上的 HAProxy 后端频繁返回 503 时,第一检查点通常是健康检查,而不是先把 timeout 调大:HAProxy 在没有可用后端服务器时会直接返回 503;timeout 更常解释连接建立、等待后端响应或客户端断开,盲目延长它不能让被判定为 DOWN 的节点恢复。
但不能只凭状态码下结论。503 也可能由后端应用直接返回、前端 ACL 没有匹配到正确的 backend,或者 HAProxy 实际加载的配置并不是正在编辑的文件。比较稳妥的顺序是:先确认 503 的产生位置,再查看后端健康状态,随后从香港服务器本机直连后端,最后核对生效配置和各类 timeout 的作用范围。
先确认 503 是谁返回的
从客户端保留完整响应信息
先不要修改配置。使用 curl 查看响应头、总耗时和连接阶段耗时。以下命令适用于 HTTP 前端,域名和路径需要替换为实际值:
curl -sv \
-H 'Host: app.example.com' \
--connect-timeout 3 \
--max-time 10 \
-o /tmp/haproxy-body.txt \
-D /tmp/haproxy-headers.txt \
http://香港服务器公网IP/healthz
如果前端是 HTTPS,需要保留域名对应的 SNI:
curl -skv \
--resolve app.example.com:443:香港服务器公网IP \
--connect-timeout 3 \
--max-time 10 \
-o /tmp/haproxy-body.txt \
-D /tmp/haproxy-headers.txt \
https://app.example.com/healthz
重点查看以下信息:
- HTTP 状态码是否确实为
503; - 响应头中是否出现 HAProxy、自定义网关或应用标识;
- 响应体是 HAProxy 的默认错误页面、定制错误页面,还是应用自己的 JSON 错误;
- 请求是否几乎立即返回,还是等待数秒后才返回。
如果 503 几乎立即出现,并且多个后端同时不可用,优先怀疑 HAProxy 没有找到可用 server。如果等待接近 timeout server 后才出现错误,则需要进一步检查后端连接和响应等待过程。
不过,响应头中的 Server 字段并不是绝对证据,因为应用或上游设备可以伪造,也可能被 HAProxy 的 http-response 规则修改。最终仍要结合 HAProxy 日志、统计接口和后端直连结果判断。
查看 HAProxy 访问日志和服务日志
在使用 systemd 的 Debian、Ubuntu、RHEL 或兼容发行版上,可以先查看最近一段时间的服务日志:
sudo journalctl -u haproxy --since "-15 min" --no-pager
如果系统通过 rsyslog 或 syslog-ng 将 HAProxy 访问日志写入文件,再检查常见路径:
sudo grep -iE '503|DOWN|UP|health|check|timeout' /var/log/haproxy.log
日志路径并不由 HAProxy 固定决定。如果文件不存在,应先查看服务配置和系统日志规则,而不是直接创建一个新路径:
sudo systemctl cat haproxy
sudo grep -R "haproxy\|local[0-9]" /etc/rsyslog.conf /etc/rsyslog.d 2>/dev/null
启用了 option httplog 的情况下,标准 HTTP 日志一般会包含状态码、队列等待、连接建立、等待响应头和总耗时等字段。不同版本及自定义 log-format 的字段顺序可能不同,因此不要只看某一个缩写。
常见判断方式如下:
- 状态码是 503,backend/server 显示为
be_app/-或没有具体 server:更像是没有选出可用后端; - 503 对应明确的应用 server,且后端应用日志中也有同一时间的 503:可能是应用主动返回;
- 连接耗时很短但响应状态为 503:优先检查路由、健康状态或后端应用返回;
- 连接耗时较长,伴随连接超时或响应超时标记:再检查
timeout connect、timeout server、网络路径和后端处理时间; - 同一节点反复出现
UP、DOWN:属于健康检查抖动,需要看检查失败原因,而不是只把fall调得很大。
日志中的 SC、sC、SD、sD、sH 等终止状态标记,需要结合 HAProxy 版本和完整日志格式解读。它们通常用于区分连接服务器失败、等待响应超时、传输阶段超时和服务器提前关闭连接。若当前日志没有 backend/server、计时字段,先完善观测信息比直接调大 timeout 更有效。

第一层排查:后端健康检查是否把节点判定为不可用
通过管理 socket 查看实际状态
如果配置中已经启用了管理 socket,常见配置类似:
global
stats socket /run/haproxy/admin.sock mode 660 level operator
可以使用 socat 查询统计信息:
printf 'show stat\n' | sudo socat - UNIX-CONNECT:/run/haproxy/admin.sock
若 socket 路径不同,先从实际配置中查找:
sudo grep -R "stats socket" /etc/haproxy /etc/haproxy.cfg 2>/dev/null
show stat 返回的是 CSV 数据,开头通常有字段名。建议先保留表头,再查看目标 backend:
printf 'show stat\n' | sudo socat - UNIX-CONNECT:/run/haproxy/admin.sock | \
grep -E '^(#|be_app,)'
下面是一个格式示例,内容仅用于说明字段,不代表某个真实环境的输出:
# pxname,svname,...,status,...,check_status,...,check_code,...,check_duration,...,last_chk,...
be_app,app1,...,DOWN,...,L7TOUT,...,0,...,3001,...,timeout during HTTP response
be_app,app2,...,UP,...,L7OK,...,200,...,84,...,HTTP status check returned 200
重点关注:
status:后端 server 当前是UP、DOWN、MAINT还是其他状态;check_status:检查停留在 TCP 连接阶段,还是已经进入 HTTP 响应阶段;check_code:HTTP 检查收到的状态码;check_duration:检查耗时;last_chk:最近一次检查失败或成功的说明;qcur:当前排队请求数量;econ、eresp、dresp:连接、响应或数据阶段的异常计数。
如果没有安装 socat,不要为了排障立即修改生产软件包。可以先确认是否配置了 HTTP stats 页面,或者在维护窗口安装发行版提供的同名工具。也可以通过日志和配置文件完成第一轮判断。
先区分 L4 检查失败和 L7 检查失败
健康检查失败大致分为两类。
L4 检查失败表示 TCP 层就没有建立成功,常见原因包括:
- 后端服务没有监听目标端口;
server行中的 IP 或端口写错;- 香港服务器到后端的路由不通;
- 后端防火墙只允许部分源地址;
- 跨地域链路存在丢包或瞬时延迟;
- 后端服务连接数达到上限,新的检查连接被拒绝;
- 后端只监听
127.0.0.1,却配置成了内网或公网地址。
L7 检查失败表示 TCP 已经连通,但 HTTP、TLS 或返回内容不符合预期,例如:
- 检查路径不存在,返回 404;
- 应用要求正确的
Host,检查请求没有携带; - 检查收到 301、302、401、403 或 500,但配置只接受 200;
- 后端 HTTPS 需要 SNI,检查没有发送正确的服务器名称;
- 健康检查地址依赖数据库或其他服务,响应超过
timeout check; - 检查方法、协议版本或请求头与后端实际接口不兼容。
L4 和 L7 的处理方向完全不同。L4 失败时先查监听、路由和防火墙;L7 失败时先查检查请求的路径、Host、TLS 和期望状态码。两者都直接调大 timeout server,通常不会解决根因。

从香港服务器本机直连后端
健康检查是由 HAProxy 所在的香港服务器发出的,不能只在个人电脑或其他地区的机器上测试。应在 HAProxy 主机执行与健康检查相近的请求:
curl -sS -D - -o /dev/null \
-H 'Host: app.example.com' \
--connect-timeout 3 \
--max-time 5 \
http://10.0.1.11:8080/healthz
同时记录连接和首字节时间:
curl -sS \
-H 'Host: app.example.com' \
--connect-timeout 3 \
--max-time 5 \
-o /dev/null \
-w 'code=%{http_code} connect=%{time_connect}s starttransfer=%{time_starttransfer}s total=%{time_total}s\n' \
http://10.0.1.11:8080/healthz
如果后端是 HTTPS,可以使用对应的 URL。测试证书和 SNI 时,不要简单地把 HTTPS 改成 HTTP:
curl -skS \
--resolve app.example.com:443:10.0.1.11 \
--connect-timeout 3 \
--max-time 5 \
-o /dev/null \
-w 'code=%{http_code} connect=%{time_connect}s starttransfer=%{time_starttransfer}s total=%{time_total}s\n' \
https://app.example.com/healthz
上述直连请求的结果有明确含义:
- 连接失败:先检查后端监听、路由和防火墙;
- 连接成功但返回 404:检查路径或虚拟主机;
- 返回 401/403:检查认证策略,不能简单把认证关闭;
- 返回 500/503:后端应用本身或依赖服务异常;
- 直接访问返回 200,但 HAProxy 检查仍为 DOWN:重点检查 HAProxy 的检查方式、Host、TLS、端口和实际生效配置;
- 直连耗时偶尔超过检查超时:说明健康检查可能被设置得过于激进,但仍需确认后端性能和网络抖动,而不是无条件延长时间。
如果后端配置了 PROXY protocol,例如 HAProxy 使用 send-proxy,直接用普通 curl 发送的请求并不能完全复现后端收到的流量格式。此时需要核对后端是否确实支持 PROXY protocol,不能为了让检查通过而随意删除相关配置。
检查健康检查配置是否与后端实际接口一致
默认 TCP 检查不等于应用可用
只写以下配置时,HAProxy 通常只验证目标端口是否能够建立 TCP 连接:
backend be_app
server app1 10.0.1.11:8080 check
端口能连接,并不代表应用已经可以处理业务请求。服务可能已经进入启动完成但未就绪、线程池耗尽、数据库不可用或只接受特定 Host 的状态。
如果应用提供轻量、稳定且不依赖复杂业务的就绪接口,可以明确使用 HTTP 检查:
backend be_app
option httpchk
http-check send meth GET uri /healthz ver HTTP/1.1 hdr Host app.example.com
http-check expect status 200
server app1 10.0.1.11:8080 check inter 2s fall 3 rise 2
server app2 10.0.1.12:8080 check inter 2s fall 3 rise 2
这段配置的含义是:
- 每隔约 2 秒检查一次;
- 连续失败 3 次后将节点标记为
DOWN; - 连续成功 2 次后恢复为
UP; - 只有返回精确 HTTP 200 时才视为成功。
如果接口设计上返回 204,应该有意识地调整检查条件,而不是为了省事关闭健康检查。例如可以使用适合当前版本的状态码匹配规则,但修改前应通过配置校验确认语法。不同 HAProxy 版本对 http-check 的细节支持可能不同,先执行:
haproxy -vv
再参考当前版本的配置语法。
健康检查接口最好满足以下条件:
- 不执行高成本查询;
- 不因为普通用户未登录而返回 401;
- 不依赖会频繁波动的外部服务,除非检查目标就是验证完整业务就绪状态;
- 返回结果稳定,响应时间明显低于
timeout check; - 能区分“进程存活”和“可以接收流量”。
如果应用已经过载,但 /healthz 仍然返回 200,HAProxy 会继续向它转发请求。这时应该重新设计 readiness 检查,而不是把健康检查改成永远返回 200。
检查 Host、端口和 TLS/SNI
香港服务器到后端的网络路径可能和用户访问香港服务器的路径完全不同。尤其当后端位于其他地域、云网络或专用网络时,检查请求很可能命中了错误的 IP、端口或虚拟主机。
配置中需要逐项对应:
| 检查项 | 需要确认的内容 | 常见异常 |
|---|---|---|
| 地址 | server 行中的 IP 或域名解析结果 | 指向旧机器、错误网段或不可达地址 |
| 端口 | server 行端口与应用监听端口 | 应用监听 8080,配置却检查 80 |
| 协议 | TCP、HTTP 还是 HTTPS | 用明文 HTTP 检查 TLS 端口 |
| Host | 检查请求携带的域名 | 后端返回默认站点或 404 |
| SNI | TLS 握手使用的服务器名称 | 证书或虚拟主机选择错误 |
| 路径 | /healthz 等检查 URL | 路径不存在、被重定向或需要登录 |
| 期望状态 | 200、2xx 或其他明确结果 | 应用返回 204,但配置只允许 200 |
后端是 HTTPS 时,除了 server 行中的 ssl,还可能需要检查用的 SNI。较新版本可以通过 http-check connect ssl 等方式为 HTTP 检查单独建立 TLS 连接,但具体参数依赖版本和现有配置。不要直接复制一个不确定的示例到生产环境,先执行配置校验:
sudo haproxy -c -f /etc/haproxy/haproxy.cfg
如果证书由内部 CA 签发,应配置正确的 CA 校验方式。临时使用跳过证书校验可以帮助定位问题,但不应作为长期修复方案。
第二层排查:所有后端已 UP,为什么仍然是 503
当 stats 中所有 server 都是 UP 时,健康检查不再是第一嫌疑。此时要看请求是否真的进入了目标 backend。
核对前端 ACL 和 backend 选择
常见配置结构如下:
frontend fe_http
bind :80
acl host_app hdr(host) -i app.example.com
use_backend be_app if host_app
如果没有匹配到 app.example.com,并且没有设置 default_backend,请求可能无法进入预期的 backend。需要核对:
- 客户端发送的 Host 是否带端口,例如
app.example.com:80; - ACL 是否使用了大小写无关匹配;
- HTTPS 前端是否在 TLS 终止之后按正确的 Host 路由;
use_backend规则顺序是否被前面的规则截获;- 是否存在同名 backend 或 include 文件覆盖、重复定义;
- 访问的端口是否对应正在查看的 frontend。
可以从 HAProxy 主机本地模拟请求:
curl -sv \
-H 'Host: app.example.com' \
--connect-timeout 3 \
--max-time 10 \
http://127.0.0.1/healthz
如果本机访问 503,而直连 backend 返回 200,说明问题在 HAProxy 的前端路由、backend 选择或运行时状态。如果更换 Host 后结果不同,则应优先检查 ACL。
查看队列和容量限制
后端 server 即使显示 UP,也可能因为连接数、队列或会话限制导致请求等待。查看 stats 中的以下字段:
qcur:当前排队请求数;qmax:历史最大排队数;scur:当前会话数;smax:历史最大会话数;slim:会话限制;maxconn:server 或 backend 的连接上限;maxqueue:允许排队的请求数。
如果 qcur 持续大于 0,说明请求没有立即得到后端连接。此时不要直接把所有 timeout 调大,因为更长的等待可能进一步占满前端连接。应确认:
- 后端应用处理时间是否增长;
- HAProxy 配置的
maxconn是否过小; - 后端数据库、线程池或连接池是否达到上限;
timeout queue是否过短;- 是否只有某一个节点过载。
如果只是单个后端节点队列持续增长,可以先将其与其他节点的连接数、响应时间和应用日志对比。不要直接使用管理 socket 强制把异常节点设置为 ready,这会绕过健康检查,只能掩盖问题。
区分 HAProxy 生成的 503 和应用生成的 503
最直接的做法是从香港服务器本机分别测试两个路径:
- 访问 HAProxy 前端;
- 绕过 HAProxy 直连后端。
如果两者都返回 503,且响应体结构相似,应用或其依赖服务更可疑。如果直连后端返回 200,而经过 HAProxy 返回 503,则检查路由、健康状态、检查条件和运行时配置。
如果后端应用本身确实返回 503,HAProxy 通常会把它转发给客户端。此时调大 timeout server 没有意义,因为 HAProxy 已经及时收到了应用的 503。应查看应用日志中同一时间点的:
- 线程池和连接池使用量;
- 数据库连接失败;
- 限流或熔断记录;
- 依赖服务超时;
- 进程重启或容器探针失败;
- 单节点与其他节点之间的配置差异。
第三层排查:timeout 是否配置在了错误的位置
先理解各类 timeout 的作用
HAProxy 中不同 timeout 负责不同阶段,不能相互替代。
| 配置项 | 主要控制阶段 | 不能解决的问题 |
|---|---|---|
timeout http-request | 等待客户端完整请求头 | 后端响应慢 |
timeout connect | 与后端建立 TCP 连接 | 后端业务处理时间 |
timeout check | 等待健康检查完成 | 普通用户请求的响应等待 |
timeout queue | 请求在队列中等待后端连接 | 后端应用本身返回 503 |
timeout server | HAProxy 与后端之间等待数据 | 健康检查路径错误 |
timeout client | HAProxy 等待客户端数据 | 后端服务器响应时间 |
timeout http-keep-alive | HTTP 长连接空闲等待 | 后端节点被判定为 DOWN |
其中最容易混淆的是:

- 调整
timeout client,不会延长 HAProxy 等待后端响应的时间; - 调整
timeout server,不会改变健康检查的 HTTP 路径、Host 或期望状态; - 调整
timeout check,只影响健康检查等待时间,不会让业务请求获得更长的后端处理时间; - 调整
timeout connect,只覆盖建立连接阶段,不覆盖连接建立后的应用处理阶段。
一个适合作为排障起点的示例配置如下:
defaults
mode http
option httplog
timeout http-request 10s
timeout connect 3s
timeout check 3s
timeout queue 10s
timeout client 30s
timeout server 30s
这些数值只是示例,不能脱离实际响应时间直接照搬。香港服务器到跨地域后端时,应根据从香港节点测出的连接时间和首字节时间设置,而不是根据客户端到香港服务器的延迟设置。
注意单位和继承关系
HAProxy 的时间配置建议明确写单位:
timeout connect 3s
timeout server 30s
timeout check 3s
不要把下面这种写法误认为是 300 秒:
timeout server 300
未明确写单位时,数值通常按毫秒解析,因此这里可能只有 300 毫秒。它可能导致跨地域后端频繁出现响应超时。
同时要确认 timeout 位于真正生效的 section。defaults 通常只对其后相关 section 提供默认值;后面的 frontend、backend 或另一个 defaults 可能产生覆盖。可以搜索所有定义:
sudo grep -RInE '^(defaults|frontend|backend|listen|[[:space:]]*timeout[[:space:]])' \
/etc/haproxy /etc/haproxy.cfg 2>/dev/null
更重要的是确认 systemd 实际启动时加载了哪个文件:
sudo systemctl show haproxy -p ExecStart -p FragmentPath
sudo systemctl cat haproxy
常见的“改了配置但完全没效果”原因包括:
- 编辑的是
/etc/haproxy/haproxy.cfg,服务实际使用/etc/haproxy/haproxy-main.cfg; - 配置中通过
-f加载了多个文件; - 修改后只执行了
haproxy -c,没有 reload; - reload 失败,旧进程仍在提供服务;
- timeout 被 backend 或 frontend 中同名配置覆盖;
- 修改位于一个没有被请求路由到的 backend;
- 通过管理面板生成配置,手工文件会被重新覆盖。
haproxy -c 只能验证语法和部分引用关系,不代表正在运行的进程已经使用了新配置。
判断是检查超时还是业务超时
可以按统计状态和日志耗时组合判断:
- 健康检查显示
L4TOUT:检查 TCP 连接阶段超时,查看timeout check、timeout connect、路由和防火墙; - 健康检查显示
L7TOUT:TCP 已建立,但 HTTP 响应未在检查期限内返回,查看检查路径、应用处理时间和timeout check; - server 为
UP,业务请求等待很久后失败:查看timeout server和应用响应时间; - server 为
UP,业务请求立即返回 503:查看前端路由、应用返回、队列限制或自定义错误规则; qcur增长但 server 仍为UP:查看maxconn、maxqueue、timeout queue和后端容量;- 只有跨地域链路的节点出现失败:从香港主机测量到每个后端的连接和首字节时间,不要只测试一个节点。
如果示例监控显示从香港到后端的连接时间通常为 50 至 100 毫秒,偶发首字节时间达到 700 毫秒,而 timeout check 只有 500 毫秒,那么检查超时确实可能偏紧。但这只是“检查阈值与实际延迟不匹配”的判断,不代表后端性能可以无限变慢。应先确认高延迟是否来自数据库、跨地域链路或应用线程池。
结果分支:根据证据选择修复动作
分支一:所有后端都为 DOWN
先查看每个 server 的 last_chk。如果所有节点在同一时间以相同原因失败,优先检查共同因素:
- HAProxy 配置的端口或地址是否整体错误;
- 香港服务器到后端网段的路由是否变化;
- 后端防火墙是否封禁了香港服务器源地址;
- 检查 URL、Host 或 TLS 配置是否近期统一变更;
- 后端服务是否整体重启或监听失败。
如果只有一个节点为 DOWN,先将故障范围缩小到该节点,不要修改所有节点的检查参数。可在该后端主机执行:
sudo ss -lntp | grep ':8080'
再查看对应应用服务状态和日志。只有确认服务监听正常、请求路径正确,但响应确实超过合理检查时间时,才考虑适度增加 timeout check。
分支二:后端 DOWN,检查返回 401、403、404 或 301
这种情况通常不是网络不通,而是检查请求与应用接口定义不一致。
401/403:检查接口需要认证或被访问控制拦截;404:路径错误,或 Host 导致命中默认虚拟主机;301/302:应用强制跳转 HTTPS 或规范域名;405:检查方法不被接口支持;500/503:应用或依赖服务异常。
应优先修改检查请求,使其符合后端真正的健康接口。不要通过“接受所有状态码”来掩盖后端错误。若业务确实允许 2xx 中多个状态,使用明确的 2xx 范围匹配,并在应用侧保证健康接口不会把故障状态伪装成成功。
分支三:后端全部 UP,但 HAProxy 仍立即返回 503
此时优先检查:
- Host ACL 是否匹配;
- 请求是否进入了正确 frontend;
- frontend 是否使用了预期 backend;
- backend 是否有动态维护状态;
- server 或 backend 是否设置了连接限制;
- 是否存在
http-request return status 503、use_backend或 ACL 规则; - 503 是否由应用转发而来。
可以在配置中搜索显式返回规则:
sudo grep -RInE 'status[[:space:]]+503|return[[:space:]]+status|use_backend|default_backend' \
/etc/haproxy /etc/haproxy.cfg 2>/dev/null
如果配置中有多个域名和多个 backend,应为测试请求明确设置 Host,并分别测试每个入口,不要只用 IP 访问后把结果套用到所有域名。
分支四:后端 UP,但请求等待后出现错误
这时再围绕 timeout 处理:
- 建立后端连接慢:检查
timeout connect、路由、丢包和后端连接队列; - 已建立连接但迟迟没有响应头:检查
timeout server、应用线程池、数据库和依赖服务; - 请求一直在 HAProxy 队列:检查
timeout queue、maxconn和后端容量; - 客户端提前断开:检查
timeout client以及客户端或上游网关的等待时间; - 健康检查很快成功,但真实请求很慢:健康接口可能只代表进程存活,不代表业务可用。
此时不能只看 503。应同时观察 502、504、连接重置、后端响应时间和应用自身状态码。状态码变化能够帮助区分“没有可用 server”和“server 已接收请求但未及时响应”。
低风险修复与配置回滚
确认根因后,优先进行最小修改。例如只是检查请求缺少 Host,可以只补充检查请求,不要同时改动负载均衡算法、连接上限和全部 timeout:
backend be_app
option httpchk
http-check send meth GET uri /healthz ver HTTP/1.1 hdr Host app.example.com
http-check expect status 200
server app1 10.0.1.11:8080 check inter 2s fall 3 rise 2
server app2 10.0.1.12:8080 check inter 2s fall 3 rise 2
如果确认检查响应只是跨地域延迟略高,可以在有依据的范围内调整:
defaults
timeout connect 3s
timeout check 5s
timeout server 30s
调整前要确认:
timeout check大于正常健康接口的高位响应时间;timeout connect能覆盖正常 TCP 建连时间,但不会掩盖持续不可达;timeout server大于正常业务响应时间,但不会无限延长连接占用;- 应用、客户端和上游网关的超时关系仍然合理;
- 只修改实际使用的
defaults、frontend 或 backend。
修改配置前保留备份:
sudo cp -a /etc/haproxy/haproxy.cfg \
"/etc/haproxy/haproxy.cfg.bak.$(date +%F-%H%M%S)"
然后先校验,再执行平滑 reload:
sudo haproxy -c -f /etc/haproxy/haproxy.cfg
sudo systemctl reload haproxy
sudo systemctl is-active haproxy
如果实际启动参数使用了其他配置文件,应把命令中的路径替换为 systemctl show haproxy -p ExecStart 显示的文件。配置校验失败时不要 reload;reload 后如果服务状态异常或 503 增多,应立即查看:
sudo systemctl status haproxy --no-pager
sudo journalctl -u haproxy --since "-5 min" --no-pager
回滚时使用之前的备份文件,覆盖前先确认备份时间和内容:
sudo cp -a /etc/haproxy/haproxy.cfg.bak.YYYY-MM-DD-HHMMSS \
/etc/haproxy/haproxy.cfg
sudo haproxy -c -f /etc/haproxy/haproxy.cfg
sudo systemctl reload haproxy
配置文件覆盖和 reload 会影响新的连接分配,生产环境应选择低峰期,并提前确认旧进程、连接排空和监控告警状态。不要在没有备份和语法校验的情况下直接使用 restart,也不要删除 socket、日志或状态文件来“清理”故障。
修复后的复测与持续观察
修复完成后,至少从三个层面复测。
第一层是后端直连:
curl -sS \
-H 'Host: app.example.com' \
--connect-timeout 3 \
--max-time 5 \
-o /dev/null \
-w 'backend code=%{http_code} connect=%{time_connect}s starttransfer=%{time_starttransfer}s total=%{time_total}s\n' \
http://10.0.1.11:8080/healthz
确认检查路径、Host 和协议与 HAProxy 配置一致,并分别测试每个后端节点。
第二层是通过 HAProxy 访问:
curl -sS \
-H 'Host: app.example.com' \
--connect-timeout 3 \
--max-time 10 \
-o /dev/null \
-w 'proxy code=%{http_code} connect=%{time_connect}s starttransfer=%{time_starttransfer}s total=%{time_total}s\n' \
http://127.0.0.1/healthz
如果公网入口与本机入口配置不同,还应从外部客户端再次验证。通过本机测试正常,只能说明本机 frontend 路径正常,不能代替公网入口验证。
第三层是观察状态变化:
printf 'show stat\n' | sudo socat - UNIX-CONNECT:/run/haproxy/admin.sock | \
grep -E '^(#|be_app,)'
持续关注以下现象:
- 所有预期 server 是否保持
UP; - 是否仍在反复出现
UP/DOWN切换; last_chk是否继续出现 timeout 或状态码不匹配;qcur是否持续增长;- 503 是否只在某一个 Host、路径或后端节点出现;
- reload 后是否出现新的 warning 或 backend 状态异常。
可以用低频请求做短时复测,但不要对生产环境持续高频压测。例如:
for i in $(seq 1 20); do
date '+%F %T'
curl -sS -o /dev/null \
-H 'Host: app.example.com' \
--connect-timeout 3 \
--max-time 10 \
-w 'code=%{http_code} total=%{time_total}s\n' \
http://127.0.0.1/healthz
sleep 5
done
这类验证只能用于确认短时间内是否仍有异常,不能代替业务高峰期观察。若复测期间健康检查稳定、后端保持 UP、队列不增长,且 503 不再集中出现,说明初步修复方向正确。之后还应继续观察一个业务高峰周期,确认问题没有从“全部 503”变成“单节点间歇性 503”或“延迟升高后出现 504”。
因此,香港服务器上的 HAProxy 频繁 503,通常应先看健康检查状态和失败原因,再判断 timeout 是否设置得过短;只有在确认后端处于 UP、请求确实进入目标 backend 且日志显示等待阶段超时时,才有必要调整 timeout connect、timeout check、timeout queue 或 timeout server。
A5数据提供中国香港物理服务器租用,覆盖入门建站、Xeon Gold与AMD EPYC等配置,并配备SSD或NVMe存储及CN2、国际带宽方案,可为HAProxy前端、业务后台、数据库和接口服务提供独立的计算、存储与网络资源。针对不同访问区域、程序负载和并发业务,A5数据也提供美国、日本、新加坡等地区的服务器资源,便于构建多地域业务架构。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/3334.html
