API服务器多实例部署时,负载均衡如何配合健康检查摘除故障实例?

发布人:A5数据发布时间:2026-10-15 14:22阅读量:143

API服务器已经部署了多个实例,但其中一个进程卡死、连接池耗尽或依赖访问异常时,请求仍可能被负载均衡转发过去。多实例解决的是“有其他实例可用”,并不会自动解决“入口知道哪个实例不可用”。负载均衡需要根据健康检查结果维护可用后端集合,在达到失败阈值后停止向故障实例分配新请求,并在实例持续恢复后重新纳入流量。

这套协作的关键不只是配置一个检查地址,而是让检查结果代表实例的真实接流量能力,同时明确摘除时机、在途请求处理、恢复条件和剩余实例的承载余量。健康检查负责提供判断依据,负载均衡负责执行流量调整,应用与部署系统则负责正确表达状态、排空请求和恢复实例。

当前问题:请求到达了实例,不代表实例能完成业务

典型的API请求链路可以简化为:

客户端
  → 负载均衡入口
  → API实例A / API实例B / API实例C
  → 必需的数据库或其他业务依赖

正常情况下,负载均衡按照轮询、连接数或权重等策略分配请求。实例A发生故障后,如果它仍在后端列表中,部分请求就会继续进入A,表现为间歇性超时或错误。客户端重复请求可能偶尔成功,但这不是故障已经恢复,而是请求碰巧落到了其他实例。

更隐蔽的情况是,实例的监听端口还在,TCP连接也能建立,但业务线程阻塞、数据库连接池耗尽,或者应用尚未完成初始化。此时仅检查“端口是否打开”,会把一个无法完成业务的实例判断为健康。

需要先区分三个动作:

  • 摘除实例:负载均衡停止向它分配新请求,不等于关闭应用进程。
  • 排空请求:停止接收新请求后,让已有请求在限定时间内完成。
  • 修复或重启实例:由进程管理器、容器平台或运维系统完成,不是负载均衡的主要职责。

健康检查摘除故障实例,本质上是调整入口的路由资格,而不是直接修复应用。 如果这几个动作没有分工,常见结果就是入口仍在发请求,部署系统却已经终止进程;或者故障实例被摘除后,没有任何系统负责恢复它。

相关组件:谁判断健康,谁执行摘除

负载均衡:维护后端状态并控制新流量

负载均衡通常通过两类信号判断后端状态。

检查方式信号来源能发现的问题主要边界
主动健康检查定期向后端发送TCP或HTTP探测无业务流量时也能发现连接失败、检查超时和指定状态码异常检查地址必须能代表接流量能力
被动故障检测观察真实请求的连接失败、超时或配置指定的错误能发现业务请求中暴露的故障需要真实流量,且失败条件由具体产品和配置决定

生产环境通常更适合以主动检查作为基础,再用被动检测补充真实请求中的异常。主动检查能够在请求进入前发现一部分问题,被动检测则可以识别健康接口没有覆盖的故障。

二者不能简单画等号。例如,开源Nginx常见的max_fails、fail_timeout属于被动失败判定相关配置,不能理解为配置后就会周期性访问/readyz。如果需要主动HTTP检查,应确认所使用的负载均衡软件、版本或服务套餐确实支持该能力。

负载均衡还要定义什么结果算成功:TCP连接建立、HTTP返回200,还是响应内容匹配。API服务通常宜使用明确的HTTP就绪接口,只接受约定状态码,不应把跳转到登录页面后的“最终成功”当成健康。

API应用:提供真实且低成本的状态信号

应用最好区分存活状态与就绪状态,而不是用一个接口承担所有判断。

状态接口回答的问题常见消费方不宜承担的职责
/livez进程是否仍能正常执行,是否需要重启进程或容器管理系统不宜因共享数据库短暂异常就触发所有实例重启
/readyz当前实例是否适合接收新业务请求负载均衡或服务端点管理系统不宜只返回固定200,忽略启动和排空状态
启动状态检查初始化是否已经完成部署或容器管理系统不宜过早用普通存活检查中断慢启动

路径名称是示例,可以按应用规范调整,重要的是语义清晰。

/readyz至少应反映:关键初始化是否完成、实例是否进入排空状态,以及是否存在导致主要业务无法执行的本地故障。若业务处理依赖某个必需连接池,还应考虑连接池不可用是否已经影响接流量能力。

健康接口不应每次都运行复杂SQL、扫描大量数据或串联多个远程服务。检查频率提高后,这种设计会让健康检查本身变成额外负载。较稳妥的方式是执行轻量检查,或者读取后台周期更新的依赖状态;使用缓存状态时,要限制其有效时间,避免长期返回过期的“健康”。

同时,健康接口最好与业务服务共享关键的监听和处理路径。完全独立的检查进程可能一直返回200,却无法发现真正处理API请求的工作线程已经失效。

部署系统:注册、排空和恢复实例

部署系统负责让新实例在准备好之前不进入流量池,并在下线时先撤销接流量资格,再终止进程。

如果使用容器编排平台,就绪状态可能先改变服务端点,再影响入口转发;如果负载均衡直接连接虚拟机或物理服务器,通常需要它自行探测后端。两种方式都可行,但必须明确最终由哪个组件更新路由,不能以为应用返回503后,所有入口都会立即同步。

相关组件:谁判断健康,谁执行摘除配图

进程重启策略也应与就绪策略分开。实例因为共享数据库不可用而暂时无法提供业务,并不意味着重启它能够解决问题。

数据库等依赖:区分局部故障与共同故障

依赖检查最容易出现两个极端:完全不查,导致业务已经失败而检查仍为200;全部深查,导致一个非关键组件异常就摘除所有API实例。

判断依据应是“该依赖失败后,当前实例是否仍能完成主要请求”。

例如,实例A的数据库连接池失效,而B、C仍可访问数据库,摘除A有助于减少错误。若数据库整体不可用,所有实例都将失去相同能力,轮换API实例不能恢复服务。此时应根据业务策略返回明确的不可用状态,或启用已经设计好的降级路径,而不是依靠不断重启实例。

对于允许降级的非关键缓存,应将异常体现在业务降级与监控中,不宜直接让整个API实例变为不就绪。对于必须同步完成的核心依赖,则不能为了保持“健康实例数量”而继续报告虚假的成功状态。

组件交互:从一次检查失败到停止分配请求

用阈值过滤波动,而不是一次失败就摘除

常见的后端状态转换如下:

可用
  → 检查失败累计
  → 达到失败阈值,标记不可用
  → 停止分配新请求
  → 连续检查成功达到恢复阈值
  → 重新接流量,必要时逐步增加权重

检查周期、检查超时、失败阈值和恢复阈值决定了这条链路的速度。

参数作用配置过于激进或保守的影响
检查周期决定探测频率太短增加负担,太长延迟发现
检查超时限制等待一次检查的时间太短可能误判,太长拖慢故障确认
失败阈值连续多少次失败后摘除太小容易抖动,太大延长错误窗口
恢复阈值连续多少次成功后恢复太小可能反复上下线,太大延长恢复时间
恢复后的流量增长控制重新接入的速度瞬间满量可能再次压垮刚恢复的实例

例如,检查周期为2秒、失败阈值为3次时,故障通常需要数秒才能被确认,而不是发生后立即摘除。具体时间还取决于故障发生在探测周期的哪个位置、每次检查是立即失败还是等待超时,以及软件如何调度探测。

因此,“周期×失败次数”只能用于粗略理解,不能当作严格的最大摘除时间。验收时应记录故障发生、检查失败、状态变化和最后一次新请求进入故障实例的时间戳。

组件交互:从一次检查失败到停止分配请求配图

摘除只约束后续分配,不能撤回已经送达的请求

实例被标记为不可用后,新请求通常会转向其他健康实例,但已转发的请求可能仍在执行,也可能最终超时。

HTTP连接复用还会带来一个容易混淆的问题:客户端与入口之间保持连接,并不意味着后续请求必须继续落到同一个后端。后端如何选择,取决于负载均衡的工作层级、连接复用方式和会话保持设置。对于四层转发或长连接业务,已有连接可能长期绑定某个实例,健康状态变化不一定自动迁移连接。

普通短请求API应重点检查“摘除后是否还有新请求进入故障实例”;长连接场景还需要明确已有连接是保留、主动关闭,还是等待业务自行重连。

重试也不能与摘除混为一谈。 查询请求可能适合有限重试,但创建订单、扣款或提交任务等写请求,即使入口收到超时,后端也可能已经完成操作。只有明确了幂等键、去重机制和可重试错误边界,才能安全地自动重试。否则,负载均衡虽然隐藏了一次故障,却可能制造重复业务操作。

一段主动检查配置应表达什么

下面以HAProxy 2.8及兼容语法版本为例,展示主动HTTP检查的核心配置。它是用于并入现有配置的backend片段,不包含入口监听和TLS配置;示例地址需要替换为实际后端地址。

backend api_pool
    mode http
    balance roundrobin

    timeout connect 1s
    timeout server 30s
    timeout check 1s

    retries 0

    option httpchk
    http-check send meth GET uri /readyz ver HTTP/1.1 hdr Host api.internal
    http-check expect status 200

    default-server inter 2s fall 3 rise 2

    server api_a 10.0.0.11:8080 check slowstart 30s
    server api_b 10.0.0.12:8080 check slowstart 30s
    server api_c 10.0.0.13:8080 check slowstart 30s

这段配置表达了几件事:直接检查各后端的/readyz,只有200算成功;连续3次失败后摘除,连续2次成功后恢复;恢复时使用30秒慢启动,避免立刻给刚上线实例分配完整份额。慢启动的实际分配效果仍受调度算法和其他健康实例状态影响。

retries 0用于让示例不依赖连接重试掩盖故障,并不表示所有生产系统都应禁用重试。实际配置应根据API幂等性和故障类型决定。timeout server 30s是后端响应等待相关设置,也不是健康检查的超时,两者不能混用。

应用配置前,应备份现有配置,使用haproxy -c -f指定实际配置文件进行语法校验,再按现有服务管理方式平滑加载。变更影响的是后端路由行为;若异常,应恢复备份并重新校验、加载,不能未经验证直接替换生产入口。

部署取舍:摘除之后,其他实例是否真的接得住

实例数量不等于故障隔离能力

三个API进程如果都运行在同一台服务器上,可以分担进程级问题,但宿主机断电、网络故障或资源耗尽仍会同时影响全部实例。

需要抵御哪种故障,就应在对应层级分散实例:

  • 抵御单进程退出,需要多个独立进程或容器。
  • 抵御单机故障,需要分散到不同宿主机。
  • 抵御更大范围的基础设施故障,需要结合业务要求设计故障域分布,并核对跨域网络和依赖访问。

入口本身也需要考虑可用性。多个API实例前面只有一台负载均衡服务器时,入口故障仍可能让全部后端无法被访问。使用双入口或托管负载均衡时,还应核对配置同步、状态判定和故障切换方式;多个入口独立探测同一个实例,短时间内可能出现不同的健康判断。

面向API多实例部署,A5数据提供香港、美国、日本及新加坡等地区的物理服务器资源,可用于分别承载负载均衡入口、API应用和数据库,为分散部署提供硬件基础。其Xeon与AMD EPYC系列覆盖不同计算和内存档位,搭配SSD或NVMe存储,可支持接口处理、数据库访问与多任务运行;各地区的线路和带宽选择,也为面向不同访问人群的服务部署及后端承载余量规划提供资源组合。

剩余容量决定摘除是否会触发连锁故障

摘除一个实例后,流量会集中到剩余实例。如果它们已经接近处理上限,队列增长、响应变慢和检查超时可能继续触发摘除,形成连锁故障。

以容量规划示例说明:三个实例在规定的延迟和错误率目标下,各自计划承载200请求/秒,整体业务流量为350请求/秒。正常情况下平均约117请求/秒;摘除一个实例后,剩余两个平均承担175请求/秒,占每个实例规划能力的87.5%。

这个结果仅说明算术上仍有余量,不代表真实系统一定满足要求。还要验证请求耗时是否一致、数据库是否成为瓶颈、负载分配是否均匀,以及故障时是否出现额外重试。API请求的读写比例和依赖消耗不同,不能只用一个请求数判断承载能力。

部署取舍:摘除之后,其他实例是否真的接得住配图

多实例部署应验证减少一个实例后的业务指标,而不只是验证所有实例在线时的总吞吐。 如果没有这部分余量,健康检查可能正确摘除了故障实例,却仍无法维持服务目标。

会话和本地数据不能阻碍切换

若登录会话、上传中间状态或任务进度只保存在某个实例的内存中,切换后可能出现“入口可用,但业务状态丢失”。

API应尽量采用能够跨实例校验的身份信息,并把需要跨请求保留的状态放在合适的共享存储中。会话保持可以降低正常情况下的跨实例切换,但不能替代故障转移设计:一旦绑定的实例被摘除,仍需要其他实例接管。

负载均衡策略也应与请求特征匹配。耗时较接近的短请求适合从轮询开始;耗时差异明显时可以评估最少连接等策略。但连接数不等于实际CPU消耗,任何算法都不能替代合理的资源隔离与容量验证。

运行要点:让检查可信,让上下线可验证

健康检查必须经过正确的路径

探测应直接到达被检查的后端,不能访问一个域名后又绕回整个负载均衡池,否则实例A的检查可能由实例B回答,掩盖A的故障。

如果使用HTTPS回源,还需要分别确认探测器的SNI、Host、证书信任和证书有效期处理。应用服务正常,但检查器使用错误主机名,也可能把全部后端摘除;反过来,业务回源要求验证证书而探测只查明文端口,也不能证明真实链路可用。

健康接口可以限制为入口或监控系统可访问,但应避免被登录鉴权、验证码或限流规则误拦截。响应无需暴露版本、数据库地址、密钥或详细异常栈,返回简洁状态即可;详细原因放在受控日志中。

发布和维护要走“先停止接流量,再退出”

计划内下线与突发故障不同,应尽量避免等待失败阈值触发后才停止转发。

推荐的协作顺序是:

  1. 将实例设置为排空或不就绪,主动通知入口停止分配新请求。
  2. 确认路由状态已经传播,观察该实例的新请求计数停止增长。
  3. 等待在途请求完成,并设置合理的最大等待时间。
  4. 终止或更新实例,完成初始化后再恢复就绪。
  5. 达到恢复条件后接入流量,必要时逐步增加权重。

等待时间应依据API实际耗时设置,而不是照搬固定秒数。进程的强制终止期限还要覆盖状态传播和请求排空时间,避免应用已经停止但入口仍在转发。

滚动发布期间,也应把正在更新的实例数量计入可用容量。原本能承受单实例故障的系统,如果同时下线多个实例进行更新,仍可能失去必要余量。

监控应关联检查状态与真实业务

只有“后端健康数量”一条指标不够。至少需要关联查看:每个实例的流量、延迟和错误率,健康检查失败原因,后端上下线事件,以及剩余实例的资源和连接池状态。

入口日志应能标识选中的后端,并区分连接失败、后端超时和应用返回的错误。应用日志则应记录就绪状态改变的原因,例如初始化未完成、进入排空或必需连接池不可用。这样才能判断一次摘除是正确保护,还是检查规则造成的误判。

如果业务错误率明显升高,但所有健康检查仍成功,说明检查覆盖不足;如果业务仍能正常处理,却频繁上下线,则应检查阈值、探测路径和资源竞争。不要只通过延长超时来消除告警,否则可能把真正的故障识别也一起延迟。

上线前可按以下场景进行受控验证,优先在测试环境或已经限流的单个实例上执行:

验证场景应观察的结果重点判断
单实例进程退出连接检查失败,达到阈值后停止向其发送新请求摘除时延与业务错误窗口
实例仍监听,但业务处理阻塞HTTP就绪检查失败,或被动检测发现异常是否只查了端口
单实例必需连接池异常该实例退出流量池,其他实例继续服务是否能区分局部故障
共享依赖不可用按预定策略失败或降级,避免无效重启风暴健康策略是否匹配业务能力
实例恢复或滚动发布初始化完成后接流量,下线时完成排空是否出现过早接入、重复操作或请求中断

验证期间应记录统一时间基准下的检查结果、路由变化和业务指标;如果剩余实例接近告警阈值,应停止测试并恢复原有可用状态。

下一步应验证的是整条摘除链路

负载均衡配合健康检查摘除故障实例,完整条件是:应用能够正确表达就绪状态,入口能够按规则识别并更新后端集合,在途请求有明确处理方式,恢复实例不会过早接入,剩余实例具备承载转移流量的能力。

已经完成多实例部署的API服务,下一步不必先增加更多组件,而应验证一次受控的单实例故障:它多久被发现,何时停止接收新请求,错误是否局限在预期窗口内,剩余实例是否满足延迟目标,以及恢复后是否再次抖动。只有这些结果形成闭环,“多个实例都能运行”才真正转化为“故障时能够继续提供服务”。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/3897.html

相关推荐