业务发布期间用负载均衡服务切换流量,如何设置验证点与回退条件?
业务发布期间切换流量,目标不是把负载均衡服务中的新后端权重调到 100%,而是在用户请求可控的前提下,确认新版本能够承接业务,并且出现异常时还能把新请求切回旧版本。生产变更负责人应在操作前写清目标状态、每一阶段的验证点,以及停止放量和执行回退的不同条件。
切流的主要风险也不只在新版本报错:健康检查通过但下单失败、会话被分散到不同版本、旧连接继续处理请求、数据库变更使旧版本无法运行,都可能让“权重已恢复”不等于“业务已回退”。因此,切流计划必须同时覆盖负载均衡配置、应用行为和业务结果;任何一个关键前提不成立,就不进入下一阶段。
现状核对:先确认实际流量从哪里来、将到哪里去
先画出本次请求路径:用户入口、负载均衡实例及监听器、路由规则、旧后端池、新后端池、应用依赖。记录需要变更的域名、端口、路径、地域或可用区,以及不在此次范围内的管理接口、定时任务和其他业务。若多个入口分别接收流量,应逐一核对;只改动其中一个监听器,不能视为全站切换完成。

确认所用负载均衡服务是否支持按后端池或实例调整权重、查看健康状态、连接排空及配置回退,并核对实际生效方式。本文的分阶段比例是实施示例,不代表任何特定产品都提供同名功能。若服务只能切换整组后端,不能照搬权重步骤;应改用已验证的路由规则或其他可控发布方式,重新设计观察和回退窗口。
变更前至少留存以下基线,时间范围应覆盖与发布时段相近的业务负载,并标明采集口径:
- 入口与后端流量:按监听器、路由、后端池统计请求量、连接数和实际分配比例。权重为 25% 不意味着每一分钟恰有 25% 的请求命中新池;连接复用、会话保持和节点能力都会影响结果。
- 服务质量:分别记录新旧池可比接口的 5xx 比例、超时比例、P95 延迟,以及整体入口的同类指标。低流量接口不要只看百分比,还要看请求数和具体失败样本。
- 业务结果:为登录、查询、提交订单或其他核心交易选定成功事件,明确分母、成功判定及数据延迟。例如“订单创建接口返回成功”不能代替“订单在数据库落库且后续可查询”。
- 依赖与容量:核对数据库连接、缓存、消息队列、第三方调用和旧池可用容量。计划回退时,旧池必须能重新承接目标流量,而不只是保留一台可通过健康检查的机器。
同时检查新旧版本是否能够并行工作:会话数据是否共享,Cookie、令牌和序列化格式是否兼容;数据库字段变更是否允许旧代码继续读写;异步消费者、定时任务是否会因两个版本并存而重复执行。这些问题不能靠负载均衡权重修复。若旧版本已无法使用新数据,先解决版本兼容或准备经验证的数据恢复方案,再安排发布。
业务发布中的流量切换不仅依赖负载均衡配置,也离不开新旧后端承载应用与数据的资源基础。A5idc数据提供香港、美国、日本、韩国、中国台湾、新加坡和马来西亚等地区的物理服务器,涵盖不同CPU、内存、NVMe或大容量存储及网络线路方案,可用于部署网站、业务后台、数据库和接口服务。多地区资源与不同配置选择,为企业按业务访问区域和负载形态构建应用节点、承接发布期间的新旧版本流量提供了部署基础。
变更准备:把操作窗口、证据和权限固定下来
在变更单中写明目标、范围、负责人、执行人、观察人、审批及升级联系人。冻结同一入口上的其他路由调整和相关应用发布,避免指标变化无法归因。窗口应覆盖分阶段观察、配置传播时间和回退耗时;不要把“切到 100%”安排在窗口结束前几分钟。
变更前导出或记录当前监听器、转发规则、后端成员、权重、健康检查、会话保持与连接排空配置,保存版本标识和恢复入口;敏感配置应按权限要求存放,不在变更单中粘贴密钥。对应用版本、镜像标识及必要的数据备份也应留档,并确认备份可用于所规划的恢复步骤。回退操作涉及覆盖现有配置,只允许具备相应权限的人员在已核对入口和影响范围后执行;恢复后仍须再次检查规则与后端状态。
准备一份可以在变更窗口内打开的监控视图,至少能区分新旧后端池,并标注发布开始、每次调权、应用异常与回退时间。业务验证由独立的请求或真实交易指标完成,不能只依赖负载均衡服务的健康检查。探测请求应尽量覆盖关键路径,但不要让会产生实际扣费、发货等副作用的测试请求进入真实业务流程。
以下是示例阈值,便于说明如何把验证写成可执行条件;正式数值应由既有基线、业务峰谷和风险容忍度确定。阈值的统计窗口、样本量、告警负责人必须在发布前确认,不能在发现异常后临时提高。
| 验证对象 | 示例通过条件 | 异常时动作 |
|---|---|---|
| 后端健康 | 新池预期实例全部就绪,健康检查连续通过,且核心接口探测成功 | 未满足则不切流;切流后持续异常则暂停并排查 |
| 请求分配 | 新池实际请求占比与当前阶段方向一致,且没有非目标路由被切入 | 先核对规则和连接行为,不继续加权 |
| 新池服务质量 | 连续观察窗口内,5xx、超时和 P95 延迟未明显劣于旧池及发布前基线 | 达到预设失败阈值则回退,不以入口总量正常掩盖局部故障 |
| 核心业务 | 登录、交易等关键路径成功,数据写入与后续查询一致 | 关键交易失败或数据异常立即停止放量并启动处置 |
| 回退能力 | 旧池保持健康、有足够容量,旧版本仍兼容当前数据 | 不满足时停止发布,不能把回退当作可用选项 |
分步实施:每次只改变一个可归因的变量
执行前由操作人与观察人共同确认入口、目标规则、新旧池标识和当前权重,记录操作时间。示例流程可采用新池约 5% → 25% → 50% → 100% 的阶段;前提是负载均衡服务支持相应调整,并且业务能接受两版本并行。各阶段都要等待配置实际生效,再开始计时,不以“控制台保存成功”代替“请求已按预期进入新池”。

- 先验证新池,不急于接流量。核对版本、配置、依赖、健康检查和核心接口探测,确认旧池仍承接原有业务。若新池未就绪,停留在原状态,不通过降低健康检查标准强行放行。
- 小比例试切。将目标路由中约 5% 的新请求引向新池,观察约 10 分钟,核对请求是否确实到达新池、错误是否集中于某个接口或节点,以及用户会话和写入操作是否正常。样本不足时延长观察或使用受控业务验证,不因“暂无告警”直接加权。
- 分段扩大。在上一阶段通过后,依次调整至约 25% 和 50%,每阶段可预留约 15 分钟。每次只调整同一项流量分配配置,记录操作前后值;不要同时修改健康检查、应用配置和数据库,以免失去异常归因能力。
- 切至目标状态。前述阶段均通过,且旧池容量、依赖与业务指标正常,才把新请求逐步切至新池。达到 100% 后,仍保留旧池和其配置作为短期回退资源,并持续观察约 30 分钟;旧池摘除应作为另一次有条件的操作,而非切流成功的附带动作。
上述时长是排程示例,不是服务生效时间或业务稳定性的保证。若需要兼顾短时峰值与批处理周期,应延长相应阶段。长连接、WebSocket、连接复用或会话保持会使旧池在新请求权重降为零后继续承载存量连接;连接排空应与业务允许的会话时长相匹配,不能直接强断会影响交易的连接。四层按连接分配的场景,还应结合新建连接数判断切流效果,不能只看请求百分比。
验证观察:把“健康”拆成路由、应用和业务三层
每次调权后先确认路由结果:目标入口是否使用了预期规则,新旧池是否按设计接收流量,是否出现全部流量落到单个节点、非目标路径被误切等情况。然后检查新池各实例的请求量、健康状态、5xx、超时及延迟;入口整体指标可能因小比例试切而掩盖新池的高错误率。
业务层验证要跟随真实调用链。例如下单链路可核对提交成功、订单持久化、支付回调或消息投递是否正常,并关注重复订单、丢单和跨版本读取异常。异步结果有延迟时,在变更单里注明等待时间与查询方式;不能只凭前端返回成功结束验证。出现错误时,将时间戳、请求标识和新旧池日志对应起来,先判断是新版本独有问题、共享依赖故障,还是监控采集缺口。
观察人应按阶段给出“通过、继续观察、暂停、回退”之一,而不是只报告曲线看起来平稳。无足够请求样本、核心指标不可用、业务侧无人验收,都属于不能继续放量的情况;它们不一定要求立刻回退,但必须阻止下一步。若旧池也同时恶化,应检查共享依赖和入口,不能未经判断就认为把流量切回旧池可以消除故障。
回滚条件与路径:先保住业务,再确认版本状态
暂停放量与立即回退应分开定义。以下仍是示例规则:新池在连续 3 分钟、累计至少 300 个请求的统计窗口内,5xx 比例达到 1% 且比旧池高出至少 0.5 个百分点,可触发回退;P95 延迟连续 5 分钟超过发布前同口径基线的 1.5 倍,且已达到业务约定的绝对上限,也应触发回退。低流量场景不能用“不足 300 个请求”豁免明显故障,应由关键请求失败样本和人工验收共同判定。核心交易写入错误、数据不一致、误切非目标业务或出现安全风险,则无需等满统计窗口,立即停止放量并启动相应处置。

回退时,先由负责人宣布停止后续调权,记录触发证据和当前规则;再按预留的配置版本,把新请求权重恢复至旧池,并核对实际入口路由、旧池容量及业务成功率。对新池存量连接按预定排空策略处理,避免简单改权重后误判为已无新池请求。若应用版本需要回退,应在确认旧版本兼容当前数据后实施;涉及数据库恢复或数据修复时,另按已审批的恢复方案执行,不把配置回滚等同于数据回滚。
如果旧池已经不健康、数据结构不兼容,或共享依赖仍在故障中,不能机械地把全部流量切回旧池。此时维持可用路径、停止扩大影响并升级到业务与技术应急负责人,选择限流、隔离故障接口或经验证的版本修复方案。回退完成也需要重新核对入口规则、新旧池指标、核心交易与存量请求,不以控制台显示旧权重为验收终点。
本次切流可将每个阶段的观察时间与完整回退耗时一起纳入执行窗口:例如小比例 10 分钟、中间两阶段各 15 分钟、全量后至少 30 分钟,并额外预留配置恢复和业务复核时间。全量观察通过后仍按业务周期持续跟踪延迟指标及异步结果,在旧池退出前再次确认回退需求。只要触发预先约定的关键业务失败、数据异常或达到服务质量失败阈值,就停止放量并按已验证的路径回退;指标缺失或样本不足,则保持当前阶段,不把不确定性当作发布通过。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/8534.html



