业务发布期间使用全局流量调度,如何安排分批切流与失败回退?

发布人:A5数据发布时间:2026-11-14 14:56阅读量:34

业务发布期间使用全局流量调度,核心不是把权重从旧版本一次性切到新版本,而是把发布拆成可暂停、可观测、可回退的多个流量阶段。生产变更负责人应保留旧版本作为稳定池,让新版本先承接小比例、可控范围的请求,在确认技术指标和核心业务链路正常后再逐步放量。

一套可执行的方案通常包括:发布前核对调度链路和影响范围,备份现有路由配置;发布时按区域、站点、租户或流量比例分批切换;每一批设置观察窗口和明确的继续条件;出现错误率、延迟、容量或业务成功率异常时先暂停放量,再将流量导回旧版本。需要特别注意,DNS缓存、长连接、会话保持和异步任务都会使“回退配置已修改”与“所有请求已经回到旧版本”之间存在时间差。

全局流量分批切换需要有适合不同区域业务的部署资源作为承载。A5idc数据提供中国香港、美国、日本、韩国、中国台湾、新加坡及马来西亚等地的物理服务器,涵盖不同CPU、内存、存储和网络线路方案,可为业务在多地部署新旧版本、承接不同区域流量提供硬件与网络资源基础。

现状核对:先确认流量能否被准确切换

1. 画清全局流量调度链路

开始变更前,先确认流量实际经过哪些组件。常见链路可能是:

客户端 → DNS或全局流量调度 → 区域入口或边缘节点 → 负载均衡 → 旧版本与新版本服务池 → 数据库及其他依赖服务。

现状核对:先确认流量能否被准确切换 / 1. 画清全局流量调度链路配图

不同调度方式的切流精度不同:

  • DNS权重调度通常以解析结果或递归解析器为分配单位,不等于每个请求都严格按照权重分配。TTL、递归DNS缓存、客户端缓存以及部分网络环境的缓存策略都会造成延迟和比例偏差。
  • HTTP层或网关层权重调度可以更接近按请求切换,适合需要精细控制比例的发布,但仍要处理连接复用、会话保持和长连接。
  • 按区域或站点调度适合控制故障域,但需要确认调度系统识别的是终端用户所在区域,还是递归解析器、出口节点所在区域。
  • 按租户、用户标签或请求特征调度需要确保标识稳定、隐私合规,并验证没有因为缓存键不完整而把不同用户的响应混在一起。

先把以下信息记录在变更单中:

核对对象需要确认的内容未确认的风险
调度入口生效域名、记录类型、权重规则、健康检查方式改了错误的域名或未生效的规则
流量池旧版本、新版本对应的地址、端口、服务标签和区域新旧池混淆,回退时无法准确恢复
分配粒度按请求、连接、解析器、区域还是会话分配预期的5%流量与实际用户比例不一致
会话机制Cookie、Token、IP粘性、WebSocket、长轮询切流后用户仍固定在原版本,回退不彻底
缓存链路CDN、反向代理、应用缓存和缓存键缓存命中掩盖新版本真实错误,或产生跨版本污染
依赖服务数据库、消息队列、对象存储、支付或第三方接口应用本身正常,但依赖容量或协议不兼容
观测系统日志、指标、链路追踪、业务埋点是否区分版本发生异常时无法判断问题属于哪个版本

如果调度系统的控制面、数据面和监控面由不同平台提供,还要分别确认配置提交成功、配置已传播以及实际请求已经按照新规则分配。控制台显示“已发布”只能说明控制面接受了变更,不代表所有入口都已经使用新配置。

2. 明确旧版本、新版本和影响范围

变更前应给两个版本设置清晰且可观测的标识,例如版本号、发布批次号或实例标签。日志、指标和链路追踪中至少要能够区分:

  • 请求进入旧版本还是新版本;
  • 请求来自哪个区域、站点或流量入口;
  • 请求属于哪个接口和业务流程;
  • 请求是否经过缓存;
  • 请求最终访问了哪个依赖版本。

影响范围不能只写“全站流量”。应拆解为具体的域名、接口、地区、用户类型和操作类型。例如,静态内容、读请求、登录、下单、支付回调、管理后台和异步任务可能使用不同入口,不能因为首页访问正常,就认为写入链路也已经验证。

涉及数据库结构变化时,还要单独确认新旧版本是否能够同时运行。优先采用向后兼容的扩展方式:先增加新字段或新表,再让代码逐步使用,最后在确认旧版本不再需要后处理清理。不要在新版本刚接收少量流量时立即删除旧字段、修改字段语义或改变枚举含义,否则流量回退后旧版本可能无法继续工作。

3. 建立发布前基线

至少在发布前连续观察一个完整的业务周期,记录旧版本在相同区域和相同入口下的基线。低流量时段适合降低变更风险,但不能只在低流量时段判断容量,后续仍需安排覆盖业务高峰的观察窗口。

建议记录以下指标:

  • 总请求量、各接口请求量和各区域请求量;
  • HTTP 4xx、5xx、超时和连接失败;
  • P50、P95、P99延迟;
  • CPU、内存、负载、线程池、连接池和队列长度;
  • 数据库连接数、慢查询、锁等待和事务失败;
  • 消息堆积、消费延迟和重试量;
  • 登录成功率、关键页面加载成功率、订单创建成功率等核心业务指标。

新旧版本的比较应尽量采用相同口径。例如,不能拿新版本的全部请求与旧版本某一个区域的请求比较,也不能只看平均延迟而忽略P99。若业务量较低,还需要同时设置相对阈值和绝对事件数,避免仅因为少数请求就触发误报,或因为样本太少而漏报。

变更准备:让每一步都能停在安全状态

1. 定义目标状态和放量规则

目标状态应描述清楚,而不是简单写成“发布完成”。例如:

  • 新版本覆盖指定区域的全部新增请求;
  • 旧版本保持运行,用于应急回退;
  • 新版本在核心接口的错误率、延迟和业务成功率不劣于基线;
  • 调度配置、应用版本和数据库变更均有对应记录;
  • 观察窗口结束后,确认没有残留连接、积压任务或跨版本数据异常。

放量规则要同时包含“继续条件”和“暂停条件”。以下数值是便于制定变更单的示例,不是所有业务通用的固定阈值:

观察项示例继续条件示例暂停或回退条件
5xx错误率与旧版本差异在约定范围内,且没有持续上升连续5分钟比基线高出约0.5个百分点,或出现集中错误
P99延迟不超过基线的约1.3倍连续多个观察窗口超过基线的约1.5倍
核心业务成功率与旧版本相近,无明显区域差异下降超过约1个百分点,或出现支付、下单等关键失败
资源使用CPU、连接池、队列等保持安全余量资源持续接近上限,扩容后仍无法恢复
数据一致性对账、写入和异步任务正常出现重复写入、丢失、跨租户数据或不可解释的状态变化
依赖调用超时、限流和重试在基线范围内依赖错误明显增加并可能扩大影响范围

阈值应基于业务基线、SLO和告警策略调整。对于支付、身份认证、库存、资金和数据安全相关功能,只要出现明确的正确性风险,即使总体错误率尚未越过数值阈值,也应先暂停放量。

2. 备份并验证当前调度状态

变更前保存可以直接恢复的配置快照,至少包括:

  • 域名、记录类型、线路和区域规则;
  • 各流量池的地址、端口、权重和优先级;
  • 健康检查路径、状态码、超时和重试参数;
  • 会话保持、连接排空和故障转移设置;
  • CDN或网关中的回源、缓存和路由规则;
  • 当前旧版本与新版本的实例数量和版本标识。

快照不能只截图。应保留结构化导出文件、提交时间、操作者、变更单号和恢复方式,并限制修改权限。若平台支持预览、校验或模拟发布,应先用快照验证恢复结果。变更负责人应明确:发生故障时是恢复整份配置,还是只恢复受影响区域和权重,避免紧急操作中覆盖其他已经生效的业务规则。

应用和数据层也要准备回退材料。数据库备份需要确认备份完成、可读取,并且在条件允许时验证恢复流程。消息队列要记录消费位点和重试策略。对于会产生外部副作用的操作,应准备幂等键和对账方案,避免回退后重复处理订单、通知或扣款。

3. 选择窗口并安排角色

窗口选择需要兼顾风险和代表性:

  • 第一批切流尽量避开计划中的业务峰值、结算时段和其他重大变更;
  • 第一批观察稳定后,仍要在真实业务高峰中观察容量和依赖压力;
  • 涉及跨时区用户时,按区域高峰安排分批窗口,而不是只看变更人员所在时区;
  • 预留足够的回退和观察时间,不要把放量安排在维护窗口即将结束前。

建议至少安排以下角色:

  • 变更负责人:执行调度和发布操作,控制放量节奏;
  • 观察负责人:只负责指标、日志、链路和业务看板;
  • 业务确认人:验证核心流程、订单状态或其他业务结果;
  • 回退执行人:提前熟悉恢复快照和应急权限;
  • 沟通负责人:同步开始、暂停、回退和结束状态。

小团队也可以由一人承担多个角色,但执行变更和判断是否继续最好由不同人员交叉确认。变更过程中不宜同时进行无关的扩容、数据库结构调整或监控改造,否则异常发生后很难定位因果。

分步实施:从小比例、单一故障域开始

1. 预热新版本但不接收正式流量

先完成新版本部署、配置加载和健康检查,保持新版本权重为0或置于不接收正式请求的状态。检查内容包括:

  • 进程和实例状态正常;
  • 就绪检查能够反映真实依赖状态,而不是只检查端口;
  • 必要的密钥、配置、证书和服务发现信息已加载;
  • 数据库连接、缓存连接和消息队列连接正常;
  • 关键接口使用测试身份验证成功;
  • 新版本日志、指标和追踪已经带有版本标识;
  • 新版本与旧版本的协议、数据格式和错误处理兼容。

健康检查只能说明实例能够响应检查请求,不能证明登录、写入、下单或异步流程正常。因此,正式切流前应使用受控测试请求验证至少一条读链路和一条写链路。测试数据必须与真实业务隔离,不能用生产用户数据进行随意试写。

2. 执行第一批小流量切换

第一批可以选择一个低风险区域、一个非核心站点、一个内部租户,或者选择约1%至5%的请求比例。选择哪一种取决于调度系统真正支持的分流粒度。

如果使用DNS权重,配置中的“5%”通常只是解析结果的目标比例,不代表每个用户请求精确分配5%。在这种情况下,应通过新旧版本的实际请求量、区域分布和版本标识确认效果。若一个区域的请求量很小,单纯设置1%可能无法获得足够样本,应根据业务请求量和风险设置更合适的批次。

第一批切换时建议按以下顺序执行:

  1. 记录变更前的权重、实例数、连接数和核心业务指标。
  2. 确认新版本健康检查通过,旧版本仍保持足够容量。
  3. 修改第一批范围的调度权重,提交并等待控制面发布。
  4. 从访问日志、版本指标和外部探针确认实际流量已经进入新版本。
  5. 观察错误率、延迟、资源、依赖和业务成功率。
  6. 未满足继续条件时立即暂停,不继续增加其他区域的流量。

观察时间不应只按固定分钟数决定。可以同时设置时间和样本量,例如至少观察15分钟且新版本累计处理达到预设请求数;低频业务则应覆盖一批完整的关键交易或异步处理周期。对有日间波动的业务,还要避免在流量刚开始下降时误判为稳定。

3. 按批次逐步放量

确认第一批稳定后,再扩大到下一个区域或更高比例。一个常见的示例计划如下:

阶段新版本目标权重建议范围进入下一阶段的条件
预热0%全部入口实例、依赖、监控和测试链路正常
第一批1%~5%单一区域或低风险流量达到样本量和观察时间,指标不劣于基线
第二批10%~15%同区域扩大或增加一个区域无新增告警,核心业务成功率稳定
第三批25%~30%多区域或主要入口容量、依赖和缓存表现正常
第四批50%主要业务流量连续观察多个窗口,无回退条件
完成100%或按计划保留全部目标范围高峰和异步周期均验证通过

不必机械地使用上述比例。低流量业务可以直接以请求数、交易数或租户数设计批次;高风险业务则可以在更小范围停留更长时间。每一批都要能够单独暂停和恢复,避免一次修改多个区域后无法判断异常来源。

如果需要按区域切换,应先核对区域识别是否准确。DNS调度场景下,解析器所在区域与终端用户所在区域可能不同;跨区域访问、移动网络和企业出口也会让分区结果偏离预期。区域批次应以实际请求日志中的入口、机房或边缘节点标识为准,而不是只看调度控制台上的配置名称。

4. 处理连接、会话和缓存残留

将新版本权重调为0,只能阻止新的部分请求进入新版本,不能立即终止已经建立的连接。发布过程中应区分以下情况:

分步实施:从小比例、单一故障域开始 / 4. 处理连接、会话和缓存残留配图

  • 普通短连接:通常可随自然请求结束逐步排空;
  • HTTP Keep-Alive:连接可能继续复用一段时间;
  • WebSocket和长轮询:需要单独设置连接排空时间;
  • 会话粘性:用户可能继续固定在原版本;
  • DNS缓存:部分客户端仍会访问旧地址或新地址;
  • CDN缓存:缓存内容可能让新旧版本的响应比例看起来不准确。

回退时不要立即删除新版本实例。应先停止新增流量,等待连接排空和异步任务处理,再根据日志确认没有持续请求。对于长连接,应预先定义最大排空时间和超时后的处理方式。若需要清理会话或缓存,必须评估对登录状态、用户体验和缓存击穿的影响,不能把批量清除Cookie或缓存作为默认回退动作。

验证观察:同时看技术指标和业务结果

1. 用“新旧对照”而不是只看总量

全局流量调度下,总体指标可能掩盖局部问题。新版本只接收5%流量时,即使其错误率明显升高,对全站总错误率的影响也可能不明显。因此看板应至少拆分为:

  • 版本维度:旧版本、新版本;
  • 区域维度:入口区域、服务区域和故障域;
  • 接口维度:核心接口与普通接口;
  • 请求结果:成功、客户端错误、服务端错误、超时和重试;
  • 业务维度:登录、查询、写入、下单、支付回调等关键流程。

可以使用版本标签、响应头或链路字段进行抽样核对,但不要把内部版本信息直接暴露给终端用户。对外部验证,应从多个网络入口发起正常的业务请求,确认解析、连接、证书、响应状态和页面功能均符合预期。

2. 技术验证与业务验证分开执行

技术验证用于判断服务是否健康,业务验证用于判断结果是否正确。两者不能互相替代。

验证层级重点检查典型异常
可达性DNS解析、TLS、连接建立、路由响应部分区域无法访问、证书或路由错误
服务层5xx、超时、P95/P99、线程池和连接池新版本性能退化、资源泄漏
依赖层数据库、缓存、队列、第三方接口的错误和延迟连接耗尽、协议不兼容、重试放大
数据层写入结果、状态流转、重复记录、对账结果新旧版本字段理解不一致
业务层登录、核心查询、下单、支付回调、通知HTTP成功但业务结果错误
运营层告警、工单、客服反馈和人工抽检指标正常但用户已经受到影响

对写操作,需要核对请求是否只执行一次、结果状态是否可查询、异步任务是否最终完成。对读操作,需要检查新版本读取的数据格式、缓存键和权限判断是否正确。对多区域服务,还要确认数据复制延迟没有导致用户在不同区域之间看到相互矛盾的状态。

3. 设置观察窗口和停止规则

每一批放量后,观察窗口至少应覆盖以下一个或多个场景:

  • 正常请求高峰;
  • 核心业务完整处理周期;
  • 消息生产与消费周期;
  • 缓存过期或回源周期;
  • 定时任务、批处理或对账周期;
  • 依赖服务的常规限流和重试周期。

观察期间出现异常,先暂停放量,不要一边排查一边继续扩大范围。暂停意味着保持当前权重不变,并保留现场信息,包括配置快照、请求样本、错误日志、链路追踪、依赖指标和变更时间线。

可将异常分为三类处理:

验证观察:同时看技术指标和业务结果 / 3. 设置观察窗口和停止规则配图

  1. 局部且可解释:例如某一测试接口参数错误,核心业务和总体指标正常。记录原因并修正验证方式,不直接扩大流量。
  2. 持续但未达到硬故障:例如P99持续升高、连接池接近上限或某区域错误率高于其他区域。暂停当前批次,优先降低新版本比例或回到上一批次。
  3. 明确的正确性或安全风险:例如跨用户数据、重复扣款、权限失效、数据丢失或大范围超时。立即执行流量回退,不等待完整根因分析。

回滚条件:先恢复流量,再决定是否回退版本

1. 预先区分不同层级的回退

“回滚”不是单一动作,至少可以分为四个层级:

回退层级适用情况主要动作注意事项
功能开关回退新功能逻辑异常,但版本主体可运行关闭功能或恢复旧逻辑需确认开关对所有区域和缓存是否生效
流量回退新版本错误、延迟或容量异常将新增流量导回旧版本DNS、会话和长连接会造成残留
应用版本回退新版本无法稳定运行停止新版本并恢复上一版本先确认数据库和配置仍兼容旧版本
数据恢复已造成不可接受的数据损坏按数据恢复预案处理需要审批、备份验证、影响评估和对账,不能临时直接覆盖生产数据

在大多数发布异常中,第一动作应是流量回退,而不是立即删除实例或恢复数据库。只要旧版本仍能处理当前数据格式,先把流量转回旧版本可以缩小影响范围,为后续分析争取时间。

2. 明确必须立即停止的条件

以下情况不应继续等待观察:

  • 新版本出现跨租户、越权、敏感信息泄露或认证绕过;
  • 出现重复扣款、重复下单、库存异常扣减等不可逆业务副作用;
  • 数据写入失败、丢失、重复或状态流转无法解释;
  • 核心接口大面积5xx、超时或连接失败;
  • 新版本导致数据库锁等待、连接耗尽、消息堆积持续扩大;
  • 某个区域异常正在向其他区域扩散;
  • 新旧版本同时运行时产生不兼容数据,旧版本已经无法安全接管;
  • 监控、日志或审计链路失效,无法判断真实影响范围。

软性指标异常也要有停止线。例如,错误率连续多个窗口高于基线、P99持续达到阈值、资源使用长期没有安全余量、核心业务成功率出现明显下降,都应暂停当前批次。不要因为“总体流量占比还很小”而忽略局部用户已经受到影响。

3. 执行流量回退

发生回退时,按照预先验证过的路径操作:

  1. 冻结放量:停止所有继续扩大流量的操作,记录当前各区域权重、版本请求量和告警状态。
  2. 保留现场:保存变更后的调度配置、应用日志、错误样本、链路追踪和依赖指标,避免为了恢复而丢失证据。
  3. 先回退受影响范围:如果只有一个区域或一类入口异常,优先将该范围的新版本权重降为0,其他稳定范围保持不动。
  4. 恢复旧版本权重:将受影响范围的新增请求指向旧版本,并确认旧版本有足够容量。
  5. 验证实际流量:不能只看控制台配置,应通过版本指标、访问日志、外部探针和业务请求确认新版本流量正在下降、旧版本流量正在恢复。
  6. 处理连接排空:停止新连接进入新版本,等待短连接结束;对长连接、异步任务和消息消费按预案处理。
  7. 观察回退结果:至少观察错误率、延迟、核心业务成功率、数据库和队列状态,确认回退没有引入新的容量问题。
  8. 决定后续动作:若旧版本稳定,保持发布暂停;若旧版本也无法接管,再按应用版本、配置或数据恢复预案升级处置。

DNS方式的回退尤其要注意传播延迟。修改记录后,缓存中的解析结果仍可能在TTL或更长时间内继续使用旧地址。TTL只能作为估算依据,不能保证所有递归解析器严格遵守。因此,变更前应了解主要入口的缓存情况,回退后用多个网络和区域验证实际访问结果,并在观察窗口内保留新旧两套服务的必要容量。

4. 处理数据和异步任务风险

如果新版本已经写入数据,单纯把流量导回旧版本不一定足够。需要核对:

  • 旧版本是否能读取新版本写入的字段和状态;
  • 新版本是否改变了事件格式、消息顺序或幂等规则;
  • 未完成的异步任务是否会被旧版本重复消费;
  • 回退期间产生的请求是否需要重新执行或人工对账;
  • 缓存中的新格式数据是否会被旧版本错误解析。

对于已经发生的数据异常,应优先停止继续写入或关闭相关功能,保留审计记录,再依据备份、事务日志、对账和恢复预案处理。数据库恢复属于高风险操作,必须明确恢复时间点、数据丢失范围、受影响业务和恢复后的补偿方案,不能为了追求“回到旧版本状态”而直接覆盖当前数据库。

观察窗口与放量完成条件

完成100%切流并不等于变更立即结束。新版本达到目标权重后,应继续保留旧版本一段时间,至少覆盖调度缓存、连接排空、核心业务周期和主要异步任务周期。具体时间取决于DNS TTL、长连接时长、业务峰谷和数据处理周期;高风险写入业务还应覆盖一次对账或状态核验。

结束观察前,逐项确认:

  • 各区域实际请求量与目标权重基本一致;
  • 新版本错误率、延迟和资源使用保持稳定;
  • 核心业务成功率、数据状态和异步任务无异常;
  • 数据库、缓存、消息队列和第三方依赖没有持续积压;
  • 没有残留的高优先级告警、未处理工单或用户反馈;
  • 调度配置快照、应用版本、变更时间线和验证结果已归档;
  • 旧版本仍保留可执行的启动、扩容和回退能力,直到超过约定保留期。

如果在保留期内出现新版本异常,触发条件仍按变更单执行:明确的数据正确性、安全和核心链路故障立即回退;持续的错误率、延迟、容量或业务成功率异常先暂停并降低流量;无法确认影响范围时,优先恢复到旧版本并保留现场。这样安排,全球流量调度就不只是发布时的分流工具,而是把变更、验证和失败回退连接起来的一套生产控制机制。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/9448.html

相关推荐