全局流量调度如何在主源站故障时切换到备源站?
主源站发生故障时,全局流量调度通常通过健康检查、故障判定和优先级策略,将新请求从主源站引导至备源站。但这不是简单地把一个 IP 地址替换成另一个 IP:调度系统只能决定流量去向,不能自动补齐数据库复制、文件同步、会话迁移和业务依赖。只有当备源站已经具备可服务状态,并且数据一致性达到预设要求,切换才不会从“源站故障”演变成“数据错误或重复写入”。

一套可执行的方案应当把切换拆成两条链路:全局流量调度负责发现主源站不可用并停止引流,源站和数据系统负责完成备源站接管。风险控制的重点不是追求无条件自动切换,而是明确什么故障可以自动切、什么故障必须人工确认,以及切换后如何验证请求、写入和数据状态。
先确定恢复目标与关键资产
用RTO和RPO约束切换设计
在设计主备源站前,需要先确认两个恢复指标:
- RTO(Recovery Time Objective):业务从故障发生到恢复服务允许使用的最长时间。
- RPO(Recovery Point Objective):故障后允许丢失的最大数据时间窗口。
例如,某交易接口要求RTO不超过5分钟、RPO不超过30秒,那么备源站必须在5分钟内完成接管,并且数据库异步复制延迟不能长期超过30秒。若实际复制延迟达到2分钟,即使流量调度可以在十几秒内切换,数据层也没有达到该业务的恢复要求。
RPO为0通常需要同步复制或具备多数派确认机制,但跨地域同步会增加写入延迟,并且会受到跨地域链路抖动影响。异步复制的部署成本和写入影响相对可控,但切换时可能丢失尚未复制到备源站的事务。两者没有脱离业务的绝对优劣,应按照订单、支付、内容发布、日志查询等不同数据类型分别设定目标。
盘点流量入口和状态资产
主备切换涉及的资产不只有两组Web服务器,还包括以下部分:
| 资产或依赖 | 主备切换时需要确认的内容 | 未处理的典型风险 |
|---|---|---|
| 域名与全局调度策略 | 解析方式、健康检查、优先级、权重、TTL、切换权限 | 调度已切换,但客户端仍访问旧地址 |
| 主源站与备源站 | 应用版本、环境变量、证书、端口、访问控制 | 备源站能连通,但无法正常处理业务 |
| 数据库 | 复制方式、复制延迟、可提升状态、主节点隔离 | 双主写入、事务丢失、数据冲突 |
| 对象存储和文件 | 图片、附件、静态资源、上传目录是否同步 | 页面可打开,但附件或图片缺失 |
| 缓存与会话 | Session保存位置、缓存清空策略、令牌有效期 | 用户被强制退出或读取到旧数据 |
| 消息队列与定时任务 | 消费者启停、重复消费、任务归属 | 同一任务在主备两地执行两次 |
| 外部依赖 | 支付、短信、身份认证、回调白名单 | 源站切换后第三方拒绝请求 |
| 监控和日志 | 探针位置、指标标签、审计记录 | 已切换但无法判断是否恢复 |
其中,数据库、消息队列和定时任务属于高风险状态资产。它们不能仅凭Web层健康检查结果决定是否切换。主源站的HTTP接口返回500,并不代表备源站已经具备可写能力;同样,主源站的Web服务停止,也不一定意味着数据库需要立即提升为新的主节点。
围绕跨地域主备源站部署,A5idc数据提供中国香港、美国、日本、新加坡等地的物理服务器资源,可用于承载应用服务、业务接口和备源站。各地区产品提供不同的CPU、内存、NVMe及大容量存储配置,并有相应的线路和带宽选择,为按访问区域、业务负载和数据规模配置主备站点提供硬件与网络资源基础。
预演主源站失效场景
应用进程或主机不可用
这是最适合自动切换的场景。主源站的Web进程崩溃、主机宕机或本地网络中断后,来自多个地域的探针无法访问业务检查地址,调度系统将主源站标记为不健康,并把新请求导向备源站。
但检查内容不能只使用TCP端口或固定首页。端口仍然开放时,应用可能已经无法连接数据库;首页能返回200时,写接口、认证接口或关键依赖可能已经失败。更合理的做法是区分:
- 存活检查:确认进程仍在运行。
- 就绪检查:确认应用已加载正确版本,并能连接必需的数据服务。
- 业务检查:以低风险方式验证关键读操作或受控写操作。
就绪检查应避免执行高成本查询,也不应通过真实下单、真实扣款等方式探测。检查接口的响应内容、状态码和依赖超时应纳入判定,不能只看HTTP 200。
主源站所在地域网络分区
地域网络故障比单机宕机更容易造成误判。主源站可能仍能访问数据库,也可能仍在接受部分客户端请求,但全局调度探针无法从外部到达它。如果此时直接把备源站提升为可写主站,两个源站可能同时接受写入,形成脑裂。

建议至少从多个独立网络或地域发起探测,并把“多数探针确认不可达”和“备源站数据状态合格”作为自动切换的共同条件。例如配置3个探针,每5秒检查一次,连续3次失败后标记异常;恢复判定则要求连续5次成功。这个数值只是示例,实际阈值应结合接口响应时间、网络抖动和RTO调整。
更重要的是,主源站在被判定失效后必须具备隔离机制,例如撤销写入权限、关闭应用实例、隔离故障节点,或通过数据库层的租约和主节点 fencing 机制确保旧主不能继续写入。没有隔离手段时,不宜把数据库自动提升和流量自动切换绑定在一起。
数据库故障或复制延迟过大
数据库主节点故障时,应用层可能仍能返回页面,但读写接口会持续超时。此类故障需要单独判断:
- 备数据库是否已经收到主数据库的最新日志。
- 复制延迟是否低于业务规定的RPO。
- 备数据库是否完成一致性检查。
- 旧主节点是否已经被隔离。
- 备数据库提升后,连接地址、权限和连接池是否能够切换。
如果复制延迟为8秒,业务允许的RPO为30秒,可以在风险可接受的前提下进入接管流程;如果复制延迟为90秒,则应先评估丢失数据范围,不能因为调度系统检测到主站异常就直接切换。
订单、库存和支付记录通常需要比访问日志、推荐结果和临时缓存更严格的恢复策略。不同数据表可以采用不同复制和恢复级别,不必把所有数据都按同一套规则处理。
版本发布或配置错误
错误发布、证书过期、环境变量缺失和防火墙策略变更,都可能让主源站看起来“在线”但无法正常服务。这类问题如果仅靠基础设施探针,可能不会触发切换;如果健康检查过于复杂,又可能在短暂抖动时频繁切换。
因此,发布前应将应用版本、数据库结构、配置文件和外部依赖进行兼容性验证。切换策略还应区分:
- 基础设施故障:可在满足阈值后自动切换。
- 应用版本故障:优先回滚或停止发布,必要时人工确认后切换。
- 数据结构不兼容:不得在未确认备源站兼容性的情况下切换。
- 外部依赖故障:若主备共用同一依赖,切换源站可能无法解决问题。
让调度策略具备可控的触发条件
使用主备优先级,而不是简单轮询
主备源站的调度策略通常应为“主源站优先、备源站接管”,而不是普通的平均负载均衡。主源站健康时,绝大部分流量进入主源站;主源站不健康且备源站通过就绪检查时,流量才转移到备源站。
可以用以下逻辑表达一套示例策略。它是便于沟通的抽象配置,不对应某个具体厂商的配置语法:
service: api.example.com
policy: primary-standby
origins:
- name: primary
endpoint: https://origin-primary.example.net
priority: 100
enabled: true
- name: standby
endpoint: https://origin-standby.example.net
priority: 10
enabled: true
health_check:
path: /ready
method: GET
interval_seconds: 5
timeout_seconds: 2
fail_threshold: 3
recover_threshold: 5
probe_regions:
- north
- east
- south
switch_condition:
require_majority_probe_failure: true
require_standby_ready: true
require_replication_lag_below_seconds: 30
require_old_primary_fenced: true
生产环境中还应设置恢复滞回,避免主源站在“可用—不可用”之间反复变化,导致流量来回切换。恢复条件可以比故障条件更严格,例如故障连续3次失败即可触发,恢复则要求连续5次成功,并经过人工确认或小比例放量。
认识DNS调度的传播边界
如果全局调度通过DNS返回主、备源站地址,切换速度会受到DNS TTL、递归解析器缓存、操作系统缓存、浏览器缓存和客户端连接复用的影响。TTL设置为60秒,并不代表所有客户端都会在60秒内重新解析;部分网络设备或客户端可能继续使用缓存地址。
DNS方式适合对切换时间有一定容忍度的业务,或者作为全局入口的基础调度。对需要更快收敛的接口,可以在稳定的全局接入层完成反向代理或应用层路由,由接入层根据源站健康状态转发请求。无论采用哪种方式,已建立的TCP连接不会因为调度策略变化自动迁移,客户端仍可能看到超时或连接重置,因此应用需要支持安全重试。
对于创建订单、支付、扣库存等非幂等请求,不能简单要求客户端无限重试。应使用业务请求号、幂等键或服务端去重记录,确保请求在切换前后重复到达时不会产生两笔业务结果。
把自动切换分为多个门槛
建议把切换判断拆为四个门槛:

- 故障门槛:多个探针持续确认主源站不可用,而不是单点探针瞬时超时。
- 备站门槛:备源站版本、证书、配置、连接池和依赖状态均已满足就绪条件。
- 数据门槛:复制延迟、日志位点、事务状态符合RPO要求,或已经明确允许数据损失范围。
- 隔离门槛:主源站不能继续接受写入,避免主备同时成为写入节点。
任何一个门槛不满足,都应进入人工处置或降级服务,而不是继续自动化。比如备源站应用健康,但数据库复制已中断,系统可以提供只读页面或静态内容,却不应直接开放完整写入能力。
预防切换后的数据和依赖风险
复制不是简单的文件拷贝
数据库复制需要关注复制模式、日志位点、延迟、事务提交状态和故障提升流程。文件型业务则要确认上传目录、对象存储、图片处理结果和静态资源版本是否同步。仅复制数据库而不复制附件,会产生“订单存在但发票或图片丢失”的不完整状态。
应用发布也应在主备源站保持兼容。若主源站运行新版本并执行了不可逆的数据库结构变更,备源站仍是旧版本时,即使流量切过去也可能启动失败。更稳妥的发布方式是先保持数据库向后兼容,再逐步切换应用版本,最后清理旧结构。
处理会话、缓存和消息任务
无状态应用可以较容易地在主备之间切换,但以下状态需要特别处理:
- Session应存储在主备都可访问的集中式存储中,或使用可验证的令牌机制。
- 缓存不能作为唯一数据来源,切换后应允许缓存逐步重建。
- 消息消费者需要明确唯一消费归属,避免主备同时消费同一队列。
- 定时任务应使用租约、分布式锁或单独的任务主节点。
- 回调接口应同时更新主备源站的白名单、证书和签名配置。
- 依赖主源站固定IP的第三方系统,应提前登记备源站出口地址。
缓存内容还可能掩盖数据问题。切换后如果继续命中主源站生成的旧缓存,用户看到的内容可能与备数据库不一致。对商品库存、账户余额等敏感数据,应缩短缓存时间或在切换时主动失效相关缓存;对图片、CSS、JS等不可变静态资源,则可以采用带版本号的资源路径降低影响。
保证调度控制面本身可用
全局流量调度服务、域名解析服务、健康检查系统和管理权限都属于切换链路的一部分。如果主源站和备源站都正常,但调度控制面不可用,运营人员仍可能无法修改策略。因此需要准备:
- 独立于主源站的管理入口和应急账号。
- 多人审批或双人复核的切换权限。
- 调度策略、源站地址、探针参数和证书信息的版本化备份。
- 切换前后的审计日志。
- 调度系统不可用时的静态解析或备用接入方案。
用一次模拟事故验证恢复链路
以下是一条用于预演的假设时间线,不代表真实事故记录。业务设定为:主源站优先,备源站跨地域部署;数据库异步复制,允许的RPO为30秒;全局调度从3个地域探测业务就绪接口。
| 时间点 | 模拟事件 | 应执行的动作 | 验证重点 |
|---|---|---|---|
| T+0 | 主源站数据库连接持续超时,接口错误率上升 | 监控告警,暂停高风险发布 | 是否区分应用故障和数据库故障 |
| T+10秒 | 3个探针连续失败 | 将主源站标记为待隔离,不立即开放备站写入 | 是否避免单点误判 |
| T+20秒 | 复制延迟显示为8秒,备数据库状态正常 | 隔离主源站写入,执行备数据库提升 | 旧主是否已不能继续提交事务 |
| T+35秒 | 备源站就绪接口连续成功 | 调度策略转向备源站 | DNS缓存或接入层收敛是否符合预期 |
| T+60秒 | 只读请求恢复,写请求逐步放量 | 先进行小比例业务验证,再恢复完整流量 | 订单、登录、查询和回调是否正常 |
| T+5分钟 | 监控稳定,复制链路进入新拓扑 | 保留现场日志,冻结自动回切 | 是否具备后续恢复和审计依据 |
这次预演的验证对象不能只是一条首页。至少应覆盖登录、核心查询、低风险写入、幂等重试、文件访问、消息消费、第三方回调和管理后台。每个验证项都要明确成功标准,例如“接口返回成功”还不够,还要确认数据库只产生一条记录、消息只被处理一次、回调状态能够闭环。
切换后的恢复验证
恢复验证可以分为四层:
流量层:确认新请求主要进入备源站,主源站没有残留写入流量;检查HTTP状态码、超时率、连接数和地域分布。
应用层:确认应用版本、配置、证书、密钥、外部接口和连接池均正常;观察错误日志中是否出现旧主地址、数据库只读、权限不足或队列连接失败。
数据层:核对数据库角色、复制位点、事务数量和关键业务记录;抽查切换前后产生的请求号,确认没有重复订单、重复扣款或遗漏状态。
业务层:执行真实业务流程的最小验证,包括登录、查询、提交、异步通知和后台查询。对有副作用的操作,应使用专门的测试租户、测试订单或可回滚数据,避免演练污染生产业务。
按恢复优先级安排演练检查项
恢复时应先保证能够安全接管,再追求功能全部恢复。推荐的优先级如下:
- 保护数据:停止旧主写入,确认备数据库状态和可接受的数据损失范围。
- 恢复核心入口:让DNS或全局接入层把新请求导向已通过就绪检查的备源站。
- 恢复关键交易链路:优先验证登录、查询、下单、支付状态查询等核心接口。
- 恢复异步和外围能力:处理消息队列、定时任务、文件服务、报表和非核心后台。
- 恢复原主源站:完成故障定位、数据重同步和版本校验后,再考虑回切。
演练前应准备一份可执行的检查单:主备版本是否一致、证书是否有效、备数据库复制延迟是否可见、主节点隔离是否可验证、DNS或接入层策略是否能恢复、第三方白名单是否包含备站、会话和缓存是否有降级方案、日志和指标是否能区分主备流量。
演练结束后不要立即自动回切。原主源站恢复在线只说明基础设施可用,并不代表数据已经追平、配置已经修正。应先完成全量或增量同步、应用就绪检查、关键业务验证和小比例流量验证,再在低峰期执行回切。若回切条件不满足,继续由备源站承载业务通常比为了恢复原拓扑而再次引入中断更稳妥。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/8711.html



