企业审批流程平台部署在云服务器上,如何设计故障切换方案?
审批平台一旦中断,影响通常不止是页面暂时无法打开。待办事项可能无法提交,已经完成的审批状态可能无法确认,附件上传与审计记录也可能出现不一致;如果故障期间重复点击、重复回调或重复切换,还可能把一次基础设施故障扩大为数据问题。
面向企业审批流程平台,较稳妥的故障切换方案不是简单准备一台备用云服务器,而是将入口、应用、数据库、附件、消息、配置和运维权限分别设计冗余。常见基线是:同地域跨可用区部署应用主备或多实例,数据库采用具备明确复制机制的高可用架构,附件使用冗余对象存储并保留备份,跨地域保留异步灾备副本,再通过分层健康检查和受控切换恢复业务。最终方案应由RPO、RTO、数据一致性要求和可接受的运维复杂度共同决定。
一、先确定恢复目标和资产边界
1. 把审批链路拆成可恢复资产
审批平台表面上是一个Web应用,实际包含多个相互依赖的组件。只复制应用服务器,不能解决数据库、附件和消息系统的单点问题。

| 资产或组件 | 主要承载内容 | 故障后的典型影响 | 需要重点保护的内容 |
|---|---|---|---|
| 域名、证书、负载均衡 | 用户访问入口和流量转发 | 页面无法访问或流量仍指向故障节点 | 健康检查、证书、转发规则、备用入口 |
| 应用服务器 | 登录、表单、审批规则和接口 | 请求超时、提交失败、部分功能不可用 | 多实例、无状态化、版本和配置一致 |
| 主数据库 | 审批单、流程状态、组织关系、审计记录 | 新建、审批和查询均可能中断 | 复制、日志、备份、故障提升规则 |
| 附件存储 | 合同、凭证、图片和审批材料 | 审批单存在但附件无法下载 | 对象冗余、版本控制、校验和恢复 |
| 消息队列或任务服务 | 通知、异步回调、定时任务 | 邮件、短信、待办提醒延迟或重复 | 消息持久化、消费幂等、重试和死信处理 |
| 缓存和会话 | 登录会话、热点查询和临时数据 | 用户被迫重新登录或查询变慢 | 外置会话、过期策略,避免缓存成为事实来源 |
| 配置、密钥和证书 | 数据库连接、第三方接口和加密能力 | 备用节点启动但无法正常工作 | 版本化、加密备份、权限和恢复测试 |
| 监控、日志和运维权限 | 故障判断、切换和审计 | 故障发生后无法确认状态 | 独立监控、告警通道、应急账号 |
其中,审批状态、操作人、审批时间和审计记录属于核心数据;缓存、搜索索引和部分统计结果通常属于可重建数据。两者不能采用相同的恢复优先级。
还要单独确认云厂商控制面与业务数据面的关系。云控制台、API或某项管理服务短时不可用,不一定意味着正在运行的云服务器和数据库同时中断。但如果切换操作完全依赖单一控制台账号,控制面故障或账号权限异常会让备用资源无法启用,因此需要预先准备独立的告警、权限和应急操作路径。
2. 用RPO和RTO约束方案
RPO是允许丢失的时间范围,RTO是从故障发生或确认开始,到核心业务恢复可用所允许的时间。两者不能只写成“尽量不丢数据”和“尽快恢复”,否则无法判断主备架构是否达标。
对于审批平台,可以先按照业务等级设定示例目标,再根据实际访问量、合规要求和预算调整:
| 业务等级 | 典型功能 | 示例RPO | 示例RTO | 设计重点 |
|---|---|---|---|---|
| 核心审批 | 新建、提交、审批、撤回、审计查询 | 0至5分钟 | 15至30分钟 | 数据库高可用、受控切换、业务验证 |
| 业务协同 | 待办同步、组织同步、通知和回调 | 5至15分钟 | 30至60分钟 | 队列持久化、补偿任务和幂等处理 |
| 非核心查询 | 报表、全文搜索、历史统计 | 30至60分钟 | 2至4小时 | 可重建副本、延后恢复 |
这里的数值是方案设计阶段的参考目标,不是云服务器或任何组件的固有保证。RTO还应拆解为告警发现、故障判断、切换决策、备用节点提升、流量转发和业务验证等时间。只计算服务器启动时间,往往会低估真实恢复时间。
如果核心审批的目标RPO是5分钟,就不能只依赖每天一次的数据库备份。备份用于灾难恢复和误操作回滚,主备复制则用于缩短故障切换时的数据缺口,两者承担的职责不同。
3. 先定义一致性边界
审批平台最容易被忽视的是“请求看似成功,但状态没有完整落库”的情况。例如,用户点击批准后,页面返回成功,数据库事务已经提交,但异步通知尚未发送;也可能数据库已经写入审批结果,附件对象还没有上传完成。
建议至少明确以下边界:
- 数据库事务提交成功,才把审批动作视为成功。
- 通知、搜索索引和统计刷新可以异步,但必须能够重试。
- 附件上传完成后再将附件状态标记为可用,不能仅凭前端返回判断成功。
- 同一个审批动作必须具备唯一请求标识,切换后重试不能产生两条审批记录。
- 旧主节点未被隔离前,不得让新主节点同时接受写入,避免双主写入。
- 数据库复制延迟、最后确认事务编号和未确认事务数量必须可查询。
二、先做一次失败预演,再决定切换方式
风险控制的重点不是假设所有故障都能自动修复,而是提前判断:什么故障可以自动切换,什么故障必须暂停写入并人工确认。
1. 应用节点故障
单台云服务器宕机、进程崩溃或实例网络异常时,入口层应将流量转移到其他健康实例。前提是应用尽量无状态,不能把登录会话、临时上传文件和关键配置只放在本地磁盘。
应用健康检查至少分三层:
- 进程检查:确认服务端口和进程仍在运行。
- 依赖检查:确认数据库连接池、缓存和必要配置可用。
- 业务检查:使用只读接口或受控测试请求确认登录、查询等关键路径能够完成。
仅使用端口探活会产生误判。进程虽然监听端口,但数据库连接池耗尽、线程池阻塞或关键配置失效时,负载均衡仍可能继续转发请求。
2. 可用区或宿主资源故障
如果多个应用实例位于同一可用区,宿主机、网络或存储故障可能同时影响所有实例。核心审批平台至少应将应用实例分布到两个可用区,并避免所有实例依赖同一个本地磁盘或同一个出口设备。
数据库层需要根据云服务能力选择方案:
- 云数据库提供跨可用区高可用时,优先使用其主备或集群能力,并确认故障提升条件、复制方式和提升时间。
- 自建数据库时,需要自行处理日志复制、主节点租约、旧主隔离、备用节点提升和客户端连接切换,运维复杂度明显更高。
- 同地域同步或半同步复制通常可以缩小数据缺口,但实际延迟和故障行为取决于网络、数据库引擎及云服务实现。
- 跨地域复制通常以异步方式为主,应明确接受一定时间的数据缺口,不能把跨地域副本直接描述成零数据丢失。
3. 数据库主节点故障
数据库主节点故障不应只看服务器是否宕机,还要看最后一笔事务是否已经复制到备用节点。
切换前至少需要确认:
- 主节点是否还能接受写入;
- 备用节点的复制是否停止、延迟多少;
- 备用节点是否包含最近一笔已确认事务;
- 旧主节点能否被隔离;
- 客户端连接是否会自动刷新到新主节点;
- 应用是否会重试未确认请求。
如果主节点已经完全失联,且复制状态明确、旧主节点无法继续写入,可以按预案提升备用节点。若主节点网络隔离但仍可能运行,不能仅凭“监控看不到”就提升备用节点,否则可能形成双主。
4. 数据损坏或误操作
数据库损坏、错误批量更新、错误流程配置和误删数据,不属于普通节点故障。此时直接切换到另一个同步副本,可能把错误继续复制过去。
遇到以下信号,应优先停止扩大影响,而不是立即自动切换:
- 大量审批单状态在短时间内异常变化;
- 审计记录与业务表数量明显不一致;
- 数据库校验失败或出现连续页损坏;
- 管理员误执行批量修改;
- 关键流程配置被覆盖;
- 主备数据同时出现同样的异常。
对应措施通常是冻结高风险写入、保留现场、确认异常发生时间点,再使用时间点恢复或经过校验的备份副本恢复。恢复后还要根据审计记录和业务操作日志补偿异常审批,不应只依赖数据库回滚。
5. 附件存储或外部依赖中断
审批单和附件往往不在同一套存储中。数据库主备切换成功,并不代表附件一定可用。对象存储权限错误、跨地域复制延迟、存储服务异常或密钥不可用,都可能造成“审批记录可见、附件打不开”。
外部身份认证、组织架构、短信、邮件、电子签章等依赖中断时,也不能简单地把所有流量切到备用应用。更合理的策略是区分功能:
- 允许已登录用户查看已落库的审批记录;
- 暂停依赖外部服务的动作,并给出明确状态;
- 将通知任务写入持久化队列,恢复后补发;
- 对电子签章等不可替代步骤保留“待外部服务恢复”状态;
- 不把外部接口超时直接当成审批失败,避免用户重复提交。
三、预防措施:把单点故障拆开处理
1. 入口层采用可控的多节点转发
入口层可以采用云负载均衡、反向代理或其他具备健康检查能力的服务。关键不在于组件名称,而在于切换时能否完成以下动作:
- 移除不健康实例;
- 避免新请求继续进入故障节点;
- 在连接耗尽或超时时正确处理长连接;
- 让备用实例获取一致的配置和证书;
- 对管理入口与业务入口实施不同的访问策略。
DNS可以作为跨地域切换手段,但DNS缓存受客户端、运营商和递归解析器影响,TTL不等于实际切换时间。如果RTO要求较短,应优先使用可快速调整的流量入口,同时把DNS作为地域级灾备手段,而不是唯一切换机制。
切换完成后,旧节点即使恢复在线,也不应立即重新加入流量池。应先检查版本、配置、数据连接和时间同步,确认其不会继续执行旧任务或重复消费消息。
2. 应用层保持无状态并统一版本
多实例部署的前提是实例之间可替换。建议将以下内容移出本地磁盘:
- 登录会话;
- 临时上传文件;
- 流程配置;
- 密钥和第三方凭据;
- 需要在节点间共享的任务状态。
应用发布时,所有实例应使用可追踪的版本号,配置也应有版本和变更记录。滚动发布要考虑数据库兼容性,先发布能够同时兼容旧字段和新字段的应用,再进行结构变更,避免切换期间备用节点使用旧代码却无法读取新结构。
对于数据库结构调整,优先采用向后兼容的步骤:
- 先增加新字段或新表,不立即删除旧结构。
- 发布同时支持新旧字段的应用版本。
- 完成数据回填并核对数量。
- 确认所有节点已切换到新版本。
- 经过观察期后再清理旧字段。
这样可以降低故障切换时新旧版本不兼容的风险,也便于回滚。
A5idc数据提供香港、美国、日本等地区的物理服务器租用,涵盖Xeon Gold、AMD EPYC等计算平台,并有NVMe存储及不同内存、磁盘配置,可为审批平台的应用节点、接口服务和数据库部署提供硬件资源选择。针对附件及归档数据,也提供大容量存储服务器方案,丰富业务数据存放与部署的资源组合。
3. 数据库采用“复制加备份”的组合
高可用复制解决的是节点故障下的快速恢复,备份解决的是数据损坏、误删除和较长时间范围内的回溯。两者应同时存在。
数据库保护至少包括:
- 主备复制状态和复制延迟监控;
- 全量备份、增量备份或日志备份;
- 不同于生产账号的备份访问权限;
- 跨故障域或跨地域的备份副本;
- 备份加密密钥的独立保存;
- 备份保留周期和自动清理策略;
- 定期恢复到隔离环境并进行校验。
备份任务“成功”只代表文件或快照生成成功,不代表一定能恢复业务。恢复验证必须检查数据库能否启动、表结构是否完整、关键数据是否可读、应用能否连接,以及审计记录和审批状态是否连续。
4. 处理审批动作的幂等和重复请求
故障切换期间,客户端可能因超时自动重试,网关也可能重试请求,消息消费者还可能重复投递。审批平台必须把重复请求当作正常情况设计。
可以采用以下方法:
- 每次提交、同意、驳回和撤回动作生成唯一业务请求号;
- 数据库对“流程实例、节点、动作序号”设置必要的唯一约束;
- 服务端在事务中记录请求号和处理结果;
- 已处理的请求再次到达时返回原处理结果,而不是再次执行;
- 消息消费使用业务键去重;
- 通知发送与审批状态更新采用事务消息或可靠事件记录,避免一个成功、一个丢失。
“点击后没有立即返回”不等于“审批没有成功”。在切换预案中,应把未确认请求单独列出,先查询请求号和数据库状态,再决定是否补偿,而不是要求用户直接重新操作。

5. 让附件具备可验证的恢复路径
附件建议采用对象存储或同等能力的独立存储,并开启版本控制、生命周期管理和必要的跨故障域复制。数据库中保存对象键、文件大小、校验值、上传状态和版本信息。
上传流程可以分为:
- 创建待上传记录;
- 上传对象并计算校验值;
- 服务端确认对象存在且大小、校验值匹配;
- 将附件状态改为可用;
- 将附件与审批单正式关联。
恢复后应扫描三类异常:
- 数据库有记录但对象不存在;
- 对象存在但数据库没有有效记录;
- 对象大小或校验值与记录不一致。
未完成的临时对象可以在核对后清理,已被审批引用的对象不能仅凭生命周期规则删除。
6. 队列、定时任务和通知需要可补偿
通知不是审批状态的唯一来源,但通知延迟会直接影响用户体验。消息系统应具备持久化、重试、死信和消费幂等能力。
恢复时要区分:
- 已写入数据库但尚未投递的任务;
- 已投递但消费结果不明确的任务;
- 消费失败后进入重试队列的任务;
- 已经发送但回执丢失的任务。
对邮件、短信和待办提醒,重复发送通常比审批状态重复变更更容易处理,但仍应通过业务消息号去重。对会改变核心数据的异步任务,必须以数据库中的状态和版本号为准,不能只根据队列消息重新执行。
四、触发条件和切换决策要分层
1. 不要用单一告警触发数据库切换
建议将指标分为观察、告警和切换三个层级。下面的阈值是示例,需要根据正常基线和业务峰值调整:
| 观察项 | 进入告警的示例条件 | 进入切换评估的条件 | 处理方式 |
|---|---|---|---|
| 应用健康检查 | 连续3次失败 | 多个可用区实例同时失败 | 自动摘除实例,确认是否扩大到入口层 |
| 请求错误率 | 5分钟内持续超过基线 | 核心提交接口持续失败且排除版本问题 | 暂停发布,评估回滚或切换 |
| 数据库连接 | 连接失败或连接池持续耗尽 | 主节点无法确认存活状态 | 先隔离写入,再判断是否提升备用节点 |
| 复制延迟 | 超过正常基线 | 超过RPO目标或复制中断 | 记录可接受数据缺口,必要时人工决策 |
| 审批成功率 | 低于业务阈值 | 连续多个核心流程无法完成 | 进入业务恢复流程,不只重启应用 |
| 附件校验 | 少量校验异常 | 大量附件不可读或对象服务不可用 | 切换存储访问路径或暂停附件提交 |
| 消息积压 | 持续增长 | 超出通知时效或重试上限 | 保留消息,恢复后补偿,不直接丢弃 |
单个节点探活失败适合自动摘除;数据库主备提升、跨地域切换和数据损坏恢复则应有人工确认,除非已经经过充分演练并具备可靠的旧主隔离机制。
2. 自动切换与人工切换的边界
适合自动化的场景通常包括:
- 单个应用实例进程崩溃;
- 单个应用实例健康检查失败;
- 已确认备用节点健康,且入口可以安全转发;
- 不涉及数据库主节点变更的数据面故障。
需要人工确认的场景通常包括:
- 数据库主节点网络隔离;
- 主备复制延迟超过RPO;
- 生产数据疑似被误改;
- 跨地域切换;
- 外部身份、签章或组织服务不可用;
- 切换后需要进行数据补偿。
自动化脚本应有超时、幂等和中止条件。任何“提升备用库”“改变写入入口”“清理旧任务”的动作,都应记录操作者、时间、目标节点和执行结果。
3. 设计一套可执行的切换顺序
发生核心故障时,可以按下面的顺序执行:

- 确认影响范围:区分单个应用节点、整个可用区、数据库、存储还是外部依赖故障。
- 冻结高风险变更:暂停发布、配置修改和非必要批量任务,避免故障期间继续改变现场。
- 保留证据:保存监控、日志、数据库复制状态和审批请求记录。
- 隔离旧写入端:确认旧主节点不会继续接受写入,必要时执行网络或实例级隔离。
- 检查备用数据:确认复制延迟、最后确认事务和数据库完整性。
- 提升备用节点:仅在数据状态和隔离条件满足时执行。
- 切换业务入口:更新负载均衡、连接地址或跨地域流量策略。
- 恢复应用实例:启动与数据库版本兼容的应用,先接收少量流量。
- 执行业务验证:验证登录、查询、新建、提交、审批、附件和审计记录。
- 处理未确认请求:根据唯一请求号查询状态,执行必要的补偿,不让用户盲目重复操作。
- 持续观察:确认错误率、复制状态、消息积压和资源使用恢复正常。
如果在第4步无法确认旧主节点是否已经停止写入,应暂停第6步。数据一致性风险通常比多停留几分钟更难处理。
五、恢复验证不能只看页面能否打开
1. 用业务交易验证恢复结果
端口正常、进程运行和登录成功,只能证明基础设施部分恢复。审批平台至少需要验证以下业务链路:
- 普通账号能够登录;
- 组织和角色权限正确;
- 新建审批单能够保存;
- 表单提交后生成唯一流程实例;
- 审批人能够看到待办;
- 同意、驳回、撤回等状态变更只执行一次;
- 附件能够上传、下载和校验;
- 审计记录包含操作人、时间和结果;
- 通知任务进入队列并能够正常消费;
- 历史记录和必要的搜索结果可用;
- 数据库主备关系、监控和日志采集已恢复。
验证账号应使用专门的测试组织和测试流程,不要直接在生产业务单上进行试操作。测试完成后要清理测试数据,同时保留验证记录。
2. 用时间线核对RPO和RTO
例如,某次演练中:

- 10:20:00确认主数据库不可用;
- 备用节点最后一笔已确认事务时间为10:18:30;
- 10:23完成故障确认;
- 10:27完成旧主隔离;
- 10:35完成备用节点提升;
- 10:38完成流量切换;
- 10:45完成核心审批验证。
按这个示例,数据缺口为10:20:00减去10:18:30,即90秒;恢复耗时为10:45减去10:20,即25分钟。如果目标是RPO不超过5分钟、RTO不超过30分钟,该次演练达到目标,但仍要记录备用节点提升和业务验证所消耗的时间,以便继续优化。
RPO应以最后一笔可确认提交的数据为准,不能把客户端显示“提交成功”但数据库尚未确认的请求计入已恢复数据。RTO则应从约定的故障起算点开始计算,而不是从运维人员开始操作时才计算。
3. 切换后不要立即执行反向切换
故障恢复后,旧节点可能仍保留部分未复制数据,或者应用版本、配置和密钥已经落后。应先让新主节点稳定运行,再处理旧节点:
- 对旧节点进行隔离和只读检查;
- 备份当前新主节点数据;
- 对比新旧节点的事务、配置和审计记录;
- 补齐旧节点或重新初始化;
- 在低峰期执行计划内的反向切换;
- 切换后再次进行业务验证。
如果故障原因尚未查清,不应为了“恢复原拓扑”立即切回。主备角色变化本身也应被纳入变更记录。
六、把演练设计成可核对的恢复测试
演练不应只验证“能不能启动备用服务器”,还要验证人员、权限、数据和业务流程是否能够协同完成。
1. 建议覆盖的演练类型
- 应用节点故障演练:停止一个应用实例,确认流量摘除和会话处理。
- 数据库主备切换演练:在隔离环境或约定窗口验证复制、提升和连接刷新。
- 备份恢复演练:从备份恢复到独立环境,检查表、数据、附件和应用连接。
- 跨地域恢复演练:验证备用入口、密钥、证书、配置和外部依赖。
- 误操作恢复演练:模拟错误流程配置或错误数据修改,验证时间点恢复和业务补偿。
- 消息补偿演练:模拟消费中断,确认任务不丢失、不重复改变审批状态。
2. 每次演练都应留下这些记录
- 演练范围、开始时间和结束时间;
- 参与角色及应急联系人;
- 故障注入方式和停止条件;
- 切换前的复制延迟、备份状态和版本信息;
- 每个操作的时间、执行人和结果;
- 实际RPO、RTO及与目标的差距;
- 未恢复的功能和临时降级措施;
- 回切条件和数据核对结果;
- 下一次整改负责人和完成期限。
3. 恢复优先级应固定下来
真正发生故障时,建议按以下顺序恢复:
- 数据安全和写入边界:先防止双主、误写和数据继续扩散。
- 数据库及核心审批状态:恢复流程实例、待办、审批动作和审计记录。
- 入口与应用服务:让用户能够安全登录、查询和执行核心审批。
- 附件能力:恢复已引用附件的读取和新附件提交。
- 消息与通知:补偿待办、邮件、短信和异步任务。
- 搜索、报表和非核心功能:在核心链路稳定后再恢复。
- 旧节点回收和拓扑回切:完成原因分析、数据核对和计划性恢复。
演练验收时,不能只勾选“服务器已启动”。至少要逐项确认:备用资源是否真的可用,数据库最后确认事务是否符合RPO,旧主是否已隔离,审批动作是否幂等,附件是否能校验,通知是否可补偿,管理员是否拥有可用的应急权限,以及所有切换记录能否被审计复盘。只有这些条件都能在规定时间内完成,云服务器上的审批平台故障切换方案才算具备实际恢复能力。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/9297.html



