企业审批流程平台部署在云服务器上,如何设计故障切换方案?

发布人:A5数据发布时间:2026-11-14 09:36阅读量:27

审批平台一旦中断,影响通常不止是页面暂时无法打开。待办事项可能无法提交,已经完成的审批状态可能无法确认,附件上传与审计记录也可能出现不一致;如果故障期间重复点击、重复回调或重复切换,还可能把一次基础设施故障扩大为数据问题。

面向企业审批流程平台,较稳妥的故障切换方案不是简单准备一台备用云服务器,而是将入口、应用、数据库、附件、消息、配置和运维权限分别设计冗余。常见基线是:同地域跨可用区部署应用主备或多实例,数据库采用具备明确复制机制的高可用架构,附件使用冗余对象存储并保留备份,跨地域保留异步灾备副本,再通过分层健康检查和受控切换恢复业务。最终方案应由RPO、RTO、数据一致性要求和可接受的运维复杂度共同决定。

一、先确定恢复目标和资产边界

1. 把审批链路拆成可恢复资产

审批平台表面上是一个Web应用,实际包含多个相互依赖的组件。只复制应用服务器,不能解决数据库、附件和消息系统的单点问题。

一、先确定恢复目标和资产边界 / 1. 把审批链路拆成可恢复资产配图

资产或组件主要承载内容故障后的典型影响需要重点保护的内容
域名、证书、负载均衡用户访问入口和流量转发页面无法访问或流量仍指向故障节点健康检查、证书、转发规则、备用入口
应用服务器登录、表单、审批规则和接口请求超时、提交失败、部分功能不可用多实例、无状态化、版本和配置一致
主数据库审批单、流程状态、组织关系、审计记录新建、审批和查询均可能中断复制、日志、备份、故障提升规则
附件存储合同、凭证、图片和审批材料审批单存在但附件无法下载对象冗余、版本控制、校验和恢复
消息队列或任务服务通知、异步回调、定时任务邮件、短信、待办提醒延迟或重复消息持久化、消费幂等、重试和死信处理
缓存和会话登录会话、热点查询和临时数据用户被迫重新登录或查询变慢外置会话、过期策略,避免缓存成为事实来源
配置、密钥和证书数据库连接、第三方接口和加密能力备用节点启动但无法正常工作版本化、加密备份、权限和恢复测试
监控、日志和运维权限故障判断、切换和审计故障发生后无法确认状态独立监控、告警通道、应急账号

其中,审批状态、操作人、审批时间和审计记录属于核心数据;缓存、搜索索引和部分统计结果通常属于可重建数据。两者不能采用相同的恢复优先级。

还要单独确认云厂商控制面与业务数据面的关系。云控制台、API或某项管理服务短时不可用,不一定意味着正在运行的云服务器和数据库同时中断。但如果切换操作完全依赖单一控制台账号,控制面故障或账号权限异常会让备用资源无法启用,因此需要预先准备独立的告警、权限和应急操作路径。

2. 用RPO和RTO约束方案

RPO是允许丢失的时间范围,RTO是从故障发生或确认开始,到核心业务恢复可用所允许的时间。两者不能只写成“尽量不丢数据”和“尽快恢复”,否则无法判断主备架构是否达标。

对于审批平台,可以先按照业务等级设定示例目标,再根据实际访问量、合规要求和预算调整:

业务等级典型功能示例RPO示例RTO设计重点
核心审批新建、提交、审批、撤回、审计查询0至5分钟15至30分钟数据库高可用、受控切换、业务验证
业务协同待办同步、组织同步、通知和回调5至15分钟30至60分钟队列持久化、补偿任务和幂等处理
非核心查询报表、全文搜索、历史统计30至60分钟2至4小时可重建副本、延后恢复

这里的数值是方案设计阶段的参考目标,不是云服务器或任何组件的固有保证。RTO还应拆解为告警发现、故障判断、切换决策、备用节点提升、流量转发和业务验证等时间。只计算服务器启动时间,往往会低估真实恢复时间。

如果核心审批的目标RPO是5分钟,就不能只依赖每天一次的数据库备份。备份用于灾难恢复和误操作回滚,主备复制则用于缩短故障切换时的数据缺口,两者承担的职责不同。

3. 先定义一致性边界

审批平台最容易被忽视的是“请求看似成功,但状态没有完整落库”的情况。例如,用户点击批准后,页面返回成功,数据库事务已经提交,但异步通知尚未发送;也可能数据库已经写入审批结果,附件对象还没有上传完成。

建议至少明确以下边界:

  • 数据库事务提交成功,才把审批动作视为成功。
  • 通知、搜索索引和统计刷新可以异步,但必须能够重试。
  • 附件上传完成后再将附件状态标记为可用,不能仅凭前端返回判断成功。
  • 同一个审批动作必须具备唯一请求标识,切换后重试不能产生两条审批记录。
  • 旧主节点未被隔离前,不得让新主节点同时接受写入,避免双主写入。
  • 数据库复制延迟、最后确认事务编号和未确认事务数量必须可查询。

二、先做一次失败预演,再决定切换方式

风险控制的重点不是假设所有故障都能自动修复,而是提前判断:什么故障可以自动切换,什么故障必须暂停写入并人工确认。

1. 应用节点故障

单台云服务器宕机、进程崩溃或实例网络异常时,入口层应将流量转移到其他健康实例。前提是应用尽量无状态,不能把登录会话、临时上传文件和关键配置只放在本地磁盘。

应用健康检查至少分三层:

  1. 进程检查:确认服务端口和进程仍在运行。
  2. 依赖检查:确认数据库连接池、缓存和必要配置可用。
  3. 业务检查:使用只读接口或受控测试请求确认登录、查询等关键路径能够完成。

仅使用端口探活会产生误判。进程虽然监听端口,但数据库连接池耗尽、线程池阻塞或关键配置失效时,负载均衡仍可能继续转发请求。

2. 可用区或宿主资源故障

如果多个应用实例位于同一可用区,宿主机、网络或存储故障可能同时影响所有实例。核心审批平台至少应将应用实例分布到两个可用区,并避免所有实例依赖同一个本地磁盘或同一个出口设备。

数据库层需要根据云服务能力选择方案:

  • 云数据库提供跨可用区高可用时,优先使用其主备或集群能力,并确认故障提升条件、复制方式和提升时间。
  • 自建数据库时,需要自行处理日志复制、主节点租约、旧主隔离、备用节点提升和客户端连接切换,运维复杂度明显更高。
  • 同地域同步或半同步复制通常可以缩小数据缺口,但实际延迟和故障行为取决于网络、数据库引擎及云服务实现。
  • 跨地域复制通常以异步方式为主,应明确接受一定时间的数据缺口,不能把跨地域副本直接描述成零数据丢失。

3. 数据库主节点故障

数据库主节点故障不应只看服务器是否宕机,还要看最后一笔事务是否已经复制到备用节点。

切换前至少需要确认:

  • 主节点是否还能接受写入;
  • 备用节点的复制是否停止、延迟多少;
  • 备用节点是否包含最近一笔已确认事务;
  • 旧主节点能否被隔离;
  • 客户端连接是否会自动刷新到新主节点;
  • 应用是否会重试未确认请求。

如果主节点已经完全失联,且复制状态明确、旧主节点无法继续写入,可以按预案提升备用节点。若主节点网络隔离但仍可能运行,不能仅凭“监控看不到”就提升备用节点,否则可能形成双主。

4. 数据损坏或误操作

数据库损坏、错误批量更新、错误流程配置和误删数据,不属于普通节点故障。此时直接切换到另一个同步副本,可能把错误继续复制过去。

遇到以下信号,应优先停止扩大影响,而不是立即自动切换:

  • 大量审批单状态在短时间内异常变化;
  • 审计记录与业务表数量明显不一致;
  • 数据库校验失败或出现连续页损坏;
  • 管理员误执行批量修改;
  • 关键流程配置被覆盖;
  • 主备数据同时出现同样的异常。

对应措施通常是冻结高风险写入、保留现场、确认异常发生时间点,再使用时间点恢复或经过校验的备份副本恢复。恢复后还要根据审计记录和业务操作日志补偿异常审批,不应只依赖数据库回滚。

5. 附件存储或外部依赖中断

审批单和附件往往不在同一套存储中。数据库主备切换成功,并不代表附件一定可用。对象存储权限错误、跨地域复制延迟、存储服务异常或密钥不可用,都可能造成“审批记录可见、附件打不开”。

外部身份认证、组织架构、短信、邮件、电子签章等依赖中断时,也不能简单地把所有流量切到备用应用。更合理的策略是区分功能:

  • 允许已登录用户查看已落库的审批记录;
  • 暂停依赖外部服务的动作,并给出明确状态;
  • 将通知任务写入持久化队列,恢复后补发;
  • 对电子签章等不可替代步骤保留“待外部服务恢复”状态;
  • 不把外部接口超时直接当成审批失败,避免用户重复提交。

三、预防措施:把单点故障拆开处理

1. 入口层采用可控的多节点转发

入口层可以采用云负载均衡、反向代理或其他具备健康检查能力的服务。关键不在于组件名称,而在于切换时能否完成以下动作:

  • 移除不健康实例;
  • 避免新请求继续进入故障节点;
  • 在连接耗尽或超时时正确处理长连接;
  • 让备用实例获取一致的配置和证书;
  • 对管理入口与业务入口实施不同的访问策略。

DNS可以作为跨地域切换手段,但DNS缓存受客户端、运营商和递归解析器影响,TTL不等于实际切换时间。如果RTO要求较短,应优先使用可快速调整的流量入口,同时把DNS作为地域级灾备手段,而不是唯一切换机制。

切换完成后,旧节点即使恢复在线,也不应立即重新加入流量池。应先检查版本、配置、数据连接和时间同步,确认其不会继续执行旧任务或重复消费消息。

2. 应用层保持无状态并统一版本

多实例部署的前提是实例之间可替换。建议将以下内容移出本地磁盘:

  • 登录会话;
  • 临时上传文件;
  • 流程配置;
  • 密钥和第三方凭据;
  • 需要在节点间共享的任务状态。

应用发布时,所有实例应使用可追踪的版本号,配置也应有版本和变更记录。滚动发布要考虑数据库兼容性,先发布能够同时兼容旧字段和新字段的应用,再进行结构变更,避免切换期间备用节点使用旧代码却无法读取新结构。

对于数据库结构调整,优先采用向后兼容的步骤:

  1. 先增加新字段或新表,不立即删除旧结构。
  2. 发布同时支持新旧字段的应用版本。
  3. 完成数据回填并核对数量。
  4. 确认所有节点已切换到新版本。
  5. 经过观察期后再清理旧字段。

这样可以降低故障切换时新旧版本不兼容的风险,也便于回滚。

A5idc数据提供香港、美国、日本等地区的物理服务器租用,涵盖Xeon Gold、AMD EPYC等计算平台,并有NVMe存储及不同内存、磁盘配置,可为审批平台的应用节点、接口服务和数据库部署提供硬件资源选择。针对附件及归档数据,也提供大容量存储服务器方案,丰富业务数据存放与部署的资源组合。

3. 数据库采用“复制加备份”的组合

高可用复制解决的是节点故障下的快速恢复,备份解决的是数据损坏、误删除和较长时间范围内的回溯。两者应同时存在。

数据库保护至少包括:

  • 主备复制状态和复制延迟监控;
  • 全量备份、增量备份或日志备份;
  • 不同于生产账号的备份访问权限;
  • 跨故障域或跨地域的备份副本;
  • 备份加密密钥的独立保存;
  • 备份保留周期和自动清理策略;
  • 定期恢复到隔离环境并进行校验。

备份任务“成功”只代表文件或快照生成成功,不代表一定能恢复业务。恢复验证必须检查数据库能否启动、表结构是否完整、关键数据是否可读、应用能否连接,以及审计记录和审批状态是否连续。

4. 处理审批动作的幂等和重复请求

故障切换期间,客户端可能因超时自动重试,网关也可能重试请求,消息消费者还可能重复投递。审批平台必须把重复请求当作正常情况设计。

可以采用以下方法:

  • 每次提交、同意、驳回和撤回动作生成唯一业务请求号;
  • 数据库对“流程实例、节点、动作序号”设置必要的唯一约束;
  • 服务端在事务中记录请求号和处理结果;
  • 已处理的请求再次到达时返回原处理结果,而不是再次执行;
  • 消息消费使用业务键去重;
  • 通知发送与审批状态更新采用事务消息或可靠事件记录,避免一个成功、一个丢失。

“点击后没有立即返回”不等于“审批没有成功”。在切换预案中,应把未确认请求单独列出,先查询请求号和数据库状态,再决定是否补偿,而不是要求用户直接重新操作。

左侧用户发起带唯一业务请求号的“同意/驳回/撤回”动作,经网关或应用进入服务端;首次请求通过唯一性检查,在数据库事务中记录请求号、审批状态和处理结果;若响应超时

5. 让附件具备可验证的恢复路径

附件建议采用对象存储或同等能力的独立存储,并开启版本控制、生命周期管理和必要的跨故障域复制。数据库中保存对象键、文件大小、校验值、上传状态和版本信息。

上传流程可以分为:

  1. 创建待上传记录;
  2. 上传对象并计算校验值;
  3. 服务端确认对象存在且大小、校验值匹配;
  4. 将附件状态改为可用;
  5. 将附件与审批单正式关联。

恢复后应扫描三类异常:

  • 数据库有记录但对象不存在;
  • 对象存在但数据库没有有效记录;
  • 对象大小或校验值与记录不一致。

未完成的临时对象可以在核对后清理,已被审批引用的对象不能仅凭生命周期规则删除。

6. 队列、定时任务和通知需要可补偿

通知不是审批状态的唯一来源,但通知延迟会直接影响用户体验。消息系统应具备持久化、重试、死信和消费幂等能力。

恢复时要区分:

  • 已写入数据库但尚未投递的任务;
  • 已投递但消费结果不明确的任务;
  • 消费失败后进入重试队列的任务;
  • 已经发送但回执丢失的任务。

对邮件、短信和待办提醒,重复发送通常比审批状态重复变更更容易处理,但仍应通过业务消息号去重。对会改变核心数据的异步任务,必须以数据库中的状态和版本号为准,不能只根据队列消息重新执行。

四、触发条件和切换决策要分层

1. 不要用单一告警触发数据库切换

建议将指标分为观察、告警和切换三个层级。下面的阈值是示例,需要根据正常基线和业务峰值调整:

观察项进入告警的示例条件进入切换评估的条件处理方式
应用健康检查连续3次失败多个可用区实例同时失败自动摘除实例,确认是否扩大到入口层
请求错误率5分钟内持续超过基线核心提交接口持续失败且排除版本问题暂停发布,评估回滚或切换
数据库连接连接失败或连接池持续耗尽主节点无法确认存活状态先隔离写入,再判断是否提升备用节点
复制延迟超过正常基线超过RPO目标或复制中断记录可接受数据缺口,必要时人工决策
审批成功率低于业务阈值连续多个核心流程无法完成进入业务恢复流程,不只重启应用
附件校验少量校验异常大量附件不可读或对象服务不可用切换存储访问路径或暂停附件提交
消息积压持续增长超出通知时效或重试上限保留消息,恢复后补偿,不直接丢弃

单个节点探活失败适合自动摘除;数据库主备提升、跨地域切换和数据损坏恢复则应有人工确认,除非已经经过充分演练并具备可靠的旧主隔离机制。

2. 自动切换与人工切换的边界

适合自动化的场景通常包括:

  • 单个应用实例进程崩溃;
  • 单个应用实例健康检查失败;
  • 已确认备用节点健康,且入口可以安全转发;
  • 不涉及数据库主节点变更的数据面故障。

需要人工确认的场景通常包括:

  • 数据库主节点网络隔离;
  • 主备复制延迟超过RPO;
  • 生产数据疑似被误改;
  • 跨地域切换;
  • 外部身份、签章或组织服务不可用;
  • 切换后需要进行数据补偿。

自动化脚本应有超时、幂等和中止条件。任何“提升备用库”“改变写入入口”“清理旧任务”的动作,都应记录操作者、时间、目标节点和执行结果。

3. 设计一套可执行的切换顺序

发生核心故障时,可以按下面的顺序执行:

四、触发条件和切换决策要分层 / 3. 设计一套可执行的切换顺序配图

  1. 确认影响范围:区分单个应用节点、整个可用区、数据库、存储还是外部依赖故障。
  2. 冻结高风险变更:暂停发布、配置修改和非必要批量任务,避免故障期间继续改变现场。
  3. 保留证据:保存监控、日志、数据库复制状态和审批请求记录。
  4. 隔离旧写入端:确认旧主节点不会继续接受写入,必要时执行网络或实例级隔离。
  5. 检查备用数据:确认复制延迟、最后确认事务和数据库完整性。
  6. 提升备用节点:仅在数据状态和隔离条件满足时执行。
  7. 切换业务入口:更新负载均衡、连接地址或跨地域流量策略。
  8. 恢复应用实例:启动与数据库版本兼容的应用,先接收少量流量。
  9. 执行业务验证:验证登录、查询、新建、提交、审批、附件和审计记录。
  10. 处理未确认请求:根据唯一请求号查询状态,执行必要的补偿,不让用户盲目重复操作。
  11. 持续观察:确认错误率、复制状态、消息积压和资源使用恢复正常。

如果在第4步无法确认旧主节点是否已经停止写入,应暂停第6步。数据一致性风险通常比多停留几分钟更难处理。

五、恢复验证不能只看页面能否打开

1. 用业务交易验证恢复结果

端口正常、进程运行和登录成功,只能证明基础设施部分恢复。审批平台至少需要验证以下业务链路:

  • 普通账号能够登录;
  • 组织和角色权限正确;
  • 新建审批单能够保存;
  • 表单提交后生成唯一流程实例;
  • 审批人能够看到待办;
  • 同意、驳回、撤回等状态变更只执行一次;
  • 附件能够上传、下载和校验;
  • 审计记录包含操作人、时间和结果;
  • 通知任务进入队列并能够正常消费;
  • 历史记录和必要的搜索结果可用;
  • 数据库主备关系、监控和日志采集已恢复。

验证账号应使用专门的测试组织和测试流程,不要直接在生产业务单上进行试操作。测试完成后要清理测试数据,同时保留验证记录。

2. 用时间线核对RPO和RTO

例如,某次演练中:

五、恢复验证不能只看页面能否打开 / 2. 用时间线核对RPO和RTO配图

  • 10:20:00确认主数据库不可用;
  • 备用节点最后一笔已确认事务时间为10:18:30;
  • 10:23完成故障确认;
  • 10:27完成旧主隔离;
  • 10:35完成备用节点提升;
  • 10:38完成流量切换;
  • 10:45完成核心审批验证。

按这个示例,数据缺口为10:20:00减去10:18:30,即90秒;恢复耗时为10:45减去10:20,即25分钟。如果目标是RPO不超过5分钟、RTO不超过30分钟,该次演练达到目标,但仍要记录备用节点提升和业务验证所消耗的时间,以便继续优化。

RPO应以最后一笔可确认提交的数据为准,不能把客户端显示“提交成功”但数据库尚未确认的请求计入已恢复数据。RTO则应从约定的故障起算点开始计算,而不是从运维人员开始操作时才计算。

3. 切换后不要立即执行反向切换

故障恢复后,旧节点可能仍保留部分未复制数据,或者应用版本、配置和密钥已经落后。应先让新主节点稳定运行,再处理旧节点:

  1. 对旧节点进行隔离和只读检查;
  2. 备份当前新主节点数据;
  3. 对比新旧节点的事务、配置和审计记录;
  4. 补齐旧节点或重新初始化;
  5. 在低峰期执行计划内的反向切换;
  6. 切换后再次进行业务验证。

如果故障原因尚未查清,不应为了“恢复原拓扑”立即切回。主备角色变化本身也应被纳入变更记录。

六、把演练设计成可核对的恢复测试

演练不应只验证“能不能启动备用服务器”,还要验证人员、权限、数据和业务流程是否能够协同完成。

1. 建议覆盖的演练类型

  • 应用节点故障演练:停止一个应用实例,确认流量摘除和会话处理。
  • 数据库主备切换演练:在隔离环境或约定窗口验证复制、提升和连接刷新。
  • 备份恢复演练:从备份恢复到独立环境,检查表、数据、附件和应用连接。
  • 跨地域恢复演练:验证备用入口、密钥、证书、配置和外部依赖。
  • 误操作恢复演练:模拟错误流程配置或错误数据修改,验证时间点恢复和业务补偿。
  • 消息补偿演练:模拟消费中断,确认任务不丢失、不重复改变审批状态。

2. 每次演练都应留下这些记录

  • 演练范围、开始时间和结束时间;
  • 参与角色及应急联系人;
  • 故障注入方式和停止条件;
  • 切换前的复制延迟、备份状态和版本信息;
  • 每个操作的时间、执行人和结果;
  • 实际RPO、RTO及与目标的差距;
  • 未恢复的功能和临时降级措施;
  • 回切条件和数据核对结果;
  • 下一次整改负责人和完成期限。

3. 恢复优先级应固定下来

真正发生故障时,建议按以下顺序恢复:

  1. 数据安全和写入边界:先防止双主、误写和数据继续扩散。
  2. 数据库及核心审批状态:恢复流程实例、待办、审批动作和审计记录。
  3. 入口与应用服务:让用户能够安全登录、查询和执行核心审批。
  4. 附件能力:恢复已引用附件的读取和新附件提交。
  5. 消息与通知:补偿待办、邮件、短信和异步任务。
  6. 搜索、报表和非核心功能:在核心链路稳定后再恢复。
  7. 旧节点回收和拓扑回切:完成原因分析、数据核对和计划性恢复。

演练验收时,不能只勾选“服务器已启动”。至少要逐项确认:备用资源是否真的可用,数据库最后确认事务是否符合RPO,旧主是否已隔离,审批动作是否幂等,附件是否能校验,通知是否可补偿,管理员是否拥有可用的应急权限,以及所有切换记录能否被审计复盘。只有这些条件都能在规定时间内完成,云服务器上的审批平台故障切换方案才算具备实际恢复能力。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/9297.html

相关推荐