独立服务器间自动同步业务数据,怎样避免重复处理和同步失败后丢数?
两台独立服务器之间自动同步业务数据,真正需要解决的不是“请求能不能发出去”,而是源端已经提交、网络却超时,或者目标端已经落库、响应又没有返回时,下一次重试会不会产生重复订单、重复扣款和重复执行。要避免同步失败后丢数,不能只依赖定时脚本、接口重试或服务器稳定性,而应当同时建立可持久化的待同步记录、稳定的幂等键、目标端去重约束、可区分的失败重试和对账补偿。
一套适用于订单、库存、支付回调和异步任务的通用方案是:源端在业务事务中写入业务数据和 Outbox 事件,后台投递程序按至少一次方式发送;目标端用 Inbox 记录接收过的事件,并在同一事务中完成去重和业务处理;网络超时、目标端不可用或数据乱序时不直接丢弃,而是延迟重试、进入待处理队列或触发人工核对。这样不能保证消息只传输一次,却可以把“传输可能重复”转化为“业务结果只生效一次”。
A5idc数据提供中国香港、美国、日本、韩国、中国台湾、新加坡和马来西亚等地区的物理服务器资源,可为订单、库存、支付回调及异步任务搭建独立的源端与目标端运行环境。不同地区的线路、带宽、CPU、内存和NVMe存储组合,能够覆盖数据库、接口服务、多任务处理等部署需求;存储型服务器则可用于事件记录、业务数据留存与归档,形成支撑重试、重放和核对流程的基础资源。
先确定需要保证的业务结果
“同步成功”至少包含四个不同层次,不能只看接口返回了 HTTP 200,或者发送程序日志显示“已发送”。
| 层次 | 需要回答的问题 | 合理的成功判据 |
|---|---|---|
| 源端业务提交 | 订单、支付或库存变更是否已经正式落库? | 业务表和同步事件在同一事务中提交 |
| 事件可靠传递 | 这条变化是否进入了目标端处理范围? | 目标端确认接收,且源端保留可追踪记录 |
| 目标端业务应用 | 目标系统是否真正改变了业务状态? | 目标端 Inbox 与业务更新一并提交 |
| 外部副作用 | 是否发送了通知、生成了账单或调用了第三方? | 有独立幂等键、结果状态和可重试记录 |
例如,源服务器上的订单已经创建,但 Outbox 事件没有写入,后续同步程序就无法知道这笔订单存在;反过来,目标服务器已经扣减库存,但响应在网络中丢失,源服务器重试时必须被目标端识别为同一笔业务,而不是再次扣减。
还需要先确定每类数据的唯一写入方。订单状态由源端维护、目标端只读或建立索引,通常比两台服务器都可以修改订单状态更容易保持一致。库存也是如此:如果两个服务器都直接修改同一个 SKU 的最终库存数量,仅靠重试无法解决并发冲突,必须先规定库存归属、扣减顺序或统一的库存流水入口。
从业务动作到可恢复的数据流
以“源服务器创建订单,目标服务器同步订单和支付状态”为例,比较稳妥的数据流可以分为以下几段。

- 用户提交订单,源端在一个本地数据库事务中写入订单、订单明细和一条 Outbox 事件。
- 事务提交成功后,投递程序读取未发送或待重试的 Outbox 记录。
- 投递程序把事件发送到目标服务器,并携带固定的
event_id、业务对象编号和版本号。 - 目标服务器在 Inbox 中登记事件,检查是否已经处理过,再更新订单或支付业务表。
- 目标端完成数据库提交后返回确认,源端才把该事件标记为已确认。
- 如果任一环节中断,事件仍然保留在源端或目标端的持久化记录中,等待继续处理。
事件的关键字段可以类似下面的结构:
{
"event_id": "evt_20250308_8f31c1",
"event_type": "order.paid",
"aggregate_type": "order",
"aggregate_id": "order_100086",
"version": 4,
"occurred_at": "2025-03-08T10:15:30+08:00",
"source": "order-server",
"payload": {
"order_id": "order_100086",
"payment_id": "pay_700219",
"status": "paid",
"amount": 199.00,
"currency": "CNY"
}
}
其中,event_id 应在重试期间保持不变,不能每次发送都重新生成。aggregate_id 表示同一个业务对象,例如订单号、支付单号或库存流水号;version 用于识别乱序和过期更新。
为什么要使用 Outbox
下面这种写法存在明确的丢数窗口:
- 源端写入订单;
- 源端调用目标接口;
- 目标接口超时;
- 源端认为失败并返回错误。
如果第 2 步中目标端其实已经处理成功,重试会产生重复;如果源端在第 1 步提交后进程崩溃,目标端则可能永远收不到这笔订单。
Outbox 的重点是让“业务变更”和“待同步事件”使用同一个本地事务。业务事务提交成功,事件一定存在;业务事务回滚,事件也不会单独发送。投递程序可以短暂停止,但不会因为进程退出而丢失尚未发送的数据。
如果业务表和 Outbox 不在同一个数据库,不能简单地采用“先写业务库、再写消息库”的双写方式。此时可考虑使用数据库变更捕获、同库事件表或具备本地事务能力的消息组件,并确认其断点、保留时间和重复投递行为。变更捕获可以减少应用改造,但并不会自动解决目标端幂等、事件乱序和失败补偿问题。
目标端应使用 Inbox 或等价的去重记录
目标端不能只做以下判断:
先查询 event_id 是否存在
不存在就执行更新
在并发请求下,两个重试请求可能同时查询到“不存在”,随后同时执行更新。去重必须依赖数据库层面的唯一约束,至少应对 event_id 建立唯一性;对于跨来源的业务操作,还应对业务幂等键建立唯一约束。
更理想的处理方式是把以下操作放在同一个目标端事务内:

- 写入 Inbox 记录;
- 校验业务对象当前版本;
- 执行订单、支付或库存更新;
- 记录处理结果;
- 提交事务后返回确认。
这样,目标端在提交前崩溃,下一次可以重新处理;提交成功但响应丢失,下一次发现相同 event_id 后返回“已处理”,而不会再次产生业务效果。内存缓存或临时文件可以用来加速判断,但不应作为唯一去重依据。
成功路径中的幂等设计
幂等不是简单地“重复请求不报错”,而是同一业务动作执行多次后,业务结果与执行一次相同。不同对象的幂等键不能全部使用订单号。
| 业务对象 | 建议的幂等依据 | 需要防止的重复效果 |
|---|---|---|
| 订单创建 | 创建事件 ID,必要时加订单号 | 重复创建订单或重复写入明细 |
| 支付回调 | 支付渠道交易号加回调类型或事件版本 | 重复入账、重复修改为已支付 |
| 库存变更 | 库存流水号、出入库单号或预占记录号 | 重复扣减、重复释放库存 |
| 异步任务 | 任务 ID 加业务动作类型 | 重复生成文件、重复发通知或重复执行结算 |
支付回调尤其不能只按订单号去重。一笔订单可能先收到支付成功回调,之后又收到退款、撤销或对账修正事件,它们都属于同一订单,但不是同一个业务动作。应当根据支付渠道提供的交易号、事件类型和状态版本分别判断,并使用明确的状态流转规则。
库存同步也不适合只传递“当前库存是 80”。当两台服务器分别收到库存变更时,后到的旧值可能覆盖先到的新值。更稳妥的做法是传递“库存流水”或“预占、扣减、释放”等动作,并为每条流水设置唯一编号。若业务只能同步最终快照,也应携带版本号或更新时间,并规定较旧版本不得覆盖较新版本。
订单状态则可以采用有限状态流转。例如:
待支付 -> 已支付 -> 已发货 -> 已完成
待支付 -> 已取消
已支付 -> 已退款
收到重复的“已支付”事件时不重复执行入账;收到版本更低的“待支付”事件时不回退状态;收到不允许的状态跳转时进入异常记录,由业务规则处理,而不是用“最后一条消息覆盖当前值”。
同步模式与一致性的取舍
独立服务器之间通常有三类实现方式,选择时应区分数据正确性和处理速度。
| 模式 | 主要特点 | 适合场景 | 主要风险 |
|---|---|---|---|
| 同步接口调用 | 源端等待目标端返回 | 必须立即得到目标结果的短链路操作 | 网络超时会出现结果未知,需要幂等重试 |
| Outbox 加异步投递 | 源端先可靠提交,目标端稍后处理 | 订单同步、异步任务、报表和跨系统通知 | 存在短暂延迟,需要监控积压和对账 |
| 数据库变更捕获 | 从数据库日志或变更表读取变化 | 原有应用难以改造、需要持续同步 | 仍需处理断点、重复、乱序和结构变化 |
如果订单创建只要求“订单先受理,目标系统稍后可见”,Outbox 异步方式通常更容易恢复。如果库存扣减必须在下单时得到确定结果,可以在源端先完成库存预占,目标端同步库存流水;不能把“等待另一个服务器最终同步”当作库存锁定本身。
支付场景也要区分“发起支付”和“处理支付回调”。发起支付失败或超时,不能直接判断付款一定失败,应保留“支付中”或“待查询”状态,并使用支付单号作为后续查询和补偿依据。重复收到成功回调时只允许第一次完成入账,后续回调返回已处理即可。
跨服务器直接使用分布式事务可以解决部分原子提交问题,但会增加锁持有时间、故障恢复和运维复杂度。对于长链路支付、库存和消息传输,通常更可控的做法是本地事务加幂等、状态机和补偿,而不是把所有操作都放进一个跨服务器事务。
异常分支:重复、超时、乱序和失败
请求超时但目标端可能已经成功
这是最常见也最容易被误判的情况。源端发出事件后等待超时,不能简单地认为目标端没有处理。正确处理方式是:
- 使用同一个
event_id重试,而不是创建新事件; - 目标端通过唯一约束识别重复事件;
- 目标端若已处理,返回已处理结果;
- 源端根据确认结果更新 Outbox 状态;
- 对于外部扣款、退款等副作用,使用第三方支持的幂等请求号。
如果第三方接口不支持幂等键,就不能在本地通过“查询后再调用”完全消除重复风险。应保存调用状态、请求参数和响应结果,并根据业务提供的查询接口或人工核对流程决定是否重试。数据库事务不能覆盖一个独立的外部服务。
目标服务器不可用或处理速度下降
目标端宕机时,源端不应无限制地同步阻塞所有业务请求,也不能因为发送失败就删除事件。可以采用指数退避加随机抖动,例如按 1 分钟、5 分钟、15 分钟逐步延长重试间隔,同时设置最大重试次数或最大保留时间。
重试策略需要区分两类错误:

- 网络断开、连接超时、目标端返回 5xx:通常属于临时错误,可以重试;
- 字段缺失、签名错误、业务状态非法、唯一性冲突:通常属于永久错误,应进入死信或人工处理队列。
永久错误不应无休止重试,否则会持续占用资源并掩盖真正的故障。进入死信队列后,需要保留原始事件、错误原因、首次失败时间、最近重试时间和处理人或处理结果。
事件乱序或版本落后
对于同一个业务对象,不必强求所有对象在全局范围内严格排序,但通常要保证同一个 aggregate_id 的局部顺序。
目标端可以按以下逻辑处理:
- 事件版本等于当前版本加一,正常应用;
- 事件版本小于或等于当前版本,视为重复或过期事件,记录后不重复执行;
- 事件版本大于当前版本加一,说明中间存在缺口,应暂存、重新拉取或等待前序事件;
- 缺口超过设定时间仍未补齐,生成告警并进入对账流程。
例如目标端当前订单版本为 3,却先收到版本 5,不能直接把状态改为版本 5 后丢弃版本 4。除非事件是完整快照且版本规则明确允许覆盖,否则应查询源端缺失事件或重新获取该订单的完整状态。
处理成功但响应丢失
目标端已经提交业务更新,返回确认前进程崩溃,源端会认为发送失败。此时重复投递是正常的,目标端必须能返回“该事件已成功处理”。因此,目标端的 Inbox 记录不能只保存一个简单的接收标记,还应保留处理状态、处理时间和必要的业务结果摘要。
如果 Inbox 记录和业务表分属不同事务,就可能出现“已标记接收、业务更新未完成”。这种结构需要处理中的租约、超时接管和状态恢复,复杂度明显高于同库同事务。除非有明确的拆分理由,否则应优先让去重记录和业务结果一起提交。
两台服务器同时修改同一业务对象
如果源端和目标端都能修改库存或订单状态,重复消息只是表面问题,真正的问题是写入冲突。常见处理方案有:
- 单向同步:一台服务器是权威写入方,另一台只接受事件;
- 按业务对象分片:不同仓库、租户或订单范围由不同服务器负责;
- 版本比较:更新必须携带版本,低版本拒绝覆盖高版本;
- 冲突事件:无法自动合并时记录冲突,交由业务规则或人工确认。
不建议用“最后写入覆盖”作为通用策略。它可能让数据表看起来只有一个值,却无法解释支付已成功而订单又回到待支付、库存被重复扣减等问题。
处理与恢复核对不能只看日志
同步系统需要保存两套可以互相验证的记录:一套是事件流转记录,另一套是业务结果记录。只有“发送成功日志”而没有目标端业务结果,无法证明数据真正落地;只有目标端业务表而没有事件记录,也难以定位丢失、重复和乱序。
建议至少监控以下指标:
| 指标 | 说明 | 需要关注的情况 |
|---|---|---|
| Outbox 待发送数量 | 源端尚未确认的事件总量 | 数量持续增长或最老事件年龄过长 |
| 目标端处理延迟 | 事件产生到业务落地的时间 | 延迟超过订单或库存可接受范围 |
| 重复事件比例 | 被目标端判定为已处理的事件数量 | 短时间异常升高,可能是网络或调用方重试失控 |
| 版本缺口数量 | 等待前序事件的业务对象数量 | 持续存在时可能是事件丢失或分发顺序异常 |
| 死信数量 | 无法自动处理的事件数量 | 出现新类型错误或字段兼容问题 |
| 对账差异 | 两端业务数量、金额或状态差异 | 需要定位具体业务单据,而不是只看总数 |
对账不能只比较总记录数。例如,目标端少了一笔订单、又多了一笔重复订单,数量可能刚好相等;库存总量相同,也不代表每个仓库和每个 SKU 都正确。可按时间窗口、租户、仓库或业务状态分别核对:
- 订单:订单号集合、订单状态分布、订单金额合计;
- 支付:支付单号集合、成功金额、退款金额和支付状态;
- 库存:期初数量加出入库流水与期末数量是否相符;
- 异步任务:任务总数、成功数、失败数、重复执行数。
恢复时应按以下顺序处理:

- 先确认源端业务数据是否存在,以及对应 Outbox 事件是否存在。
- 查看目标端是否已经存在相同
event_id或业务幂等键。 - 对临时错误重试原事件,不要重新生成新的事件编号。
- 对永久错误修复数据或处理规则后,再重放原事件,并保留修复记录。
- 对账确认业务结果后,才清理过期事件或压缩历史记录。
事件保留时间应覆盖目标端最长停机时间、人工处理时间和对账窗口。目标端恢复备份时,还要注意 Inbox 去重记录与业务表是否来自同一数据快照。若业务表已经恢复到较早版本,而 Inbox 却保留了较新的“已处理”记录,后续重放可能被错误跳过;两者不一致时,应按备份时间点重新建立处理边界。
落地前应验证的故障场景
正式启用自动同步前,不要只验证一次正常请求,还应模拟以下场景:
| 验证场景 | 预期结果 |
|---|---|
| 源端业务提交成功,投递程序立即停止 | 事件仍在 Outbox 中,恢复后可以继续发送 |
| 目标端已经提交,响应被人为丢弃 | 源端重试同一事件,目标端不重复产生业务效果 |
| 同一事件并发发送两次 | 只有一次业务更新,其余请求返回已处理或重复状态 |
| 先发送版本 5,再发送版本 4 | 版本 4 不覆盖新状态,并产生可追踪记录 |
| 目标端连续不可用 | 源端业务是否按设计继续受理,事件是否持续保留 |
| 目标端返回字段校验错误 | 事件进入明确的失败队列,不无限重试 |
| 支付回调重复到达 | 不重复入账,状态机仍保持合法 |
| 库存流水重复到达 | 同一流水只影响库存一次 |
| 目标端从备份恢复 | Inbox、业务表和待处理事件的边界一致 |
最终需要明确的不是“同步脚本每隔几分钟运行一次”,而是:哪一端拥有业务写入权、什么记录代表一次唯一业务动作、目标端何时才算真正落地、超时后如何判断未知结果,以及多长时间内必须完成对账。只要源端事件可持久化、目标端处理可幂等、失败记录可重放、状态差异可核对,独立服务器之间即使出现重复投递、网络延迟或短时不可用,也能把同步问题控制在可恢复范围内,而不是演变成重复处理和无从追查的数据丢失。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/7547.html



