凌晨四点，我一个人坐在香港科学园机房的冷风里，看着墙上的多区域 GPU 集群监控大屏。香港、东京、新加坡三地的 GPU 集群，正通过 RoCEv2 跨城互联，实时同步训练任务状态。

这是我们第一次尝试真正意义上的 亚太多活 GPU 集群：不仅能跨机房弹性调度，还能在任意一地出现故障时，由其他区域 秒级接管训练与推理任务。

这篇文章记录了我在三地机房落地 低延迟训练 + 容灾 的完整实践，包括真实的运维坑点与解决方案。

1. 三地机房物理与网络拓扑

1.1 数据中心布局

• 香港（主集群）：AI 训练与推理混合集群，120 块 A100 80G
• 新加坡（东南亚集群）：偏推理与部分数据预处理，80 块 A100
• 东京（灾备集群）：以容灾和冷备训练为主，60 块 H100

三地通过 专线 + MPLS + EVPN 组建跨区域骨干：

RDMA 使用 RoCEv2 over WAN，在每条专线上配置 DSCP 优先级 + ECN，以保证训练数据与显存镜像低延迟传输。

1.2 实战坑点

跨国链路丢包问题严重低估

初期 RDMA over WAN 直接跑，发现迁移任务频繁失败。原因是跨国海缆偶尔抖动 0.1% 丢包。

解决方案：在 Mellanox 卡上开启 Selective Repeat + GDRCopy，并配合 FEC 前向纠错，牺牲部分带宽换稳定性。

光纤物理维护导致夜间高延迟

东京链路凌晨维护时 RTT 波动到 100ms。

解决方案：在 K8s 调度器里加入链路监控，自动切换到香港↔新加坡主链路作为训练主路径。

2. 多活 GPU 训练架构

2.1 基础设计

GPU 集群虚拟化与调度栈：

• Hypervisor：KVM + QEMU 7.1
• GPU 虚拟化：NVIDIA vGPU + SR-IOV
• 调度框架：Kubernetes + Volcano + 自研 GPU Operator
• 跨区域状态同步：CephFS + NVMeoF + RDMA

训练任务通过 分布式 Checkpoint 实现多活：

• 每 5 秒香港训练集群将权重快照同步到新加坡；
• 每 30 秒生成一次轻量 checkpoint 传输到东京；
• Tokyo 集群可在 3 秒内接管香港任务。

2.2 跨区域 RDMA 优化实践

RDMA over WAN 拆分通道

数据通道：训练权重、显存镜像

控制通道：调度信号、心跳

通过 双端口 NIC 分离，减少控制延迟。

MTU 与分段优化

WAN 链路配置 MTU 4200，降低丢包重传开销

RDMA Segment Size 调整到 2MB，优化长距大包吞吐

延迟感知调度

Kubernetes 调度器实时感知链路 RTT

当 RTT > 50ms 时，自动进入半同步模式，减少频繁热迁移

3. 跨区域 GPU 热迁移与容灾切换

跨机房热迁移流程如下：

显存与上下文预热

在目标机房创建 vGPU 容器，并提前同步显存页表

状态镜像同步（RDMA 全量传输）

单卡显存 80GB，跨城热迁移约 1.5 秒完成

短暂停机 + 增量同步

暂停 150ms，增量页同步完成后目标集群接管

业务无感切换

推理延迟抖动 < 200ms

3.1 迁移失败与回退机制

在东京机房的一次实战中，海缆抖动导致热迁移中断。我们设计了：

多活回退机制：迁移失败立即恢复原节点继续执行

链路健康检查：Ping + RDMA Echo 双重检测

冷备模式自动切换：延迟过高时直接使用 Checkpoint 恢复

4. 实战总结与优化经验

• WAN RDMA 稳定性是跨区域 GPU 多活的生命线
• 显存页追踪 + 增量迁移 是保证热迁移低中断的核心
• 调度器必须链路感知，否则容易在链路波动时触发雪崩
• 东京集群只做冷备 是个权衡，节省带宽同时保证容灾

最终，我们实现了：

• 三地 GPU 训练集群多活
• 单点故障秒级切换，推理无感迁移成功率 94%
• 亚太 GPU 利用率整体提升 42%