凌晨 2:17，我在将军澳机房里被一阵恼人的风扇啸叫拉回神。运营群里连续刷屏：“华北玩家晚间对战掉包 5%+”“匹配耗时飙到 9 秒”“广州到香港绕美”。我掀开机柜门，红灯一片，交换机风道吹得我眼睛发干。那一刻我非常清楚：不是服务器 CPU 忙、也不是 Redis 抖了，这是路由回程和拥塞的问题。我们一度用的是“香港 1 线国际 + 1 线 CMI”出口，工作日还行，晚高峰和节假日玩家一冲，跨境链路就开始抽风。

当晚我拍板：把预备的 CN2 GIA 拉起来，做成多线 BGP，再把策略路由+队列调度连夜调通，顺便把匹配和战斗同步的策略按延迟分桶改写。下面这篇，就是我从那天凌晨到一周稳定运行后的完整落地笔记。

1. 目标与思路

目标

• 面向中国大陆玩家：稳定低抖动、低丢包、低 RTT（北上广深核心城市 RTT 2035ms，西南/华北 3555ms，95 线性抖动 < 10ms）。
• 面向海外玩家：走国际大网（PCCW/NTT/HGC 等），不挤占 GIA。
• 匹配耗时下降 40%+；战斗同步快照丢失显著减少；夜高峰抗抖动能力增强。

核心手段

• 多线 BGP：至少三家上联（CN2 GIA/CUG、CMI/CU、国际混合）。
• 按目的地/业务类型分流：中国大陆走 GIA 优先，海外走国际；战斗 UDP 包优先级最高。
• 端到端优化：从内核、队列、DSCP 标记到游戏服线程绑核、NTP 校时、匹配策略按 RTT 分桶。
• 可观测+回滚：BFD/Route-Map 防颤，Prometheus+黑盒探针，配好一键回滚。

2. 现场拓扑与硬件参数（我们用的这套你可以按需裁剪）

2.1 拓扑（文字图）

[玩家]
   │
┌──┴───────────────────────────────────────────┐
│                 互联网/运营商               │
└──┬───────────────┬───────────────┬──────────┘
   │ GIA(CT/CU)    │ CMI/CUG       │ Intl(PCCW/HGC/NTT)
   │               │               │
        ┌───────── BGP 多宿主边界 (VRRP 活动/备份) ─────────┐
        │    GW1（FRR/Bird）             GW2（FRR/Bird）    │
        └──────────────┬───────────────┬───────────────────┘
                       │               │
                   交换机(万兆)     观测/旁路
                       │
   ┌───────────────────┴────────────────────┐
   │                 业务交换区               │
   │  Match/Redis  │  Game(UDP tick)  │  DB │
   └────────────────────────────────────────┘

2.2 关键硬件与系统

说明：如果你无法装 kernel-ml，后面的 cake 可替换成 fq_codel/fq。

3. 上联与地址规划

地址/ASN

• 自治系统：私有示例 AS 65001（你应使用官方分配的公共 ASN）。
• 公网段：/24（对外公告），Loopback /32 用于 iBGP/监控。
• 内部：/22 业务网段 + /27 管理网段。

4. 操作系统与网络内核调优（GW/游戏服通用）

/etc/sysctl.d/99-game-net.conf：

net.core.netdev_max_backlog = 250000
net.core.somaxconn = 4096
net.core.rmem_max = 67108864
net.core.wmem_max = 67108864
net.ipv4.udp_mem = 4096 87380 67108864
net.ipv4.udp_rmem_min = 16384
net.ipv4.udp_wmem_min = 16384
net.ipv4.ip_local_port_range = 10000 65535
net.ipv4.tcp_congestion_control = bbr
net.ipv4.tcp_fastopen = 3
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_mtu_probing = 1
net.ipv4.ip_forward = 1
net.ipv4.conf.all.rp_filter = 0
net.ipv4.conf.default.rp_filter = 0
net.ipv4.conf.all.accept_redirects = 0
net.ipv4.conf.all.send_redirects = 0

NIC/IRQ/RSS/GRO（低延迟 UDP 建议禁用 GRO/LRO，避免批处理延迟）：

# 以 eth0 为例
ethtool -K eth0 gro off lro off gso off tso off
ethtool -L eth0 combined 8   # 多队列
# IRQ 绑核（示例绑到 0-7 号核）
for i in /proc/irq/*/smp_affinity_list; do echo 0-7 > $i; done
# RPS/XPS
echo ffff > /sys/class/net/eth0/queues/rx-0/rps_cpus
echo ffff > /sys/class/net/eth0/queues/tx-0/xps_cpus

时钟同步（chrony）

战斗服的 tick 对抖动敏感，时钟漂移会放大“幽灵位移”。

/etc/chrony.conf：

server hk.pool.ntp.org iburst
server cn.pool.ntp.org iburst
server tw.pool.ntp.org iburst
makestep 0.5 3
rtcsync

5. BGP 多线接入（以 FRR 为例）

安装（CentOS 7）：

yum install -y https://www.elrepo.org/elrepo-release-7.el7.elrepo.noarch.rpm
yum --enablerepo=elrepo-kernel -y install kernel-ml
reboot

# FRR 官方仓库（示例，按实际更新源）
yum install -y frr frr-pythontools
systemctl enable frr && systemctl start frr

/etc/frr/daemons 启用 bgpd=yes。

/etc/frr/bgpd.conf（关键片段，社区值需向运营商索取实际含义）：

frr defaults traditional
hostname gw1
service integrated-vtysh-config
router bgp 65001
  bgp router-id 10.10.10.1
  timers bgp 5 15
  no bgp ebgp-requires-policy
  bgp bestpath as-path multipath-relax
  neighbor 203.0.113.1 remote-as 4809     ! CN2 GIA 示例 AS
  neighbor 198.51.100.1 remote-as 58453   ! CMI/CUG
  neighbor 192.0.2.1   remote-as 3491     ! PCCW/Intl

  ! 入向/出向策略
  neighbor 203.0.113.1 description GIA
  neighbor 198.51.100.1 description CMI
  neighbor 192.0.2.1   description INTL

  address-family ipv4 unicast
    maximum-paths 4
    neighbor 203.0.113.1 activate
    neighbor 198.51.100.1 activate
    neighbor 192.0.2.1   activate

    ! 本端对外公告的前缀
    network 203.0.113.0/24

    ! 出向：给 GIA 提高 local-pref
    route-map OUT-GIA permit 10
      set local-preference 200
      set community 65001:100 additive    ! 例如“不加跳数”

    route-map OUT-CMI permit 10
      set local-preference 150
      set community 65001:200 additive    ! 例如“加 1 次 AS-PATH”

    route-map OUT-INTL permit 10
      set local-preference 100

    neighbor 203.0.113.1 route-map OUT-GIA out
    neighbor 198.51.100.1 route-map OUT-CMI out
    neighbor 192.0.2.1   route-map OUT-INTL out

    ! 入向：可按对方社区/AS-PATH 调整
    route-map IN-GIA permit 10
      set metric 10

    route-map IN-CMI permit 10
      set metric 50

    route-map IN-INTL permit 10
      set metric 100

    neighbor 203.0.113.1 route-map IN-GIA in
    neighbor 198.51.100.1 route-map IN-CMI in
    neighbor 192.0.2.1   route-map IN-INTL in

  exit-address-family

! BFD 快收敛（视上游支持）
bfd
 profile fast
  transmit-interval 50
  receive-interval 50
  echo-interval 50
  detect-multiplier 3

要点

• local-preference：站内出向偏好。GIA=200 > CMI=150 > 国际=100。
• community：不同运营商支持的社区值不同，常用用于不/少/多次 AS-PATH Prepend、黑洞、优选区域等，请以合同/对方 NOC 公告为准。
• 开 maximum-paths 方便 ECMP，多上联分担。
• BFD 缩短收敛，降低切换抖动。

VRRP/Keepalived（GW1/GW2 双机热备）：

yum install -y keepalived
cat >/etc/keepalived/keepalived.conf <<'EOF'
vrrp_instance VI_1 {
  state MASTER
  interface eth0
  virtual_router_id 51
  priority 150
  advert_int 1
  authentication { auth_type PASS auth_pass xxxxxx }
  virtual_ipaddress { 203.0.113.254/24 dev eth0 }
  track_script { chk_bgp }
}
vrrp_script chk_bgp {
  script "/usr/local/bin/check_bgp.sh"
  interval 2
  fall 2
  rise 2
}
EOF

check_bgp.sh 检查邻居 up/down 来降级优先级，避免“主机 BGP 掉线仍抢 VIP”。

6. 业务分流与 QoS（把“战斗 UDP”送上头等舱）

6.1 业务端口与 DSCP 标记

假设战斗 UDP 端口 20000-20999，匹配/登录走 TCP 443/8443。

iptables 标记（GW）：

# 标记战斗 UDP，DSCP EF(46)
iptables -t mangle -A PREROUTING -p udp --dport 20000:20999 -j DSCP --set-dscp 46
# 标记语音聊天（如 30000-30050），AF41
iptables -t mangle -A PREROUTING -p udp --dport 30000:30050 -j DSCP --set-dscp-class AF41
# 匹配/登录 TCP 走 AF21
iptables -t mangle -A PREROUTING -p tcp -m multiport --dports 443,8443 -j DSCP --set-dscp-class AF21

6.2 按目的地分流（中国大陆前缀 → GIA）

做法有两种，择一或组合：

A. 基于 BGP 社区/本地策略：
把“来自中国大陆的前缀”在入向赋予更高 local-pref，出向默认走 GIA（见上面 IN-GIA/OUT-GIA）。这要求上游提供良好的国内路由质量。

B. PBR（基于 iptables MARK + ip rule + 多路由表）：
更细粒度，能对特定 UDP 业务强制从 GIA egress。

# 标记来自战斗 UDP 的连接
iptables -t mangle -A PREROUTING -p udp --dport 20000:20999 -j MARK --set-mark 100

# 针对大陆前缀集（china_routes）再细化（可由 bgp_dump 定期生成）
ipset create CN hash:net
# 假设已把 CN 前缀导入 ipset
iptables -t mangle -A PREROUTING -p udp --dport 20000:20999 -m set --match-set CN dst -j MARK --set-mark 110

# 路由策略：mark 110 → 表 110（GIA 出口），mark 100 → 表 100（CMI 备份）
ip rule add fwmark 110 table 110
ip rule add fwmark 100 table 100

# 表路由（下一跳为 GIA/CMI 各自网关）
ip route add default via 203.0.113.2 dev eth0 table 110   # GIA
ip route add default via 198.51.100.2 dev eth1 table 100  # CMI

6.3 出口队列（推荐 fq_codel 或 cake）

# 假设 GIA 接口 eth0，限速与整形避免突发丢包
tc qdisc del dev eth0 root 2>/dev/null
tc qdisc add dev eth0 root handle 1: htb default 12
tc class add dev eth0 parent 1: classid 1:1 htb rate 200mbit ceil 220mbit
tc class add dev eth0 parent 1:1 classid 1:10 htb rate 150mbit ceil 200mbit  prio 0  # 战斗
tc class add dev eth0 parent 1:1 classid 1:12 htb rate 50mbit  ceil 200mbit  prio 1  # 其他

# DSCP -> class
tc qdisc add dev eth0 parent 1:10 handle 10: fq_codel
tc qdisc add dev eth0 parent 1:12 handle 12: fq_codel
tc filter add dev eth0 protocol ip parent 1: prio 1 u32 match ip dsfield 0xb8 0xfc flowid 1:10  # EF
tc filter add dev eth0 protocol ip parent 1: prio 2 u32 match ip dsfield 0x88 0xfc flowid 1:10  # AF41

验证 DSCP：

tcpdump -i eth0 -vv -n udp port 20000
# 看到 DSField 设置为 0xb8(EF) 即可

7. 匹配与战斗同步的“延迟优先”改造

7.1 匹配分桶（把 RTT 带入匹配权重）

我们按 RTT 分桶（0-25ms、25-40ms、40-60ms、60ms+），并引入窗口抖动（如 5s 内测 5 次取 80 分位），确保稳定性高于瞬时低延迟。

伪代码（Go）：

type Player struct {
  ID string
  Region string
  RTTms int
  Jitter int
}

func bucket(rtt int) int {
  switch {
  case rtt <= 25: return 0
  case rtt <= 40: return 1
  case rtt <= 60: return 2
  default: return 3
  }
}

func score(p Player) int {
  // RTT 权重 70%，抖动权重 30%，可按段函数做非线性惩罚
  return int(float64(1000 - p.RTTms*10)*0.7 + float64(100 - min(p.Jitter,100))*0.3)
}

7.2 战斗同步（tick、缓冲、补偿）

• 服务器 tick：20/30/60Hz 视玩法，香港跨境建议 30Hz 起。
• 客户端缓冲：往返/2 + 安全余量（如 15ms），避免卡顿引发回滚风暴。
• 输入预测 + 回滚：回滚窗口 ≤ 120ms；跨桶匹配则放宽到 150ms。
• 丢包补偿：关键状态包（位置、动作）加冗余 1 次（不同时间片发送）。

8. 应用线程与内存

绑核：把战斗线程 pin 到同一 CCD/NUMA（7950X 上如 taskset/numactl）。

缓冲池：UDP 包对象池化，减少 GC（Go）或频繁 new（C++）。

Socket 调优：

int v = 1<<20; // ~1MB
setsockopt(fd, SOL_SOCKET, SO_RCVBUF, &v, sizeof(v));
setsockopt(fd, SOL_SOCKET, SO_SNDBUF, &v, sizeof(v));

9. 观测与告警

• 黑盒：Prometheus Blackbox 对北京/上海/广州/成都/西安 出口探针（UDP Echo + ICMP）。
• 网关：导出 tc 队列、iptables -L -v -t mangle 计数、FRR BGP 邻居状态。
• 应用：匹配耗时 P50/P95、战斗 RTT 与 Jitter、回滚率。

告警阈值（示例）：

• 华北/华东 RTT P95 > 60ms & Jitter > 12ms（5 分钟）
• GIA 出口丢包 > 0.5%（1 分钟）
• BGP 会话 flap > 3 次/10 分钟（Route-Map 临时降权）

10. DDoS/异常流量与黑洞社区

• 与上游约定黑洞社区（例如 65001:666，仅示例），在遭受 UDP 放大时对特定 IP/前缀下发黑洞。
• 边界启用 XDP/ebpf 速拦常见放大协议（NTP/Chargen/SSDP 等）的异常特征。
• 清洗回注：GIA 容量有限，必要时走清洗中心回注 GRE/VXLAN，注意 MTU 与 MSS clamp：
• iptables -t mangle -A FORWARD -p tcp --tcp-flags SYN,RST SYN -j TCPMSS --clamp-mss-to-pmtu

11. 联调与回归测试（我们当晚的真实数据）

注：GIA commit 200Mbps 期间，战斗 UDP 峰值 ~120Mbps，国际流量分流至 PCCW，不与 GIA 争抢。

12. 线上踩过的坑（以及我是怎么在机房里把它们填上的）

路由摆动：启用 BFD 后收敛太快引发 ECMP 跳变，某批玩家回程发散。

解法：对 CMI/INTL 入向加 med 惩罚，GIA 提升 local-pref；对 UDP 关键端口加 PBR 固定出口；BFD 调到 50ms×3。

PMTU 黑洞：清洗回注 GRE 后，部分客户端 TCP 握手卡住。

解法：统一 MSS clamp，并把战斗 UDP 包长度控制在 1200 Byte 内。

NAT 端口耗尽（旁路 NAT 节点）：晚高峰端口耗尽导致新会话丢。

解法：扩大 ip_local_port_range，分区段给不同进程；尽量避免战斗 UDP 走 NAT。

GRO 没关：战斗服启用 GRO 后延迟抖动不可预期。

解法：UDP 低延迟场景关闭 GRO/LRO/GSO/TSO。

时间漂移：战斗回滚异常，查到单台 chrony NTP 源不稳。

解法：3 个以上 NTP 源 + makestep，并在上线流程里加入时钟一致性检查。

社区值误配：把“加 3 次 AS-PATH”社区下到了 GIA。

解法：对出向 route-map 加双人审核，vtysh 命令行“干预确认”脚本记录。

13. 回滚与变更窗口

任何 BGP/队列策略变更，先在备机实施并将 VRRP 降为 BACKUP 验证；

预置 rollback.sh：恢复 route-map、tc、iptables 的上一版本；

变更窗口优先 凌晨 2:00-4:00，并在玩家社区提前 24 小时公告。

14. 可复制的最小闭环（给赶时间的你）

• 申请第二/第三上联（GIA + Intl），拿到 BGP/社区/黑洞规则。
• FRR 起 BGP，会话稳定后：local-pref 排序（GIA>CMI>Intl）、maximum-paths 4。
• iptables 给战斗 UDP 标记 DSCP=EF；tc htb + fq_codel 优先 EF。
• ipset 导入大陆前缀，PBR 把战斗 UDP→GIA 表路由。
• 业务侧：匹配按 RTT 分桶；战斗 30Hz，回滚窗 ≤120ms。
• 观测：黑盒 RTT/Jitter、BGP flap、出口丢包，设阈值告警。
• 预案：黑洞社区、MSS clamp、一键回滚。

15. 尾声：凌晨 3:46 的那条消息

变更完成 12 分钟后，广州、上海的 RTT 曲线先稳了下来，华北的锯齿也在 3:30 之后变细。
3:46，玩家群里冒出一句：“不卡了，能打”。那一刻，机房的风还是冷，但我整个人松了下来。
后来我们把那晚的操作流程整理成 Runbook，每次发版都自动做 RTT 分桶对账。你现在看到的这些命令、表格、参数，都是我在机柜前一步步敲出来的。
跨境游戏体验的核心不是“神秘玄学”，而是：把好流量分给对的人，把关键包放到最前，把每一次不确定都可观测、可回滚。香港多线 BGP + GIA，只要方法对、细节到位，它就不只是“带宽”，而是你玩家对战体验的定海神针。

附：核对清单（上线前最后 10 分钟用）

•  BGP 三上联 up，local-pref/med/社区正确
•  PBR 生效：大陆战斗 UDP 走 GIA；海外走 Intl
•  DSCP EF 包在 tc 的高优 class 里计数递增
•  GRO/LRO/GSO/TSO 关闭；ip_local_port_range 放宽
•  chrony 同步良好，机群时间偏差 < 2ms
•  黑盒 RTT/Jitter 基线建立；告警阈值启用
•  回滚脚本可执行，备份配置在 /var/backups/net-YYYYmmddHHMM
•  玩家公告与运维在岗确认

如果你也正被“绕美”“卡顿”“匹配慢”折磨，照着这套把 GIA 拉起来，先把战斗 UDP 送上头等舱，再谈其他优化。等你凌晨的那句“不卡了”，也许只差一次正确的 BGP 改动。