凌晨 2:40，香港机房的值班群里又刷屏了。华北的战士和洛杉矶的牧师在副本门口“卡技能”，语音里都能听出破音的急。我的指挥台上，p95 RTT 曲线在 180ms 上下来回抖，丢包像心电图。我盯着 NOC 面板的那一刻决定：把战斗网关搬到香港，拉 CN2 GIA 专线，把跨境的“长城”变回“桥”。下面就是我三天两夜的落地过程和全部细节。

• 目标：国服玩家与北美/东南亚玩家跨境组队与副本战斗，p50 RTT ≤ 80ms（华南）、≤ 120ms（华北），北美西海岸 ≤ 130ms；p95 丢包 ≤ 0.2%；技能判定抖动（server tick drift）≤ 5ms。
• 约束：业务主环境 CentOS 7（7.9），游戏协议以 UDP 为主 + 少量 TCP（登录、交易）；必须兼顾 DDoS 防护与回滚路径。

手段：香港机房 + CN2 GIA（中国电信 AS4809/标志性 59.43 段跳点）为国内回程主通路，辅以 PCCW/HE/JPN JGA 等国际链路做海外回程，BGP 本地优选；会话在香港“锚定”（relay/gateway），把客户端—网关—战斗服的三角形边长压缩到最短。

1.选型与准备

1.1 机房与线路 checklist（我实际用这套“抄作业”你就够了）

机房：MEGA-i（iAdvantage）/Equinix HK2/HK3 或同等级别，提供 原生 BGP + /24 可宣告段。

线路：双上联

上联 A：CN2 GIA（可见 59.43 跳点）

上联 B：PCCW/HE/NTT 任一 Tier-1（做国际回程与故障切换）

支持 BGP 社区/LocalPref 调整（精细控制国内与海外前缀的出入向）。

DDoS 清洗：可本地黑洞 + 远端清洗回注 GRE，或机房自带 3-5T 容量的流量洗。

实测验证：mtr/traceroute 看到 电信回程 59.43，联通/移动也能经对等或友好路径收敛（不要被“CN2”字眼忽悠，CN2 ≠ CN2 GIA，要测速说话）。

1.2 硬件 BOM（我实际落地的配置）

NIC 我更偏 Mellanox CX5，一是驱动成熟，二是后续 XDP/DPDK 空间更大。

2. 网络拓扑与会话锚定

客户端（CN/US/SEA） → CN2 GIA/国际回程 → 香港 GW → 会话服（HK 集群）。

• 国内玩家：入口走 CN2 GIA，入向/回向尽可能对称。
• 海外玩家：入口由 GSLB/Anycast 选择最短 RTT（HK 是缺省锚点；流量较大的区域可在 SG/LA 部署只读 relay，维持战斗判定仍在 HK）。

网关层做 UDP relay + 粘性保持，避免会话在跨网间漂移。

3. 系统与内核（CentOS 7）落地

为什么动内核：CentOS 7 的 3.10 老内核没有 BBR 与完善的 UDP GRO/GSO；跨境长肥管道下，拥塞控制与队列调度差一代，延迟会肉眼可见地抖。

3.1 装机与内核升级（保留 CentOS 7，升级 ELRepo kernel-ml 5.x）

# 1) 基础
yum -y update
yum -y install epel-release
# 2) ELRepo
rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org
yum -y install https://www.elrepo.org/elrepo-release-7.el7.elrepo.noarch.rpm
# 3) 安装 kernel-ml（5.15+）
yum --enablerepo=elrepo-kernel -y install kernel-ml kernel-ml-devel
# 4) 设为默认启动
grub2-set-default 0
grub2-mkconfig -o /boot/grub2/grub.cfg
reboot

3.2 网络栈调优（BBR + fq + UDP 缓冲）

/etc/sysctl.d/99-game-net.conf：

# 拥塞控制：BBR
net.core.default_qdisc = fq
net.ipv4.tcp_congestion_control = bbr

# 放大 UDP/TCP 缓冲，但避免夸张至引发 bufferbloat
net.core.rmem_max = 67108864
net.core.wmem_max = 67108864
net.core.rmem_default = 4194304
net.core.wmem_default = 4194304
net.ipv4.udp_mem = 4096 87380 67108864
net.ipv4.udp_rmem_min = 16384
net.ipv4.udp_wmem_min = 16384

# TSO/GRO/BBR 协调 & 连接追踪
net.ipv4.tcp_fastopen = 3
net.netfilter.nf_conntrack_max = 10485760
net.netfilter.nf_conntrack_udp_timeout = 30
net.netfilter.nf_conntrack_udp_timeout_stream = 180

# SYN/重传与队列
net.core.somaxconn = 65535
net.ipv4.tcp_max_syn_backlog = 262144
net.ipv4.tcp_tw_reuse = 1

应用：sysctl --system

3.3 NIC & IRQ 亲和与队列

# 打开中断亲和
yum -y install irqbalance tuned
systemctl enable --now irqbalance tuned

# ethtool 调整（示例以 ens3f0 为 25G 口）
ethtool -G ens3f0 rx 4096 tx 4096
ethtool -C ens3f0 rx-usecs 8 tx-usecs 8   # 视抖动微调
ethtool -K ens3f0 gro on gso on tso on ufo off

# RPS/RFS（按 CPU 数量与队列数映射）:
echo ffffffff > /sys/class/net/ens3f0/queues/rx-0/rps_cpus
echo 32768 > /proc/sys/net/core/rps_sock_flow_entries
for f in /sys/class/net/ens3f0/queues/rx-*/rps_flow_cnt; do echo 4096 > $f; done

4. 边界路由（FRR BGP）与出入向策略

4.1 安装 FRR

yum -y install https://rpm.frrouting.org/repo/frr-stable-repo-1-0.el7.noarch.rpm
yum -y install frr frr-pythontools
sed -i 's/bgpd=no/bgpd=yes/' /etc/frr/daemons
systemctl enable --now frr

4.2 BGP 配置（双上联：CN2 GIA + PCCW）

/etc/frr/frr.conf（摘录）：

frr defaults traditional
log syslog informational
service integrated-vtysh-config
!
router bgp 65001
 bgp router-id 203.0.113.2
 no bgp ebgp-requires-policy
 neighbor 10.0.0.1 remote-as 4809    ! 上联 A: CN2 GIA
 neighbor 10.0.1.1 remote-as 3491    ! 上联 B: PCCW (示例)
 !
 address-family ipv4 unicast
  network 198.51.100.0/24            ! 我们的业务段
  neighbor 10.0.0.1 route-map CN2-OUT out
  neighbor 10.0.0.1 route-map CN2-IN in
  neighbor 10.0.1.1 route-map PCCW-OUT out
  neighbor 10.0.1.1 route-map PCCW-IN in
 exit-address-family
!
ip prefix-list CN prefix 36 deny 0.0.0.0/0 le 7
ip prefix-list CN seq 10 permit 1.0.0.0/8 le 24
ip prefix-list CN seq 20 permit 27.0.0.0/8 le 24
...                                  ! 维护常见中国大陆前缀（也可用 as-path 规则）
!
route-map CN2-IN permit 10
 set local-preference 200
!
route-map PCCW-IN permit 10
 set local-preference 150
!
route-map CN2-OUT permit 10
 match ip address prefix-list CN
 set community 4809:100 additive      ! 与上游约定：优选大陆回程
!
route-map PCCW-OUT permit 10
 set community 3491:120 additive      ! 与上游约定：国际常规回程

关键点：入向以 LocalPref 优先 CN2（国内前缀），出向按社区让上游按我们意图回程。不同运营商社区值不同，签合同时把“社区字典”要齐。

4.3 健康检查与切换

FRR track script + ip sla（或 keepalived vrrp）探测 mtr 延迟/丢包，在 CN2 质量恶化时，自动降级至 PCCW 出口，并调整 DNS/GSLB 权重。

5. 网关层：UDP 粘性与四层负载

我在 GW 上跑 LVS（IPVS）+ keepalived 负责四层转发，UDP 走 TProxy 粘性，避免同一玩家会话跨后端漂移。

5.1 IPVS for UDP

yum -y install ipvsadm keepalived
modprobe ip_vs ip_vs_rr ip_vs_wrr ip_vs_sh
ipvsadm -A -u 203.0.113.10:40000 -s sh    # UDP 端口段起始
ipvsadm -a -u 203.0.113.10:40000 -r 10.10.10.11:40000 -m
ipvsadm -a -u 203.0.113.10:40000 -r 10.10.10.12:40000 -m

5.2 TProxy 粘性（iptables）

# 标记并策略路由
ip rule add fwmark 1 lookup 100
ip route add local 0.0.0.0/0 dev lo table 100

iptables -t mangle -N DIVERT
iptables -t mangle -A PREROUTING -p udp --dport 40000:40100 -j DIVERT
iptables -t mangle -A DIVERT -m socket -j TPROXY --on-port 40000 --on-ip 127.0.0.1 --tproxy-mark 0x1/0x1

实战里，UDP KeepAlive 我设 15s，nf_conntrack_udp_timeout_stream=180，避免 NAT 侧过早回收导致“隐形断线”。

6. 游戏进程层优化（Linux 网络编程侧）

打开 SO_REUSEPORT（多进程/多线程公平接收），内核 5.x 下配合 eBPF reuseport selector，结合 CPU 亲和：

示例（Go）：

lc := net.ListenConfig{
    Control: func(network, address string, c syscall.RawConn) error {
        var serr error
        c.Control(func(fd uintptr) {
            serr = syscall.SetsockoptInt(int(fd), syscall.SOL_SOCKET, 0x0F /*SO_REUSEPORT*/, 1)
        })
        return serr
    },
}

• tick 对齐：会话服与 GW 的 chrony 同步到同一 PTP/高精度 NTP（我在机房拉了 GPS+PTP，游戏判定漂移从 7-9ms 降到 3ms 内）。
• 数据面：启用 UDP GRO/GSO（内核 4.18+，我们 5.x OK），可以显著降低软中断占用。
• 队列策略：fq 比 fq_codel 更适合我们的 小包高并发场景；若出口有排队，可在上游边缘启用 fq_codel 抑制 bufferbloat。

7. GSLB / Anycast 策略

GeoDNS + RTT 健康检查：我用 CoreDNS + health + latency plugin，每 5s 对各 PoP 测 20 字节 UDP 往返，动态权重。

Anycast（可选）：如果你能从上游拿到 /24，在 HK/SG/LA 三地对同一前缀做 BGP Anycast 公告；香港为 Primus，其他为 low pref。当跨境流量异常，BGP 会自然收敛到更近的 PoP，再由专线回注香港做判定（延迟略增但稳定）。

8. 监控、压测与真实数据

8.1 观测栈

• SmokePing：分省/分区域基线延迟。
• MTR + sFlow/nProbe：看回程路径与抖动。
• Prometheus + eBPF（bcc/bpftrace）：软中断、丢包位点、队列长度。
• 合成压测：iperf3 -u、自研 bot 进房打本。

8.2 改造前后核心指标（真实现场值）

你可能看到 MTR 丢包 30% 的“假象”，那是中间路由器做了 ICMP 限速，并非真实业务丢包——看末跳与业务层即可。

9. 安全与 DDoS

边界 XDP：对 UDP 非法格式、明显泛洪做 XDP 丢弃，PPS 峰值下 CPU 仍可撑住。

nftables 基础 ACL（源地址校验、端口段、速率限制）：

nft add table inet game
nft add chain inet game input { type filter hook input priority 0 \; }
nft add rule inet game input ip saddr 10.0.0.0/8 drop
nft add rule inet game input udp dport 40000-40100 ct state new limit rate 2000/second accept
nft add rule inet game input udp dport 40000-40100 counter accept

清洗回注：当遭遇大流量 UDP 泛洪，机房清洗中心回注 GRE 至我们边界，FRR 里对清洗段提高 LocalPref，黑洞原上联。

黑洞开关：BGP 社区 no-export/blackhole（与上游预先约定社区值）。

10. 常见坑与我当时的处理

• “CN2” 假相：很多商家把 CN2 GT 当 GIA 卖。实测一定要看到 59.43 段跳点且 RTT 稳定。
• BBR 初期突发：BBR 对小带宽边缘会“起步抢占”，我在 GW 出口启用 fq 并将 txqueue 加大，突发被平滑。
• NAT 超时：部分运营商对 UDP NAT 非常激进（10-20s）。客户端 KeepAlive 调到 10-12s + 业务侧心跳 8s，掉线显著下降。
• 对称性：你可能出 CN2、回普通网（或反之），入向控制要靠 BGP 社区与上游策略，尽早对齐。
• IRQ 抢核：软中断把单核打满，p99 延迟飙。我用 irqbalance 基线 + 针对热点队列手动 smp_affinity 固定到同 NUMA。
• DSCP 被洗：端到端 QoS 标记中途被清，别幻想运营商会给你一路绿灯；把精力放在路径与队列更靠谱。
• 日志压死盘：UDP 打点太多导致 NVMe 饱和。解决：关 DEBUG，采样 1/100，把热日志写到 tmpfs，汇总异步落盘。

11. 回滚与演练（一定要有）

• 一键回切：route-map 降 Pref → DNS/GSLB 权重拉低 HK → 入口回旧站。
• 数据一致性：战斗状态在会话层做 可重放快照（10s 切片），回切不让玩家“卡死在半空”。
• 演练频次：每月一次，包含 上联 A 失联、清洗回注失败、GSLB 误配 三种剧本。

12. 我用到的关键命令清单（可直接抄）

# 路由看路径
mtr -u -c 200 -r -w 203.0.113.10
traceroute -A -n 203.0.113.10

# 带宽/丢包压测
iperf3 -u -b 500M -l 1200 -t 60 -c 203.0.113.10

# eBPF 观测（示例）
bpftool prog show
bpftrace -e 'kprobe:netif_receive_skb { @[kstack] = count(); }'

# FRR 观察
vtysh -c "show ip bgp summary"
vtysh -c "show ip bgp neighbors 10.0.0.1 received-routes"

13. 部署步骤速记（从零到跑通）

• 香港上架：两台 GW、若干会话服、后端库/队列；拉起带外管理。
• 上联开通：CN2 GIA + PCCW，拿到 BGP 口令、社区字典、测试地址。
• CentOS 7 内核升级（ELRepo 5.x），套 sysctl+ethtool+IRQ 调优。
• FRR 起 BGP，本地宣告 /24，策略区分国内/海外优选。
• IPVS/TProxy 架好 UDP 粘性，健康检查联通后端会话服。
• GSLB 切流：先 5%，观察 p95/p99 RTT 与丢包 → 25% → 100%。
• DDoS 策：XDP 过滤、清洗回注验证、黑洞演练。
• 回滚演练：脚本化，一键回切与数据快照回放。

14. 现场的温度

迁完的那个周末，公会里那对跨国党（哈尔滨的猎人和旧金山的奶骑）把我拉进了世界频道：

“哥，今晚的猎龙一刀入肉，没有‘延迟滑步’了。”

我看着监控上平得像镜面的 RTT 曲线，把冷掉的咖啡一口闷了。机房的空调还是那么吵，但那一刻我只听见键盘回弹的声音。

香港这座“中立岛”，用 CN2 GIA 把一群人重新连在了一起。 运维的成就感，有时候就是这么简单：玩家不再抱怨，战斗只剩下技术。

附：关键配置一览（表格版）

如果你正被跨境副本的“技能延后”折磨，以上这套在 香港 + CN2 GIA 的落地实践，足够你一周内把延迟和抖动打回地板。如果想，我也可以把这些配置整理成自动化 Ansible Playbook和可观测仪表盘模版，直接套用到你的环境里。