一、从一次游戏“炸房”开始

周五夜里，北美战队在我们的跨境训练平台上打训练赛（scrim）。对面韩国队 Ping 稳在 60ms，北美队却抖动到 180ms+，语音被压成了机器人。群里一句“房间炸了”，我提着工具包冲到将军澳的机房。

那一夜，我们完成了三件事：

• 把香港节点主干切到 CN2 GIA，
• 在边界路由器上做了 BGP 与策略路由，
• 在承载节点上做了 内核/队列/QoS 的一套组合拳。

第二天清晨，北美队反馈：平均 RTT 从 ~178ms 降到 128ms，抖动从 25–40ms 降到 <8ms，丢包从 0.8% 降到 <0.1%。这篇就是完整复盘与可复用的“菜谱”。

二、目标与边界

目标

• 让海外职业战队连接到我们香港训练平台时 稳定低时延、低抖动、低丢包。
• 优先优化 UDP 实时流（语音/状态同步） 与 小包 TCP（匹配/房管）。
• 在 成本可控 前提下，保持 灰度回滚 能力（失败可快速退回原线路）。

约束

• 生产系统基于 CentOS 7（7.9 x86_64），允许安装 ELRepo 的新内核。
• 运营商提供 CN2 GIA（国际精品网） 接入与 BGP 会话。
• 机房双路供电、双上联，ToR 交换机万兆起步。

三、参考硬件与网络拓扑

机柜与链路

• 位置：香港将军澳 TKO / MEGA-i（示意）

上联：

• 中国电信 CN2 GIA：10G * 2（LAG），/30 互联网段
• 国际 Transit 备线（非 GIA）：10G * 1

交换：Arista/华三/华为同档 ToR（万兆）、上行 2×40G（或 100G 分光）

节点（示例参数）

选 X710 的原因是驱动成熟（ixgbe/i40e），硬件时间戳稳定，结合 RSS/RPS/XPS 可压低尾延。

逻辑拓扑（简化）

[CN2 GIA 双口]——LAG——[ToR]
                       |——[边界路由器 A（FRR）]
                       |——[边界路由器 B（FRR）]
                       |——[游戏/转发节点集群]
                       |——[监控/观测]
[Transit 备线]———┘

• 边界 A/B 做 VRRP 漂移网关。
• 对外 eBGP 接 CN2 GIA；对内 iBGP（或 OSPF）分发默认与特定前缀。
• 训练业务段用 PBR 指向 CN2 GIA ；非关键流量可走 Transit。

四、地址与 AS 规划（示例）

• 自治系统（私有 AS）：AS 65050（对外可用运营商提供的私网 AS 或申请公共 ASN）
• 公网段：203.0.113.0/24（示例）
• 互联 /30：203.0.113.248/30（与 CN2 GIA）

业务 VLAN：

• VLAN 20（Game-UDP）：10.20.0.0/20
• VLAN 30（Match-TCP）：10.30.0.0/20
• VLAN 50（Mgmt）：10.50.0.0/24

五、CN2 GIA 开通与 BGP 实装

1）准备与对接要点

申请 BGP peering（IPv4/IPv6），确认：

• 对端 AS（电信一般为 AS4809 方向）
• 互联 IP、MD5 密码
• 可用 BGP Community（用于偏好、黑洞、地区优选——不同运营商有差异）
• SLA 指标与 NOC 联系窗口

要求提供 Looking Glass 或 NOC 协助排障通道。

2）FRR（CentOS 7）安装

# 基础依赖
yum install -y epel-release
yum install -y frr frr-pythontools tcpdump mtr rsync
systemctl enable frr --now

3）/etc/frr/daemons（启用 bgpd、zebra）

zebra=yes
bgpd=yes

4）/etc/frr/bgpd.conf（示例）

router bgp 65050
 bgp router-id 203.0.113.2
 no bgp ebgp-requires-policy
 neighbor 203.0.113.249 remote-as 4809
 neighbor 203.0.113.249 password <MD5-SECRET>
 neighbor 203.0.113.249 description CN2-GIA-Primary
 timers bgp 10 30
 ! 入向：只收默认和指定前缀
 route-map RM-IN permit 10
   match ip address prefix-list PL-IN
 route-map RM-OUT permit 10
   set community 65050:100 additive
   set local-preference 200
 neighbor 203.0.113.249 route-map RM-IN in
 neighbor 203.0.113.249 route-map RM-OUT out
 ! 公告业务前缀（如需）
 network 203.0.113.0/24
!
ip prefix-list PL-IN seq 5 permit 0.0.0.0/0
ip prefix-list PL-IN seq 10 permit 203.0.113.0/24 le 32

运营商有时要求 strict policy，no bgp ebgp-requires-policy 可按需调整；生产建议显式写入/出策略。

5）/etc/frr/zebra.conf（网关与静态）

interface eth0
 ip address 203.0.113.250/30  # 本端互联 IP
!
ip route 0.0.0.0/0 203.0.113.249 10  # 备选静态（BGP flap 时兜底）

6）验证

vtysh -c "show ip bgp summary"
vtysh -c "show ip bgp"

若 State/PfxRcd 从 Idle 进入 Established 并收到前缀，即 BGP 正常。

六、策略路由：只让“关键流量”走 GIA

我们不想所有流量都上 GIA（贵），只让训练相关的 UDP/小 TCP 与指定目的地区（NA/EU/SEA）经 GIA。

1）标记业务（iptables mangle）

# 业务段：VLAN 20/30 出口做标记
iptables -t mangle -A PREROUTING -s 10.20.0.0/20 -j MARK --set-mark 20
iptables -t mangle -A PREROUTING -s 10.30.0.0/20 -j MARK --set-mark 30
# 仅 UDP/特定端口更细颗粒（示例 7000-9000 为游戏端口）
iptables -t mangle -A PREROUTING -p udp --dport 7000:9000 -j MARK --set-mark 66

2）基于 fwmark 的路由表（ip rule + ip route）

# 建立独立路由表 100：经 CN2 GIA 网关
echo "100 gia" >> /etc/iproute2/rt_tables
ip rule add fwmark 66 table gia
ip route add default via 203.0.113.249 dev eth0 table gia

3）目的地策略（北美/欧洲前缀）

可在 mangle 中对目标 AS/geo 进行匹配（需先做离线列表或实时更新），或在 FRR 中基于 community 输出到特定 next-hop。

七、内核与队列：把尾延压到地板

CentOS 7 原生 3.10 内核对低延迟队列支持较弱，我们在线上使用 ELRepo kernel-ml（5.x） 以获得 BBR/CAKE 等。

1）升级内核（ELRepo）

rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org
yum install -y https://www.elrepo.org/elrepo-release-7.el7.elrepo.noarch.rpm
yum --enablerepo=elrepo-kernel install -y kernel-ml
grub2-set-default 0 && reboot

2）sysctl（网络栈） /etc/sysctl.d/99-lowlatency.conf

net.core.default_qdisc = fq
net.ipv4.tcp_congestion_control = bbr
net.core.netdev_max_backlog = 100000
net.core.rmem_max = 67108864
net.core.wmem_max = 67108864
net.ipv4.udp_rmem_min = 16384
net.ipv4.udp_wmem_min = 16384
net.ipv4.tcp_fastopen = 3
net.ipv4.ip_local_port_range = 10000 60999
net.ipv4.tcp_tw_reuse = 1
net.netfilter.nf_conntrack_max = 1048576
net.netfilter.nf_conntrack_udp_timeout = 30
net.netfilter.nf_conntrack_udp_timeout_stream = 600

BBR 对小包 TCP 明显收敛更快；UDP 依赖队列/中断优化更关键。

3）队列（tc）与小包优化

边界/转发口启用 CAKE（如果内核支持）或 fq_codel：

# CAKE（首选）：
tc qdisc add dev eth0 root cake bandwidth 10gbit diffserv4 nat nowash ack-filter
# 若无 CAKE，用 fq_codel：
tc qdisc add dev eth0 root fq_codel limit 20000 target 5ms interval 50ms ecn

MSS Clamp 防碎片（特别是经隧道/混合链路时）：

iptables -t mangle -A FORWARD -p tcp --tcp-flags SYN,RST SYN -j TCPMSS --clamp-mss-to-pmtu

4）网卡与中断亲和

# 环形缓冲
ethtool -G eth0 rx 4096 tx 4096
# 关闭 LRO/GRO（路由/低延迟场景）
ethtool -K eth0 gro off lro off
# 多队列中断绑核（示例，把队列 0/1 绑到 CPU 0/1）
for i in /proc/irq/*/eth0-TxRx-*; do echo 0 > $i/smp_affinity_list; done
# 或使用 tuned / irqbalance 做策略编排

八、服务面：UDP Relay 与端口编排

有些游戏/练习平台对 NAT/丢包 极其敏感。我们给北美队开启了 UDP Relay（基于自研 go-udp-proxy）：

• 港区仅做 五元组保持 + 粘性转发，不强行重组；
• 反向通道做 丢包补偿（小比例冗余包） 与 Jitter Buffer 8–20ms；
• 端口规划与 ACL 严格白名单：7000–9000/udp、12000–12100/udp。

部署片段（systemd）：

[Service]
ExecStart=/usr/local/bin/go-udp-proxy -l :7000-9000 \
  -backend 10.20.10.10:7000-9000 -jitter 12ms -fec 2/10
Restart=always

九、监控与观测：先看清，再下刀

1）连通与时延

• smokeping：对 NA/EU/SEA 多点（洛杉矶、芝加哥、法兰克福、首尔、新加坡）做 1s 间隔探测。
• Prometheus + blackbox_exporter：记录 ICMP & TCP 3-way 延迟，配 Grafana 告警。
• mtr/iperf3：压测链路质量，iperf3 UDP 用 -b 20M -u -l 128 -t 60。

2）内核指标

/proc/net/softnet_stat 丢包计数、/proc/net/snmp UDPInErrors

网卡队列 ethtool -S eth0，检查 rx_missed_errors、rx_no_buffer_count

示例告警阈值：

• RTT 抖动 > 12ms 持续 5 分钟告警
• UDP 丢包 > 0.3% 持续 1 分钟告警

十、自动化：Ansible Playbook 片段

- hosts: edge
  become: yes
  tasks:
    - name: Install FRR
      yum:
        name: [frr, frr-pythontools]
        state: present
    - name: Deploy bgpd.conf
      template:
        src: templates/bgpd.conf.j2
        dest: /etc/frr/bgpd.conf
        owner: frr
        group: frr
        mode: 0644
      notify: restart frr
    - name: Sysctl tuning
      copy:
        dest: /etc/sysctl.d/99-lowlatency.conf
        content: |
          net.core.default_qdisc=fq
          net.ipv4.tcp_congestion_control=bbr
          net.core.netdev_max_backlog=100000
          net.core.rmem_max=67108864
          net.core.wmem_max=67108864
          net.netfilter.nf_conntrack_max=1048576
    - name: Apply sysctl
      command: sysctl --system
  handlers:
    - name: restart frr
      service:
        name: frr
        state: restarted

十一、数据对比（真实量级示例）

1）端到端时延（CS:GO 类 UDP 流）

GIA 对 NA/EU 的收益最明显；对近场（KR/SG）是抖动更稳。

2）服务器层面资源

十二、线上“坑”与当场处理

• BGP 起不来（Active/Idle 循环）：最后发现是 MD5 密码不一致（运营商工单改过一次）。neighbor ... password 双端核对后即恢复。
• 端到端 MTU 窄化引发碎片：Transit 备线上有一段 1492 MTU，TCP 大包超时。加 MSS Clamp + 明确 PMTU 探测后解决。
• 软中断拥塞导致尾延飙升：高峰期 softnet_stat 丢包爬升，给 X710 提升队列 ring buffer，绑核 + 关闭 GRO，尾延回落。
• UDP NAT 表爆：突发赛事周末连接数激增，nf_conntrack 满。扩大到 1048576，并拆分 SNAT 池（多出口 IP）。
• GIA 某时段指向 NA 的微丢包：NOC 侧确认上游维护，临时 PBR 切 NA-West 到备 Transit，凌晨再切回。
• 时钟漂移：语音流时间戳异常，排查是某台主机 NTP 异常，统一改 chrony 同步香港授时源。

十三、安全与合规

• ACL 白名单：只放行训练所需端口与已知对端段；
• DDoS 防护：对外暴露的 UDP 入口做速率限制与 SYN/UDP flood 基线；
• BGP 社区黑洞：预置 /32 黑洞社区，突发时 30 秒内生效；
• 审计：BGP/防火墙变更有审计工单与回滚预案（salted backup）。

收尾：那一声“可以了”

切线那晚，机房空调出风像冬天。最后一条 PBR 规则下发完，我看着 Grafana 上北美节点的曲线从 170ms 一格一格落到 130ms 左右，抖动不再像心电图。Discord 里北美队的队长只说了三个字：“可以了”。

对我来说，这不是某个炫技的“大招”，而是一套 能复制、可回滚、可观测 的方法论。你可以按上面的参数去做第一版，再按你的线路与队伍分布去细化。能把延迟从“能打”拉到“敢打”，这就值了。

附录 A：bgpd.conf 模板（Jinja2）

router bgp {{ local_as }}
 bgp router-id {{ router_id }}
 no bgp ebgp-requires-policy
 neighbor {{ peer_ip }} remote-as {{ peer_as }}
 neighbor {{ peer_ip }} password {{ md5_pass }}
 neighbor {{ peer_ip }} description {{ peer_name }}
 timers bgp 10 30
 neighbor {{ peer_ip }} route-map RM-IN in
 neighbor {{ peer_ip }} route-map RM-OUT out
{% for pfx in announce_prefixes %}
 network {{ pfx }}
{% endfor %}
!
route-map RM-IN permit 10
 match ip address prefix-list PL-IN
!
route-map RM-OUT permit 10
 set community {{ default_community }} additive
 set local-preference {{ local_pref }}
!
ip prefix-list PL-IN seq 5 permit 0.0.0.0/0

附录 B：smokeping 目标片段

+ NA
menu = NorthAmerica
host = NA Targets
++ LA
menu = Los Angeles
host = 23.239.x.x
++ Chicago
menu = Chicago
host = 96.45.x.x

附录 C：一次定位流程清单

• 复现：smokeping/mtr 对等地同测
• 分层：主机（软中断/队列）→ 交换 → 上联 → 运营商
• 快速旁路：PBR 切备线验证
• 打点：抓包 + iperf3 UDP 小包
• 回归：回放业务流，观察 24h

完。 如果你也正打算把平台迁到香港并接入 CN2 GIA，按这份清单推进，踩过的坑我基本都写在上面了。真遇到“奇葩”链路问题，先别慌，先让数据说话，再动手。