深夜 2:17，香港沙田机房的业务监控大屏上，世界频道的延迟曲线像过山车一样在 180–300ms 抖动。今晚正逢我们游戏的大型攻城战，玩家在世界频道里疯狂刷屏，“卡”“延迟高”“消息晚了两秒”——这些字眼让我比机房空调还冷。
我盯着交换机的端口灯、NAT 网关的连接数、香港到华北/华东/华南的三条回程路径，心里只有一个目标：把世界频道广播的端到端延迟压到 100ms 内，最好能稳定在 50–80ms。

下面这篇，是我那一夜以及后面一周的完整复盘：从硬件选型、网络布线、CN2 多线利用策略，到内核/协议栈调优、消息中间件与网关实现、路由策略、灰度与回归评估。无论你是刚接触运维的新同学，还是带过大 DAU 项目的老兵，希望你都能从这些“踩坑 + 解决”的过程里拿到可复用的方案。

总体思路与目标

目标（SLO）

• 世界频道广播消息，全国主流网络到香港边缘网关的 P50 ≤ 80ms，P95 ≤ 120ms。
• 单条广播消息从“游戏服产出”到“全国客户端收到”端到端 P95 ≤ 150ms。
• 峰值持续 10 分钟的攻城战期间，丢包 ≤ 0.2%，无雪崩退化。

核心思路

• 就近出海 + CN2 多线择优：香港作为跨境边缘，优先走 电信 CN2 GIA/GT、联通 9929/精品、移动 CMI 直连 的多线聚合，按来源 ASN/省份做策略路由，尽量避免走拥塞链路。
• 轻量消息路径：世界频道选择低开销的发布/订阅（NATS Core，无持久化），并行 fanout，序列化 protobuf + 轻压缩 zstd(1)。
• 传输协议选型：QUIC/UDP 443 优先，WebSocket/TCP 443 兜底。在个别网络对 UDP 不友好的地区，自动降级。
• 内核网络栈与 NIC 绑核：BBR/FQ，RPS/RFS，GRO/GSO 合理开关，IRQ 按队列绑核，SO_REUSEPORT 多实例 把单核瓶颈打散。
• 灰度 + 实测闭环：多城市探针（北京/上海/广州/成都/武汉/沈阳），前后对照表与mtr/trace/ping 的“路径 + 时延 + 丢包”三件套做数据验证。

硬件与网络拓扑（我的实配）

机房与链路

• 位置：香港沙田机房，单机柜，双上联（运营商 A: CT CN2 GIA；运营商 B: CMI；另备 CU 9929 通过二层 VLAN）。
• 交换：Arista 边缘交换 10G，上联双链路聚合。
• 带宽：各线 2×10G（实际业务配额 3–5G 峰值），BGP 由机房代管（我们拿到多条独立网关/VLAN）。

服务器（边缘网关 + 消息节点）

为什么不用持久化队列？ 世界频道是高频、弱一致场景，丢一两条不致命但延迟会爆炸。用 NATS Core 内存扇出，延迟显著低于 Kafka/JetStream。

操作系统与内核（CentOS 7，升级内核到 5.4）

机房统一是 CentOS 7。为了 BBR + 新驱动 + 更好的 FQ pacing，我给网关与 NATS 节点装 ELRepo 5.4 内核。

# 1) 安装 ELRepo，升级内核（在 CentOS 7）
yum install -y https://www.elrepo.org/elrepo-release-7.el7.elrepo.noarch.rpm
yum --enablerepo=elrepo-kernel install -y kernel-ml

# 2) 设置默认内核
grub2-set-default 0
grub2-mkconfig -o /boot/grub2/grub.cfg

# 3) 重启
reboot

系统调优（sysctl / IRQ / 网卡/队列）

sysctl（低延迟优先）

/etc/sysctl.d/99-lowlatency.conf：

# 拥塞控制与队列
net.core.default_qdisc = fq
net.ipv4.tcp_congestion_control = bbr

# 套接字缓冲区（避免放大太狠）
net.core.rmem_max = 134217728
net.core.wmem_max = 134217728
net.ipv4.tcp_rmem = 4096 87380 134217728
net.ipv4.tcp_wmem = 4096 65536 134217728

# 连接追踪/短连接友好
net.ipv4.tcp_fastopen = 3
net.ipv4.tcp_tw_reuse = 1
net.ipv4.ip_local_port_range = 10000 65535

# 内核内存压力与路由缓存
net.core.netdev_max_backlog = 250000
net.ipv4.route.flush = 1

# UDP 提前丢弃阈值稍放宽
net.core.rmem_default = 262144
net.core.wmem_default = 262144

# 禁止重定向
net.ipv4.conf.all.accept_redirects = 0
net.ipv4.conf.all.send_redirects = 0

应用：

sysctl --system

网卡与多队列、GRO/GSO、环形缓冲

# 查看队列
ethtool -l eth0

# 合理打开多队列、GRO（聚合）保留，LRO 视业务关闭（会影响延迟/顺序）
ethtool -K eth0 gro on gso on tso on lro off

# 放大 ring
ethtool -G eth0 rx 4096 tx 4096

IRQ 绑核与 RPS/RFS

读取 /proc/interrupts，按 RX 队列 → CPU 绑定，避免跨 NUMA。

示例（脚本片段）：

# 将 eth0-TxRx-0 绑定 CPU 2，eth0-TxRx-1 绑定 CPU 3 ...
echo 4  > /proc/irq/$(grep eth0-TxRx-0 -n /proc/interrupts | awk -F: '{print $1}')/smp_affinity
echo 8  > /proc/irq/$(grep eth0-TxRx-1 -n /proc/interrupts | awk -F: '{print $1}')/smp_affinity
# 4和8为 CPU mask（0b0100, 0b1000）

• RPS：/sys/class/net/eth0/queues/rx-*/rps_cpus 写入相同 mask。
• 打开 irqbalance 时固定关键队列到指定核，避免迁移。

CN2 多线策略路由（分 ISP/省份择路）

多数香港“多线”机房会把上联 BGP 聚合在他们的边界路由器里，我们在业务层能拿到多条“出口网关 + 独立 VLAN/子网”。这就足够做策略路由了。

假设三条出口

• CT（电信 CN2）：gw 10.10.10.1，本地 IP 10.10.10.10/30
• CU（联通 9929）：gw 10.20.20.1，本地 IP 10.20.20.10/30
• CM（移动 CMI）：gw 10.30.30.1，本地 IP 10.30.30.10/30

建立 3 个路由表

/etc/iproute2/rt_tables 追加：

100 ct
101 cu
102 cm

策略规则（按 fwmark）

# 标记到不同表
ip rule add fwmark 0x10 table ct
ip rule add fwmark 0x11 table cu
ip rule add fwmark 0x12 table cm

# 各表默认路由
ip route add default via 10.10.10.1 dev eth0 table ct
ip route add default via 10.20.20.1 dev eth1 table cu
ip route add default via 10.30.30.1 dev eth2 table cm

iptables 标记（按目的 ASN/前缀）

我用 IPDB（GeoIP2 + ASN DB） 每小时同步一次，把国内三大 ISP 的主前缀/ASN 写成 ipset，再在 mangle 表里打标。

# ipset 样例
ipset create CN_CT hash:net
ipset create CN_CU hash:net
ipset create CN_CM hash:net
# 导入前缀（省略生成脚本）

# mangle 打标
iptables -t mangle -A OUTPUT -m set --match-set CN_CT dst -j MARK --set-mark 0x10
iptables -t mangle -A OUTPUT -m set --match-set CN_CU dst -j MARK --set-mark 0x11
iptables -t mangle -A OUTPUT -m set --match-set CN_CM dst -j MARK --set-mark 0x12

坑 1：路径抖动

一开始我依赖上游“最优路由”，结果晚高峰 CN2 回程抖动明显。上面这套自己打标 + 策略路由把路径锁定，晚高峰 P95 从 210ms → 125ms。

坑 2：MTU 不一致导致碎片

CU 9929 那条 VLAN 的 MTU 比 CT 小（1492），QUIC 报文开始碎片，P95 飙升。

解决：全局 clamp MSS 到 1400 以内：

iptables -t mangle -A FORWARD -p tcp --tcp-flags SYN,RST SYN \
  -j TCPMSS --clamp-mss-to-pmtu

消息层设计：NATS Core + QUIC 网关

结构图（文字版）

[Game World Server] -> [Publisher SDK] -> (TCP) -> [NATS Core Cluster @HK]
                                                -> [Gateway QUIC/WS 443]
                                                -> [Clients in CN]

• NATS Core（3 节点）：无持久化，扇出快。
• Gateway：客户端长连，优先 QUIC/UDP 443，失败回退 WS/TCP 443。
• 主题：world.broadcast.v1（单主题），服务器侧按分片 tag（如大区）做限流。

NATS 安装与配置

# 安装（示例）
wget https://github.com/nats-io/nats-server/releases/download/v2.10.14/nats-server-v2.10.14-linux-amd64.tar.gz
tar xf nats-server-*.tar.gz && mv nats-server /usr/local/bin/

# 配置 /etc/nats/nats-server.conf
port: 4222
server_name: nats-hk-1
cluster {
  name: "hk-core"
  port: 6222
  routes: [
    nats://10.0.0.2:6222
    nats://10.0.0.3:6222
  ]
}
# 关闭 JetStream
jetstream: false
write_deadline: "2s"
max_payload: 131072

Systemd：

[Unit]
Description=NATS Server (HK Core)
After=network.target

[Service]
ExecStart=/usr/local/bin/nats-server -c /etc/nats/nats-server.conf
LimitNOFILE=1048576
Restart=always

[Install]
WantedBy=multi-user.target

Gateway（Go，QUIC 优先，WS 兜底）

片段：一个最小可用的世界频道广播网关。生产里我用更完整的限流、认证和指标。

// go 1.21+, quic-go, nats.go, zstd, protobuf
// 省略 go.mod

type ChatMsg struct {
  Shard   uint32 // 分片/大区
  TsMs    int64
  Payload []byte // protobuf-encoded
}

func main() {
  // 1) NATS 连接（内网）
  nc, _ := nats.Connect("nats://10.0.0.1:4222,10.0.0.2:4222,10.0.0.3:4222",
    nats.MaxReconnects(-1), nats.ReconnectWait(200*time.Millisecond),
    nats.PingInterval(10*time.Second), nats.RetryOnFailedConnect(true))

  // 2) QUIC Listener (udp :443)，失败则起 WS
  go serveQUIC(nc, ":443")
  go serveWebSocket(nc, ":443")

  // 3) 从 NATS 订阅世界频道，向所有在线连接扇出
  sub, _ := nc.ChanSubscribe("world.broadcast.v1", make(chan *nats.Msg, 4096))
  // ... 扇出逻辑（每个连接独立 ring buffer，避免 N+1 阻塞）
}

序列化与压缩

• Protobuf 定义简单定长字段，避免 JSON。
• zstd level=1（极低 CPU，平均消息 200–600B），仅在 payload > 256B 时启用。
• 客户端协商是否接受压缩；40%+ 的世界广播能节省 20–35% 体积，P95 有 5–10ms 改善。

连接风控与限速

• 单 IP 并发连接 ≤ 4，消息速率令牌桶（例：每连接 200 msg/s，突发 400）。
• 网关侧SO_REUSEPORT 起 4–8 个进程，充分利用多队列 + 绑核。

发布端（游戏服）SDK 片段（Go）

type WorldBroadcaster struct {
  nc  *nats.Conn
  enc *proto.Encoder // 伪代码
}

func (w *WorldBroadcaster) Broadcast(shard uint32, pb proto.Message) error {
  buf, _ := proto.Marshal(pb)
  if len(buf) > 256 { buf = zstdEnc(buf) }
  msg := &ChatMsg{Shard: shard, TsMs: time.Now().UnixMilli(), Payload: buf}
  b, _ := proto.Marshal(msg)
  return w.nc.Publish("world.broadcast.v1", b)
}

func NewBroadcaster(urls string) *WorldBroadcaster {
  nc, _ := nats.Connect(urls,
    nats.NoEcho(), nats.Name("world-pub"),
    nats.MaxReconnects(-1), nats.ReconnectWait(200*time.Millisecond))
  return &WorldBroadcaster{nc: nc}
}

观测与压测

探针与指标

• blackbox_exporter 在北京/上海/广州/成都四地云主机上，探测 udp://gateway:443（QUIC）和 tcp://gateway:443（WS）。
• NATS Exporter：nats_server_connections、nats_varz_routes、nats_subscriptions。
• 自研客户端 RTT：客户端每 10s 回报 5 次 RTT 样本（p2p 心跳）。

压测工具

• 自研 broadcaster（NATS）+ 10k/20k/50k 在线的回放脚本。
• hping3 验证 UDP 丢包，mtr 看路径，tcptraceroute 查拥塞点。

前后对比数据（真实一晚 + 一周平均）

注：P50/P95 为客户端收到世界广播的端到端统计（含客户端解码），峰值期（20:00–22:00）采样。

部署步骤（从 0 到上线）

Step 1：装机与内核

CentOS 7 最小化安装 → 升级内核到 5.4（上文）。

安装 chrony，务必时间同步（聊天顺序高度依赖时钟）：

yum install -y chrony && systemctl enable --now chronyd

Step 2：网卡与 IRQ

更新 Mellanox/Intel 驱动（来自 ELRepo），按上文 ethtool 与 IRQ 绑核脚本执行。

开 irqbalance 但将关键 IRQ 固定（在 /etc/sysconfig/irqbalance 配置 ban）。

Step 3：多线 VLAN 与策略路由

向机房要到 3 条 VLAN 子网 + 网关；网关分别绑定到不同物理口或子接口 eth0.100 等。

写 rt_tables、ip rule、ip route，并把 ipset + iptables mangle 放到开机脚本（rc.local/systemd）。

Step 4：传输栈（BBR/FQ + MSS clamp）

应用 sysctl，设置 TCPMSS --clamp-mss-to-pmtu。

QUIC 监听 :443/udp，WS 监听 :443/tcp，证书用 ACME 自动续期（Let’s Encrypt 或商用）。

Step 5：NATS Core 集群

3 台起步（奇数），routes 互联，关闭 JetStream。

ulimit -n 1048576，systemd LimitNOFILE 配齐。

Step 6：Gateway 部署

Go 1.21 静态编译，多进程 + SO_REUSEPORT，每进程设定固定 CPU 亲和性（taskset）。

接入认证（JWT/短期令牌），每连接令牌桶限速，异常断开回收。

Step 7：观测与告警

Prometheus：接入 node_exporter、blackbox、NATS exporter、自研业务指标。

告警：

world_broadcast_latency_p95 > 150ms for 5m

gateway_quic_success_rate < 75% for 10m（网络异常自动降级到 WS）

nats_server_slow_consumers > 0

Step 8：灰度与回滚

先将 10% 客户端的“世界频道”路由到新网关（AB 标），观察 48 小时。

关键城市探针 P95 稳定后，逐步扩大到 100%。

保留旧路径 1 周可随时回切。

关键坑点与修复手记

UDP 在个别省份偶发阻断

现象：QUIC 成功率 < 70%，WS 回退多。

方案：按省份/ASN 维护UDP 可靠性白名单，除此之外默认直连 WS，减少来回握手时间。

队列阻塞导致 NATS slow consumer

现象：晚高峰某分片消息激增，订阅端因客户端写缓慢导致堆积。

方案：每连接独立 ring buffer + 丢弃过旧消息（只保留最近 N 秒），并将“大喇叭”活动改为分级广播（仅热门频道全量，其余合并摘要）。

MTU/DF 位引发碎片/黑洞

解决：全局 TCPMSS clamp，QUIC 层将 maxDatagramFrameSize 控制在 1200–1350 字节区间。

时间漂移导致“消息逆序”被误判

解决：全部节点启用 chrony，并在消息体中携带服务器时间戳与客户端接收时间，前端排序以“服务器时钟 + 序号”为准。

BBR 与某些上游队列调度冲突

现象：个别路径 P95 上升。

方案：对该路径的流量用 fwmark 再打到 cubic（策略路由前套 tc/sysctl namespace），问题缓解。

安全与防护

• TLS 1.3，QUIC 加密默认开启，证书严管。
• firewalld/nftables 限定仅 443 入站，管理口走跳板机 VPN。
• L4 DDoS：机房提供清洗 + 我方启用 SYNPROXY（WS/TCP）。
• 应用层：IP/QPS 限速、连接数限制、验证码/黑名单联动游戏风控。

运行一周后的指标（节选）

可直接复用的配置清单（速查）

• 内核：CentOS 7 + kernel 5.4（ELRepo）
• sysctl：fq + bbr、合理 rmem/wmem、ip_local_port_range 拓宽
• 网卡：GRO/GSO on，LRO off，ring 放大，IRQ 绑核
• 多线：ipset + iptables mangle 打标 → ip rule 策略路由
• 传输：QUIC/UDP 443 优先，WS/TCP 443 兜底，MSS clamp
• 消息：NATS Core（无持久化），protobuf + zstd(1)
• 网关：SO_REUSEPORT 多进程，token 限流，观测齐全
• 观测：blackbox（udp/tcp），NATS exporter，自研 RTT 回报

附：systemd/脚本碎片

gateway.service

[Unit]
Description=World Broadcast Gateway
After=network.target nss-lookup.target

[Service]
ExecStart=/usr/local/bin/gateway -c /etc/gateway.yaml
ExecReload=/bin/kill -HUP $MAINPID
Restart=always
RestartSec=2
LimitNOFILE=1048576
AmbientCapabilities=CAP_NET_BIND_SERVICE
NoNewPrivileges=true

[Install]
WantedBy=multi-user.target

开机策略路由脚本（片段）

#!/bin/bash
ip rule add fwmark 0x10 table ct || true
ip rule add fwmark 0x11 table cu || true
ip rule add fwmark 0x12 table cm || true
ip route add default via 10.10.10.1 dev eth0 table ct || true
ip route add default via 10.20.20.1 dev eth1 table cu || true
ip route add default via 10.30.30.1 dev eth2 table cm || true

第二天早上 6 点，我从机房出来，天刚发白。手机里测试群在刷屏：“世界频道‘秒回’了。” 我在便利店买了杯冻奶茶，当作给自己的奖励。
一周后，我们复盘时把那几张“前后对比表”贴在墙上。没有神奇的银弹，只有一条条链路、一项项参数、一次次回放。
这行的浪漫，大概就是在别人看不到的地方，把每一毫秒都抠出来。

如果你打算在香港边缘用 CN2 多线把世界频道的延迟打下来，照着本文的“路线 + 清单”走一遍，用你们自己的探针和玩家样本调一轮，基本就能把 P95 稳在 100ms 出头。