夜里 1:40，我在香港荔枝角机房的走廊里啃着冷掉的叉烧饭，工单系统像失控的老虎机一样不停弹窗：“跨境匹配掉线、重连失败、玩家卡在 98%”。

MTR 一扫，广州、深圳来的路径在某运营商跨境口子上 3%～7% 间歇丢包、抖动飙到 50ms。

这种“掉线”不是服务器炸了，是跨境路径、会话保持和 UDP 转发一起给你上了一课。

那一夜，我把方案从白板搬进了生产：线路选型 + Debian 调优 + L4/L7 负载均衡 + UDP 会话粘滞 + DDoS 兜底。

第二天早晨，投诉曲线明显下来了——跨境匹配掉线从 7.3% 降到 0.9%，稳定维持一周。

下面是完整复盘 + 可复用的实操教程。我会把硬件参数、Debian 配置、负载均衡策略、表格数据、踩坑与现场修复过程全部摊开。新手可以照步骤上，老手能直接抠细节微调。

一、目标与架构总览

目标：香港部署的游戏后端（匹配/会话/网关），面向大陆玩家跨境访问，解决掉线、重连失败、匹配中断等问题，同时兼顾抗 DDoS、平滑扩缩容、灰度。

协议特性（我们这款游戏）：

• 匹配/控制面：HTTP/HTTPS（REST+WebSocket），少量 TCP。
• 对战/数据面：UDP 为主（秒级心跳、小包频繁）。
• 需求要点：跨境链路稳定+UDP 会话保持+端口/会话粘滞+低丢包+快速故障转移。

架构快照

[玩家] ⇄ 递归DNS(开启EDNS ECS) ⇄ GeoDNS/GSLB(权重/健康) 
        ⇩
     [香港 机房A]
        ├─ VRRP VIP (Keepalived)
        ├─ L4 LB: IPVS(UDP/TCP, 源地址hash, NAT)
        │    ├─ 游戏网关(UDP 多端口)
        │    └─ 匹配/会话(HTTP/TCP, 走 HAProxy)
        └─ 基线防护: nftables + 清洗接入(可选)
        ⇩
     [香港 机房B/同城灾备]  ← GSLB 自动切流

二、硬件与网络选型（香港）

机柜与上联（实战组合）

机房：荔枝角/葵涌两地双活；同城延迟 ~0.3ms。

上联：

• CT/CN2 GIA：面向电信用户低抖动
• CMI/直连：面向移动用户
• PCCW/NTT：面向海外与兜底

清洗：本地清洗 300Gbps（黑洞触发阈值可调）

服务器建议（实测稳定款）

经验：LB 节点宁可多网口/高队列，CPU 不必太高频；游戏网关要高主频和快 NVMe（日志/回放）。

三、Debian 基础安装与系统基线

版本：Debian 12 (bookworm) 标准内核 6.1，启用 systemd。

# 基础包
apt update && apt -y upgrade
apt -y install ethtool net-tools mtr-tiny iperf3 htop jq chrony \
               ipvsadm keepalived haproxy nginx-full nftables \
               ifupdown2 tcpdump conntrack ca-certificates

# 时间同步
sed -i 's/^pool.*/pool time.cloudflare.com iburst/' /etc/chrony/chrony.conf
systemctl enable --now chrony

网卡与多队列

# 查看当前中断队列
grep -i eth /proc/interrupts
# 开启/确认 RSS、多队列
ethtool -l eno1
ethtool -K eno1 gro on gso on tso on rxhash on
# 大流量 UDP 可适当关闭 LRO（避免延迟抖动）
ethtool -K eno1 lro off

CPU 频率与节能

apt -y install linux-cpupower
cpupower frequency-set -g performance

四、内核网络调优（TCP/UDP 双栈）

目标：低抖动、足缓冲、快速重传、合理队列、会话保持友好

/etc/sysctl.d/99-game-network.conf

# 队列与 backlog
net.core.somaxconn = 65535
net.core.netdev_max_backlog = 250000
net.core.default_qdisc = fq_codel

# UDP 缓冲
net.core.rmem_max = 268435456
net.core.wmem_max = 268435456
net.ipv4.udp_rmem_min = 4096
net.ipv4.udp_wmem_min = 4096
net.ipv4.udp_mem = 262144 524288 1048576

# TCP：开启 BBR + 时间等待优化（保持谨慎）
net.ipv4.tcp_congestion_control = bbr
net.ipv4.tcp_fastopen = 3
net.ipv4.tcp_mtu_probing = 1
net.ipv4.tcp_fin_timeout = 15
net.ipv4.tcp_keepalive_time = 600
net.ipv4.tcp_keepalive_intvl = 30
net.ipv4.tcp_keepalive_probes = 5

# conntrack（L4 设备上更关键）
net.netfilter.nf_conntrack_max = 2097152
net.netfilter.nf_conntrack_buckets = 524288
net.netfilter.nf_conntrack_udp_timeout = 60
net.netfilter.nf_conntrack_udp_timeout_stream = 180

# 端口范围与重用
net.ipv4.ip_local_port_range = 10000 65535
net.ipv4.tcp_tw_reuse = 1

# 关闭 ICMP 重定向
net.ipv4.conf.all.accept_redirects = 0
net.ipv4.conf.all.send_redirects = 0

sysctl --system

现场体感：把 nf_conntrack_udp_timeout_stream 提到 180 秒，对跨境 NAT 背后玩家（移动网络）重连成功率提升非常明显。

五、基础防护（nftables 基线）

/etc/nftables.conf（关键片段）

flush ruleset
table inet filter {
  set allow_tcp_ports { type inet_service; elements = { 22, 80, 443 } }
  set allow_udp_ports { type inet_service; elements = { 7000-7099 } } # 游戏端口段

  chain input {
    type filter hook input priority 0;
    ct state established,related accept
    iif lo accept
    ip protocol icmp limit rate 10/second accept
    udp dport { 123 } accept # chrony

    tcp dport @allow_tcp_ports accept
    udp dport @allow_udp_ports accept

    # UDP 基线限速（按源）
    udp dport @allow_udp_ports limit rate over 1000/second drop
    counter drop
  }
}

systemctl enable --now nftables

坑：别把 rate limit 配太死，跨晚高峰会误杀“开黑房间”的流量峰值。按源 IP + 端口段细化更稳。

六、负载均衡（核心）：Keepalived + IPVS（L4）与 HAProxy（L7）

我们把TCP/HTTP 控制面走 HAProxy，UDP 游戏面走 IPVS。
VIP 用 Keepalived VRRP 提供漂移与故障转移。

1）Keepalived：VRRP + IPVS 服务编排

apt install keepalived ipvsadm 后，配置：

/etc/keepalived/keepalived.conf（主节点）

vrrp_instance VI_GAME {
  state MASTER
  interface eno1
  virtual_router_id 51
  priority 150
  advert_int 1
  authentication {
    auth_type PASS
    auth_pass 42Secret!
  }
  virtual_ipaddress {
    103.XX.XX.10/24 dev eno1
  }
}

# UDP 7000-7099 端口段，一般按房间/服分配
virtual_server 103.XX.XX.10 7000 {
  delay_loop 2
  lb_algo sh
  lb_kind NAT
  protocol UDP
  persistence_timeout 120
  real_server 10.0.10.11 7000 {
    weight 1
    UDP_CHECK {
      connect_ip 10.0.10.11
      connect_port 7000
      # 后端需回应 "pong"（见后端探测脚本）
      expect string "pong"
    }
  }
  real_server 10.0.10.12 7000 {
    weight 1
    UDP_CHECK {
      connect_ip 10.0.10.12
      connect_port 7000
      expect string "pong"
    }
  }
}

# 可以复制粘贴生成 7001~7099 的 virtual_server（或用 include 机制模板化）

说明

• lb_algo = sh（source hash）：对 UDP 按源 IP 一致性哈希，会话粘滞更可靠。
• lb_kind = NAT：简单稳定；后端默认网关指向 LB 即可。
• persistence_timeout：跨境重连容忍度窗口。
• UDP_CHECK：需要后端对“探测报文”能回个“pong”，否则会被摘除。
• 从节点只需把 state BACKUP、priority 调小并保持同一 virtual_router_id 与 auth_pass。

2）后端 UDP 健康检查响应脚本（示例）

后端游戏网关增加一个轻量 UDP 探针（以 Python 为例，可嵌入进程）：

# /opt/udp_probe.py
import socket
s = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)
s.bind(("0.0.0.0", 7000))
while True:
    data, addr = s.recvfrom(1024)
    if b'ping' in data:
        s.sendto(b'pong', addr)

systemd 单元：

# /etc/systemd/system/udp-probe.service
[Unit]
Description=UDP Probe 7000
After=network-online.target

[Service]
ExecStart=/usr/bin/python3 /opt/udp_probe.py
Restart=always
LimitNOFILE=1048576

[Install]
WantedBy=multi-user.target

3）HAProxy：匹配/会话（HTTP/WS）

/etc/haproxy/haproxy.cfg（要点）

global
  log /dev/log local0
  maxconn 200000
  tune.bufsize 32768
  nbthread 8

defaults
  mode http
  option httplog
  timeout connect 3s
  timeout client  60s
  timeout server  60s

frontend fe_api
  bind 103.XX.XX.10:443 ssl crt /etc/haproxy/certs/fullchain.pem alpn h2,http/1.1
  http-response set-header Strict-Transport-Security "max-age=31536000"
  default_backend be_api

backend be_api
  balance uri whole
  hash-type consistent
  option httpchk GET /healthz
  server api1 10.0.20.11:8443 check verify none
  server api2 10.0.20.12:8443 check verify none

要点：用 一致性哈希 平稳灰度；WebSocket 场景可单独 mode tcp 的 frontend。

七、DNS/GSLB 与跨境优化

GeoDNS：对中国大陆递归解析器（带 EDNS Client Subnet）权重指向香港 VIP；当香港探测失败，自动切到同城/新加坡。

TTL：控制在 30～60s，以便快速收敛但不至于 QPS 暴涨。

探测点：必须在大陆设立（华南/华东各 1），TCP/UDP 双协议健康检查（抓错层多半是 UDP）。

八、从 0 到 1 的部署流水（可抄）

1. 装机 & 上架：RAID1 系统盘、固件更新、BMC 管理口隔离。
2. Debian 安装：最小化 + SSH 公钥、chrony。
3. 网络：VLAN 打通；后端网段 10.0.0.0/16；默认网关指向边界路由。
4. 系统调优：应用上面 sysctl、ethtool、cpupower。
5. nftables：放通端口段、基线限速。
6. Keepalived + IPVS：主备 VRRP、按端口段建 virtual_server。
7. 后端 UDP 探针：确保 UDP_CHECK 能拿到 pong。
8. HAProxy：API/匹配服务按一致性哈希分流。
9. GeoDNS：权重 + 大陆探测点校验。
10. 监控：Prometheus+node_exporter、blackbox_exporter(udp, tcp)、smokeping（跨境）。
11. 压测：iperf3、自研 UDP 小包工具、灰度 5%→25%→100%。
12. 变更窗口：22:00 前完成，22:30～23:30 重点盯盘。

九、压测与上线后数据（关键指标）

观察：真正把玩家体验拉下来的，是抖动与 NAT 失效造成的 UDP 会话“看似在线实则失联”。把粘滞和超时窗口配好，体验立刻肉眼可见。

十、常见坑与现场处置

UDP 负载均衡的“粘不住”

原因：源地址变化（蜂窝网络 NAT、Wi-Fi/4G 切换）、后端无状态。

解法：IPVS sh + persistence_timeout；客户端心跳 10s 内；后端对断线房间做迟滞保留（120s）。

conntrack 爆表

现象：dmesg 出现 nf_conntrack: table full，UDP 随机掉。

解法：增大 nf_conntrack_max/buckets；若高并发网关，L4 LB 上适当提高 udp_*_timeout*；监控 nf_conntrack_count。

DDoS 清洗误伤

现象：玩家集中涌入时被判异常流量。

解法：运营商侧降低黑洞触发阈值敏感度、对端口段白名单；我们的 nftables 做了按源限速而非全局。

DNS 缓存与故障切换不灵

现象：VIP 漂移后，老玩家仍连到旧节点。

解法：TTL 保持 30–60s；Probe from mainland 做双向校验，GSLB 失效时人工权重切。

MTU/分片

现象：海外/教育网玩家偶发“能进房但无数据”。

解法：边界 tc 做 MSS clamping（TCP），UDP 端尽量控制包长（<1200B，留足跨境链路和隧道头开销）。

十一、后端服务的几条硬核建议（踩坑后的“血书”）

• SO_REUSEPORT：UDP 多进程监听开启，配合 RSS/RPS，把单核瓶颈打散。
• 日志分层：匹配与对战分桶，NVMe 顺序写；高峰只保摘要，详细打到 Kafka/对象存储异步。
• 健康检查要“业务化”：不要只 check 端口存活，要 check 房间表、心跳丢包率等关键指标。
• 灰度开关：按归属地 + 运营商开灰度，别一次性全量跨境。
• Playbook：值班手册上墙：当丢包 >3%、抖动 >20ms，一键把 GSLB 权重切向 CN2。

十二、关键配置清单（可直接落地）

后端路由与 NAT（IPVS NAT 模式）

后端主机默认网关指向 LB（示例）：

ip route replace default via 10.0.0.2 dev eno2

HAProxy/系统软限制

echo '* - nofile 1048576' >> /etc/security/limits.conf
sed -i 's/^DefaultLimitNOFILE=.*/DefaultLimitNOFILE=1048576/' /etc/systemd/system.conf
systemctl daemon-reexec

监控（黑盒）

blackbox_exporter 里增加 UDP 模块，Prometheus 抓 probe_success、probe_duration_seconds，Grafana 告警阈值：

• probe_success < 0.98 for 2m
• histogram_quantile(0.95, rate(probe_duration_seconds_bucket[5m])) > 0.08

十三、成本与扩容建议（供老板/财务参考）

扩容路径：先横向加网关/匹配，LB 节点 CPU 飙到 60% 再加；跨服时用 GSLB 拉第二地（新加坡/东京）兜底。

十四、结尾：把“凌晨的掉线曲线”留在昨天

上线后一周，我改掉了盯着报警器入睡的习惯。
值班群里偶尔也吐槽，但更多是“香港这边今天稳得离谱”。
后来有同事问我：“那天晚上你是怎么判断先下手 IPVS 而不是继续追线路？”
我说，跨境链路永远在摇摆，但会话保持和超时窗口是我们能立刻握在自己手里的胜负手。
线路可以慢慢优化，先把玩家从“匹配掉线”的坑里拉出来，他们对你就有耐心。

希望这份手册，能让你在深夜的机房里也多一点确定性。

附：一键生成 7000–7099 IPVS 配置（可选）

# /usr/local/bin/gen-keepalived-udp.sh
VIP="103.XX.XX.10"
BACKENDS=("10.0.10.11" "10.0.10.12")
PORT_START=7000
PORT_END=7099

for ((p=$PORT_START;p<=$PORT_END;p++)); do
cat <<EOF
virtual_server $VIP $p {
  delay_loop 2
  lb_algo sh
  lb_kind NAT
  protocol UDP
  persistence_timeout 120
$(for ip in "${BACKENDS[@]}"; do
cat <<EOR
  real_server $ip $p {
    weight 1
    UDP_CHECK {
      connect_ip $ip
      connect_port $p
      expect string "pong"
    }
  }
EOR
done)
}
EOF
done

将输出片段 include 到 keepalived.conf，或重定向到独立文件再 include。