那天晚上 20:03，在线课堂刚开场 10 分钟，客服群就被“掉线”“卡顿”“PPT 切不动”刷屏。流量图上抖得像心电图，主播端的 WebRTC 报告丢包 3%–8%，单向时延 180–350ms，抖动高到 120ms。
课堂必须继续，我们的香港节点（走 HKT/PCCW、HGC 与 NTT 出口）是全网的“中继”。我当场拍板：一边保课不中断，一边“热修”。这篇文章，就是那一夜到第二天清晨，我在 Debian 11 上做完 BBR + QUIC（HTTP/3） 全链路优化的复盘与落地手册。

1. 环境与硬件（真实可复刻）

数据中心：Hong Kong（单机房多 ISP，自治系统双上联）

宿主机（物理）：

• CPU：Intel® Xeon® E-2276G（6C/12T，3.8GHz），或 AMD EPYC 7313P（16C/32T）
• 内存：64GB ECC
• 磁盘：NVMe SSD 1TB（支持 NVMe namespace 与硬件队列，多队列 I/O）
• 网卡：10GbE（支持 RSS、多队列），驱动 ixgbe/ena
• 操作系统：Debian 11 (bullseye) 内核 5.10
• 虚拟化：KVM（部分业务容器化，Docker 24+/containerd）
• 对外：IPv4 / IPv6 双栈，BGP Anycast（可选）

课堂形态：

• 主体：Web 前端（静态资源）、讲师推送（WebRTC）、学员观看（WebRTC）
• 旁路：HLS/LL-HLS 备用播放（CDN 可接入）
• 信令：WebSocket（走 HTTPS）
• 打洞中继：TURN（coturn）

拓扑（简）：

讲师/学生 ↔ 互联网 ↔ [HK 边缘网关: QUIC/HTTP3 + TLS] ↔ 业务应用
                                   └─[TURN/DTLS/UDP]↔ WebRTC 媒体中继

2. 故障画像与基线

注：同一时段 A/B，弱网回放用 tc netem 复现（下文有命令）。

3. 方案总览：两条线并行

TCP 线：把内核拥塞控制切到 BBR，配合 fq 排队、TCP Fast Open、合理的 rmem/wmem；这条线服务 HTTP/2、WebSocket、HLS 等 TCP 业务。

UDP/QUIC 线：启用 HTTP/3（QUIC） 作为静态资源和信令加速通道，同时为 WebRTC 优化 UDP 缓冲、conntrack 与内核参数；WebRTC 的拥塞控制在用户态（RTP/QUIC）实现，UDP 不走 BBR，但我们能通过队列与缓冲把“路修平”。

4. 系统基础与内核网络栈调优（Debian 11）

4.1 必备包与时间同步

apt update && apt -y install ca-certificates curl gnupg lsb-release jq htop iftop mtr-tiny iperf3 net-tools ethtool \
                           bc conntrack inetutils-traceroute
timedatectl set-ntp true

4.2 sysctl：BBR、队列与缓冲（TCP/UDP 双优）

要点：net.core.default_qdisc=fq + tcp_congestion_control=bbr；UDP 调大最小/最大缓冲；扩大 backlog 和文件句柄；合理 keepalive；适度 conntrack。

cat >/etc/sysctl.d/99-bbr-quic.conf <<'EOF'
# 队列与拥塞控制
net.core.default_qdisc = fq
net.ipv4.tcp_congestion_control = bbr

# TCP 基础
net.ipv4.tcp_fastopen = 3
net.ipv4.tcp_mtu_probing = 1
net.ipv4.tcp_slow_start_after_idle = 0
net.ipv4.tcp_keepalive_time = 120
net.ipv4.tcp_keepalive_intvl = 30
net.ipv4.tcp_keepalive_probes = 4
net.ipv4.tcp_synack_retries = 3

# 缓冲与窗口（高带宽延迟积 BDP）
net.ipv4.tcp_rmem = 4096 131072 134217728
net.ipv4.tcp_wmem = 4096 131072 134217728
net.core.rmem_default = 262144
net.core.rmem_max = 268435456
net.core.wmem_default = 262144
net.core.wmem_max = 268435456
net.core.optmem_max = 33554432

# UDP 强化（QUIC/WebRTC 关键）
net.ipv4.udp_rmem_min = 16384
net.ipv4.udp_wmem_min = 16384
net.ipv4.udp_mem = 262144 8388608 33554432
net.core.netdev_max_backlog = 250000

# 端口与连接规模
net.ipv4.ip_local_port_range = 10240 65535
net.core.somaxconn = 4096
fs.file-max = 2097152

# conntrack（大量 UDP 会话时）
net.netfilter.nf_conntrack_max = 1048576
net.netfilter.nf_conntrack_udp_timeout = 60
net.netfilter.nf_conntrack_udp_timeout_stream = 180
EOF

sysctl --system

# 验证
sysctl net.ipv4.tcp_available_congestion_control
sysctl net.ipv4.tcp_congestion_control
lsmod | grep bbr || modprobe tcp_bbr

4.3 打开文件句柄与进程限制
cat >>/etc/security/limits.conf <<'EOF'
* soft nofile 1048576
* hard nofile 1048576
* soft nproc  262144
* hard nproc  262144
EOF

踩坑 1：Debian 11 默认 iptables-nft，老脚本/规则若按 iptables-legacy 写法可能“看得见配不上”。统一用 nft 或者把 iptables 切回 legacy（不建议）。

5. 启用 QUIC（HTTP/3）边缘网关

你可以二选一：Caddy（最省心，默认支持 H3/QUIC）或 Nginx 主线版（1.25+）。我线上以 Caddy 主站 + Nginx 某些专用业务 并行。

5.1 方案 A：Caddy（推荐快速上线）

安装：

apt install -y debian-keyring debian-archive-keyring apt-transport-https
curl -1sLf 'https://dl.cloudsmith.io/public/caddy/stable/gpg.key' | apt-key add -
curl -1sLf 'https://dl.cloudsmith.io/public/caddy/stable/debian.deb.txt' \
  | tee /etc/apt/sources.list.d/caddy-stable.list
apt update && apt install -y caddy

Caddyfile（HTTPS/HTTP3 + 反向代理 + 健康检查）：

example.com {
  encode zstd gzip
  tls you@example.com
  header {
    Strict-Transport-Security "max-age=31536000; includeSubDomains; preload"
  }
  @health path /healthz
  respond @health 200

  # 默认已支持 HTTP/3/QUIC，确保放行 UDP/443
  reverse_proxy 127.0.0.1:8080 {
    transport http {
      versions h2c h2 1.1
    }
  }
}

放行端口（UFW 示例）：

ufw allow 80,443/tcp
ufw allow 443/udp
ufw enable

验证 QUIC：

curl -I --http3 https://example.com

提示：Caddy 会自动签发/续期证书；HTTP/3 的 Alt-Svc 也会自动处理。

5.2 方案 B：Nginx（主线 mainline）

安装主线仓库 + Nginx：

echo "deb http://nginx.org/packages/mainline/debian/ bullseye nginx" \
  > /etc/apt/sources.list.d/nginx.list
curl -fsSL https://nginx.org/keys/nginx_signing.key | apt-key add -
apt update && apt install -y nginx

Nginx 配置（关键是 QUIC/HTTP3 监听与 Alt-Svc）：

server {
    listen 443 ssl http2;
    listen 443 quic reuseport;

    server_name example.com;

    ssl_certificate     /etc/letsencrypt/live/example.com/fullchain.pem;
    ssl_certificate_key /etc/letsencrypt/live/example.com/privkey.pem;
    ssl_protocols       TLSv1.3;

    # 告知客户端支持 HTTP/3
    add_header Alt-Svc 'h3=":443"; ma=86400' always;
    add_header QUIC-Status $quic always;

    location /healthz { return 200; }

    location / {
        proxy_set_header Host $host;
        proxy_pass http://127.0.0.1:8080;
    }
}

6. WebRTC 的“救命稻草”：TURN（coturn）

弱网/严格 NAT 场景，TURN 必不可少（否则 P2P 失败率高、连上也不稳）。
安装与配置：

apt install -y coturn

# /etc/turnserver.conf
cat >/etc/turnserver.conf <<'EOF'
listening-port=3478
tls-listening-port=5349
fingerprint
lt-cred-mech
realm=example.com
server-name=example.com

# 长期凭据（也可走 REST API 动态密钥）
use-auth-secret
static-auth-secret=REPLACE_WITH_A_LONG_RANDOM_SECRET

cert=/etc/letsencrypt/live/example.com/fullchain.pem
pkey=/etc/letsencrypt/live/example.com/privkey.pem

# 端口范围（记得防火墙放行）
min-port=49152
max-port=49300

no-tcp-relay
no-stdout-log
EOF

systemctl enable coturn
systemctl restart coturn

# 防火墙
ufw allow 3478,5349/tcp
ufw allow 3478,5349/udp
ufw allow 49152:49300/udp

浏览器端 ICE 配置要点：优先 UDP/DTLS，提供 turns: 与 turn:，并确保域名证书可信；对“学校网/公司网”这种只放行 443 的网络，5349(UDP/TLS) 与 443(UDP) 备选尤为关键。

踩坑 2：运营商或校园网对 UDP 限流/丢包“有时段性”。我们为 TURN 再跑一套 443/UDP 入口（复用证书），掉线潮明显缓解。

7. 弱网复现场景与压测方法（你可以完全重现）

服务端模拟“外部弱网”（仅用来复现/压测，别在生产网卡直接长期打开）：

# 在 eth0 上引入 120ms 延迟，50ms 抖动，5% 丢包，限速 20Mbps
tc qdisc add dev eth0 root netem delay 120ms 50ms loss 5% rate 20mbit
# 查看与清除
tc qdisc show dev eth0
tc qdisc del dev eth0 root

基础链路测量：

mtr -rwzc 50 example.com
iperf3 -c example.com -u -b 30M -t 30 -R   # UDP 下行
iperf3 -c example.com -u -b 30M -t 30      # UDP 上行

HTTP/2 vs HTTP/3 对比（静态资源首包/总耗时）：

curl -w '%{http_version} %{time_starttransfer} %{time_total}\n' -o /dev/null -s https://example.com/app.js
curl --http3 -w 'h3 %{time_starttransfer} %{time_total}\n' -o /dev/null -s https://example.com/app.js

WebRTC 端到端：用 webrtc-internals 导出统计（RTT、jitter、丢包、nack、framesDropped），高峰前后对比 P50/P95。

8. 课堂业务端的落地细节

8.1 静态资源走 HTTP/3，页面首包更快

前端部署到 Caddy/Nginx 后端，默认 Alt-Svc 告知浏览器 H3 能力。

对老旧浏览器自动回落到 H2（listen 同时开启）。

大文件（如课件视频片段）使用 Range 与 CDN 近端缓存，减少长距离重传。

8.2 信令（WebSocket）两条路

优先 TCP + BBR（稳定，代理简单）。

尝试 WebTransport/HTTP3（逐步灰度，浏览器支持度已不错）。

服务端保持 read_timeout 与 ping 适中，避免弱网下误判断连。

8.3 媒体（WebRTC）三件套

TURN 可用（见上）；

码率自适应（拥塞反馈下快速降码率、增加 FEC/冗余）；

关键帧策略（丢包后能快速恢复画面）。

9. 运维监控与可视化

队列/BBR 观察：
tc -s qdisc show dev eth0、ss -tni | grep -E 'cubic|bbr'

UDP 健康：
ss -uap, conntrack -S | grep udp, sar -n UDP 1 5

Nginx/Caddy 指标：
暴露 /metrics（Prometheus），看 H3 命中率、活跃会话、4xx/5xx。

WebRTC 体验：
收集 RTT/丢包/jitter/bitrate，课堂维度形成 SLO（如：掉线率 < 2%，P95 抖动 < 80ms）。

10. 配置清单与 rationale（节选表）

11. 踩坑与现场解法（血泪史）

“开了 BBR，WebRTC 还是抖”：
UDP 不走内核 BBR！解决：把 UDP 缓冲/conntrack/队列 调到位，并把 TURN 的 5349/UDP 与 443/UDP 都打通。

Alt-Svc 黑洞：
某些老式代理/中间盒对 QUIC/UDP 直接丢。解决：同时保留 H2/TCP，浏览器自动回退。

iptables/nft 混乱：
生产是 nft，测试机是 legacy，规则表长得不一样。解决：统一 nft，配好 nft list ruleset 的基线与 CI 检查。

证书链导致 HTTP/3 失败：
证书链不完整，H3 握手失败但 H2 还能苟活。解决：确保证书链完备（Let’s Encrypt 默认 OK），并用 curl --http3 -I 验证。

NIC 队列不均：
多核下 RSS 不均导致某核飙高。解决：ethtool -l 看队列，RSS 配置与 irqbalance 校准；必要时 reuseport。

12. 最终效果（高峰小时 A/B，对同课节）

13. 可复制的上线剧本（一步到位）

准备主机：Debian 11 + 上述内核调优；

边缘网关：优先 Caddy，上线 HTTP/3；Nginx 作为扩展方案；

TURN：coturn（3478/5349/443 UDP 都打通，端口范围放行）；

防火墙与观测：UFW/nft 规则模板、Prometheus 指标接入；

灰度：先 10% 学员走 H3/QUIC，观察 24h；

全量：扩大到 100%，并保留 H2 回退；

SLO：把“掉线率”“抖动 P95”“TTFB”纳入课堂看板。

14. 凌晨 3 点的那杯冻柠茶

凌晨 3 点，机房的风声终于没那么刺耳了。Grafana 曲线平下来了，客服群也安静了。我端着便利店的冻柠茶，看着讲师在屏幕那头顺畅地翻页、学生刷起了“不卡了”。
第二天我把以上所有步骤整理成了 SOP。后来每次大班课前，我都习惯性在 curl --http3 -I 后笑一下：这条路已经修平了。

附：关键命令速查表

# 验证 BBR 与队列
sysctl net.ipv4.tcp_congestion_control
tc -s qdisc show dev eth0

# 验证 HTTP/3/QUIC
curl -I --http3 https://example.com

# UDP 健康
conntrack -S | grep udp
ss -uap

# 弱网复现
tc qdisc add dev eth0 root netem delay 120ms 50ms loss 5% rate 20mbit
tc qdisc del dev eth0 root

小贴士与优化技巧

• BBR 仅对 TCP 有效：不要把它当成 WebRTC 的灵丹，UDP 要靠缓冲/调度/应用级 CC。
• QUIC 部署要有回退：始终保留 H2/TCP，Alt-Svc 只是“招手”，并非强制。
• 监控优先级：掉线率 > 抖动 P95 > 丢包 P95 > TTFB；先稳课堂，再追首包。
• 多核线性扩展：reuseport、RSS 队列、irqbalance、容器 CPU 亲和一起考虑。
• 证书与时间：TLS 链、NTP 偏差都会影响握手与 0-RTT 体验。