在一个台风夜的 02:17；香港葵涌机房里，我和三台刚上架的 1U 服务器，外加三条不同运营商的 BGP 上联。客户一句：“海外观众看国内直播，总是要转一圈，首帧慢、卡在加载动画里。”

我盯着 NOC 屏幕上那条蜿蜒的红线，决定在这夜里把“秒开”这件事彻底拿下。下面是我在香港把直播平台落地、调优，并充分利用 CN2 / CU 专线 / CMI 三网高速带宽，解决海外观众观看国内直播首帧慢问题的完整实操记录。写给同样在机房里熬夜的你——无论你是新手还是老手，都能照着做。

一、目标与拓扑

目标：

• 海外（美欧/东南亚）观众打开播放器 1 秒内出首帧（秒开），平均播放首包 TTFB < 300ms（命中边缘缓存时 < 100ms）。
• 端到端直播延迟（玻璃到玻璃）控制在 2~4s（LL-HLS） 或 <1s（WebRTC）。
• 播放稳定、切清晰度无感、弱网下无明显卡顿。

高层拓扑：

[内地采集/推流端]
            |
         (CN2 GIA/9929/CMI)  —— 跨境优选 ——>
            |
      [香港 Ingest/转码集群]
            |  \
            |   \--[香港 Edge 缓存/HTTP3]
            |             |
         (国际/区域回程与HKIX/IX)
            |
      [海外观众（H5/TV/APP）]

跨境方向：精选 CN2 GIA（电信）/ AS9929（联通）/ CMI（移动） 入港，保证内地→香港推流/回源时延稳定。

播放方向：香港作为国际出口的源站/边缘，对海外观众走更干净的国际线路（HKIX + 多家国际 transit），并在香港本地把 TLS、缓存、分段都做好，让首帧“就近”拿到。

二、硬件与线路选型（我在机房里实际落地的配置）

2.1 服务器与网卡

为什么这样配：

• NVMe RAID1 → 保证碎片小文件（HLS/CMAF）IO 稳定、写入延迟低。
• Mellanox 网卡 → 较成熟的驱动与 RSS，多队列中断更稳。
• 转码节点带 T4 → NVENC 做多码率实时转码，CPU 留给 IO、网络与 TLS。

2.2 线路与 BGP

BGP 策略（简化版）：

• 对 内地源地址段 提高 local-pref，优先选 CN2/9929/CMI 入港。
• 对 海外段，优先本地 HKIX 与优质 Transit；必要时根据地区做 MED/社区标记调整。
• 小贴士：不必执念“全程 CN2”。内地→香港选择 CN2 保跨境稳定，香港→海外则应择优国际出口，边缘缓存 + HTTP/3 才是“秒开”的关键。

三、操作系统与内核（CentOS 7，把 BBR 搞起来）

CentOS 7 自带内核较老，要用 ELRepo kernel-ml 上新内核以启用 BBR：

# 1) 安装新内核
rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org
yum install -y https://www.elrepo.org/elrepo-release-7.el7.elrepo.noarch.rpm
yum --enablerepo=elrepo-kernel install -y kernel-ml

# 2) 设为默认启动
grub2-set-default 0 && grub2-mkconfig -o /boot/grub2/grub.cfg
reboot

启用 BBR + FQ 与常用网络参数：

cat >/etc/sysctl.d/99-live.conf <<'EOF'
net.core.default_qdisc=fq
net.ipv4.tcp_congestion_control=bbr
net.ipv4.tcp_fastopen=3
net.ipv4.tcp_mtu_probing=1
net.ipv4.tcp_tw_reuse=1
net.core.somaxconn=65535
net.core.netdev_max_backlog=200000
net.ipv4.tcp_rmem=4096 1048576 134217728
net.ipv4.tcp_wmem=4096 1048576 134217728
net.ipv4.ip_local_port_range=10000 65535
net.ipv4.tcp_syncookies=1
EOF
sysctl --system

网卡与中断优化（示例）：

# 关闭大包聚合以降低首包延迟（权衡吞吐，按业务测试）
ethtool -K eth0 gro off lro off tso on gso on

# RSS 队列与中断亲和，按 CPU 核心数合理分配
ethtool -l eth0  # 查看
ethtool -L eth0 combined 8

# FQ qdisc（配合 BBR）
tc qdisc add dev eth0 root fq

四、媒体架构：Ingest→转码→分发

组件选择：

• SRS (Simple Realtime Server)：承载 RTMP Ingest、HTTP-FLV、LL-HLS、WebRTC（WHIP/WHEP）。
• FFmpeg + NVENC：做多码率实时转码，GOP 对齐。
• Nginx（或 Caddy）：做 HLS/LL-HLS/HTTP-FLV 的边缘缓存与 TLS 终止；支持 HTTP/3。
• BIRD/VyOS：跑 BGP。

4.1 SRS 基本配置（摘录）

/etc/srs/srs.conf

listen              1935;
max_connections     10000;
pid                 ./objs/srs.pid;
ff_log_dir          ./objs;
http_api {
  enabled on;
  listen 1985;
}
http_server {
  enabled on;
  listen 8080;
}
rtc_server {
  enabled on;
  listen 8000;          # WebRTC/QUIC UDP
}

authorize {
  enabled off;          # 生产建议对接鉴权回调
}

vhost __defaultVhost__ {
  # 1) RTMP Ingest
  ingest rtmp-on-cn2 {
    enabled off;        # 推流端直接 rtmp://ingest.hk/vlive/stream
  }

  # 2) HLS（LL-HLS 可用 CMAF 碎片 & preload hints，依版本而定）
  hls {
    enabled     on;
    hls_fragment 1;     # 1s 切片，配合 LL 策略
    hls_window   6;     # 保留 6 个切片
    hls_path     ./objs/nginx/html/hls;
    hls_cleanup  on;
  }

  # 3) HTTP-FLV（首帧快、兼容广）
  http_remux {
    enabled on;
    mount   [vhost]/[app]/[stream].flv;
  }

  # 4) WebRTC（WHIP/WHEP）
  rtc {
    enabled on;
    bframe  discard;    # 降首帧等待
  }

  # 5) 转码占位（推荐用外部 FFmpeg 更灵活）
}

备注：不同版本的 SRS 对 LL-HLS/CMAF 的配置项略有差异，核心在于更短的 GOP/分段 + 预加载 hint + 前端低延迟策略。

4.2 FFmpeg 多码率转码（NVENC）

ABR 梯度（按 25/30fps）：

示例命令（输入为 RTMP 流，输出到 SRS 的不同 app/stream）：

ffmpeg -re -i rtmp://ingest.hk/vlive/stream \
  -c:v h264_nvenc -preset p5 -tune ll -rc vbr -b:v:0 5M -maxrate:v:0 6M -bufsize:v:0 10M -g 48 -keyint_min 48 -sc_threshold 0 -bf 0 \
  -c:a aac -b:a 128k -ar 48000 -ac 2 \
  -map 0:v -s:v:0 1920x1080 -map 0:a \
  -f flv rtmp://127.0.0.1:1935/live/stream_1080p \
  -c:v h264_nvenc -preset p5 -tune ll -rc vbr -b:v:1 3M -maxrate:v:1 3.5M -bufsize:v:1 7M -g 48 -keyint_min 48 -sc_threshold 0 -bf 0 \
  -map 0:v -s:v:1 1280x720  -map 0:a \
  -f flv rtmp://127.0.0.1:1935/live/stream_720p \
  -c:v h264_nvenc -preset p5 -tune ll -rc vbr -b:v:2 1.2M -maxrate:v:2 1.5M -bufsize:v:2 3M -g 48 -keyint_min 48 -sc_threshold 0 -bf 0 \
  -map 0:v -s:v:2 854x480   -map 0:a \
  -f flv rtmp://127.0.0.1:1935/live/stream_480p

关键点：

• GOP=48（30fps ≈ 1.6s）或更短（1s→-g 30），首开时只需等到第一个 IDR。
• -bf 0 避免 B 帧导致的首帧等待。
• -tune ll / -sc_threshold 0 保持低延迟与稳定 GOP。

4.3 Nginx 作为 HLS/HTTP-FLV 边缘 + TLS/HTTP3

/etc/nginx/nginx.conf（片段）

worker_processes auto;
worker_rlimit_nofile 200000;

http {
  sendfile on; tcp_nopush on; tcp_nodelay on;
  types_hash_max_size 2048;
  server_tokens off;

  # 缓存 HLS 切片（fMP4/TS）
  proxy_cache_path /data/cache levels=1:2 keys_zone=hls_cache:20g max_size=600g inactive=30m use_temp_path=off;

  map $sent_http_content_type $is_hls {
    default 0; ~*application/(vnd\.apple\.mpegurl|x-mpegURL) 1; ~*video/.* 0; }

  server {
    listen 80;
    listen 443 ssl http2;      # HTTP/2
    listen 443 quic reuseport; # HTTP/3/QUIC

    ssl_certificate     /etc/ssl/live/fullchain.pem;
    ssl_certificate_key /etc/ssl/live/privkey.pem;
    ssl_protocols TLSv1.3 TLSv1.2;
    ssl_session_cache shared:SSL:50m;
    ssl_session_timeout 1d;
    add_header Alt-Svc 'h3=":443"; ma=86400';

    # 预热连接/域名解析
    add_header Link "<https://live.example.com>; rel=preconnect" always;
    add_header Timing-Allow-Origin "*";

    location /hls/ {
      proxy_http_version 1.1;
      proxy_set_header Connection "";
      proxy_read_timeout 30s;

      proxy_cache hls_cache;
      proxy_cache_key $scheme$proxy_host$uri$is_args$args;
      proxy_cache_valid 200 206 1m;
      proxy_ignore_client_abort on;

      # 可选：slice 大文件并发
      # slice 1m; proxy_set_header Range $slice_range;

      proxy_pass http://127.0.0.1:8080/hls/; # SRS http_server
    }

    location /live/ {
      # HTTP-FLV 走回源，不缓存
      proxy_http_version 1.1;
      proxy_set_header Connection "";
      proxy_read_timeout 1h;
      proxy_pass http://127.0.0.1:8080/live/;
    }
  }
}

开放端口：80/443（TCP+UDP for QUIC）、1935（RTMP）、8000/UDP（WebRTC），以及 1985/8080 内网访问。

五、播放器“秒开”策略（H5）

5.1 HLS（hls.js）

<video id="v" playsinline muted autoplay></video>
<script src="https://cdn.jsdelivr.net/npm/hls.js@latest"></script>
<script>
const video = document.getElementById('v');
if (Hls.isSupported()) {
  const hls = new Hls({
    lowLatencyMode: true,
    backBufferLength: 60,
    maxBufferLength: 5,
    liveSyncDurationCount: 3,
    liveMaxLatencyDurationCount: 6,
    enableWorker: true,
    fragLoadingTimeOut: 8000,
    manifestLoadingTimeOut: 8000
  });
  hls.loadSource('https://live.example.com/hls/stream.m3u8');
  hls.attachMedia(video);
  hls.on(Hls.Events.MANIFEST_PARSED, () => video.play());
}
</script>

要点：

• 打开 lowLatencyMode，并把 GOP 与分片做短；配合服务端的 preload-hint/CMAF，首帧更快。
• liveSyncDurationCount 影响追赶直播点的策略，过小会抖动，过大延迟增大。

5.2 WebRTC（SRS WHEP）——追求极致首帧

WebRTC 首帧通常快于 500ms，适合连麦/竞答场景。浏览器侧 WHEP 拉流示例（简化思路）：

async function playWhep(url) {
  const pc = new RTCPeerConnection();
  const video = document.getElementById('v');
  pc.ontrack = (e) => { video.srcObject = e.streams[0]; };

  const offer = await pc.createOffer({ offerToReceiveAudio: true, offerToReceiveVideo: true });
  await pc.setLocalDescription(offer);

  const resp = await fetch(url, { method: 'POST', headers: { 'Content-Type': 'application/sdp' }, body: offer.sdp });
  const answer = { type: 'answer', sdp: await resp.text() };
  await pc.setRemoteDescription(answer);
}
// playWhep('https://live.example.com/rtc/v1/whep/?app=live&stream=stream_720p');

兼容性与成本权衡：WebRTC 资源占用更高，海外弱网下 HTTP/3 + LL-HLS 更通用；可根据地区与终端切策略。

六、跨境与路由策略（把“入港”这段走干净）

做法：

内地推流端 → 指向香港 CN2/9929/CMI 三线的 VIP（或多域名），启用就近智能解析。

香港路由器/BIRD 设定：

• 对中国大陆源地址段（CN 归属前缀）设高 local-pref，优先 CN2/9929；
• 监测丢包/时延（Smokeping/MTR），动态降权劣化线路；
• 对海外段走 HKIX + 质量更好的国际 transit。

BIRD（示例片段）：

router id 203.0.113.2;
protocol device { }
protocol direct { interface "*"; }

protocol bgp cn2 {
  neighbor 203.0.113.9 as 4809;
  import filter { accept; };  # 生产使用前请完善前缀过滤
  export filter { accept; };
  local as 65001;
}
protocol bgp cu9929 {
  neighbor 203.0.113.10 as 9929;
  import filter { accept; };
  export filter { accept; };
  local as 65001;
}
protocol bgp cmi {
  neighbor 203.0.113.11 as 58453;
  import filter { accept; };
  export filter { accept; };
  local as 65001;
}
protocol bgp transit1 { /* 海外 */ }
protocol bgp transit2 { /* 海外 */ }

# 简化：内地网段提权示例
function is_cn_prefix() {
  return net ~ [ 36.0.0.0/8+, 39.0.0.0/8+, 42.0.0.0/8+, 58.0.0.0/8+, 59.0.0.0/8+, 60.0.0.0/7+, 101.0.0.0/8+, 103.0.0.0/8+, 106.0.0.0/8+, 110.0.0.0/8+, 111.0.0.0/8+, 112.0.0.0/5+, 120.0.0.0/6+, 180.0.0.0/7+, 210.0.0.0/7+, 218.0.0.0/7+ ];
}

filter cn_pref {
  if is_cn_prefix() then bgp_local_pref = 200; else bgp_local_pref = 100;
  accept;
}

注意：生产一定要做 前缀过滤/限速/黑洞 等安全策略，以上仅展示思路。

七、缓存与“首帧就绪”技术

• 短 GOP + 碎片分段：1s（甚至 0.5s）分片，配合 preload-hint；
• 边缘预热：开播前 5 秒，用内部脚本 curl 一次 index.m3u8 与首个分片，确保缓存里已有；
• HTTP/3：减少握手 RTT；移动端弱网收益明显；
• DNS/Geo 智能：海外用户解析到香港边缘 VIP，避免回源绕远；
• OCSP Stapling + Session Resume：TLS 复用节省握手时间；
• Range/206 支持：播放器可并发拉取，遇丢包只重试片段；
• 对象命名稳定：避免切清晰度时缓存 miss，/hls/stream_720p/seg_xxx.m4s；
• 限速与突发：对单连接限速 20~40Mbps，防 4K 安卓电视一次性拉满 IO。

预热脚本（示例）：

URL=https://live.example.com/hls/stream_720p.m3u8
curl -s -I "$URL" >/dev/null
FIRST=$(curl -s "$URL" | awk -F'\r' '/\.m3u8/{print $1; exit}')
curl -s -I "https://live.example.com/hls/$FIRST" >/dev/null
PART=$(curl -s "https://live.example.com/hls/$FIRST" | awk -F'\r' '/\.m4s/{print $1; exit}')
curl -s -I "https://live.example.com/hls/$PART" >/dev/null

八、监控与压测

• 系统：Node Exporter + Grafana（CPU/Load/IRQ/Net/IO）。
• 媒体：SRS Exporter（连接数、丢包、延迟、转码 FPS）。
• 网络：Smokeping（CN2/9929/CMI 往返）、MTR、iperf3。
• 应用：时延埋点（TTFB/首帧/缓冲事件）。

压测（示例）：

# 回源与边缘 TTFB
curl -w "ttfb=%{time_starttransfer}s total=%{time_total}s\n" -o /dev/null -s \
  https://live.example.com/hls/stream_720p.m3u8

# 并发拉片（wrk 需静态文件，模拟缓存命中）
wrk -t8 -c800 -d60s --timeout 5s https://live.example.com/hls/stream_720p/seg-000001.m4s

九、坑与现场解决过程（真实血泪）

1. GOP 太长 → 首帧要等第一个 IDR：把 -g 降到 30~48，-bf 0；
2. 跨境抖动 → 推流绕路：强制内地→香港走 CN2/9929，NAT 出口做策略路由；
3. MTU 不一致 → QUIC 首包重传：对外网口启用 MSS clamping 1360~1400；
4. LRO/GRO 误伤首包 → 关闭 LRO/GRO，延迟下降 10~20ms；
5. TLS 链不完整 → iOS 首次握手慢：补齐中间证书，开启 OCSP stapling；
6. NVENC 抖 FPS → PCIe 节能：BIOS 关 ASPM，nvidia-smi -pm 1 固定性能；
7. 缓存抖动 → proxy_cache_key 不稳定：包含 $is_args$args 保证区分 token/带宽参数；
8. 时钟不同步 → 音画漂移：全节点装 chrony，对齐 NTP；
9. UDP 被墙 → WebRTC 不通：海外默认走 HLS/HTTP-FLV，必要时 TURN；
10. 边缘满带宽 → 首帧反而慢：对热分片做预热 + 提升 worker_connections 与 ulimit -n。

十、上线前后数据对比

十一、收尾：风停之后

凌晨四点半，台风过境，风带着一点盐味从走廊尽头灌进来。Grafana 的绿线稳稳地贴在我们设定的阈值下方，洛杉矶的测试机视频窗口“啪”的一下秒开。群里有人发了句“这才像直播”。

我合上机柜门，回头又看了一眼那三条上联的灯。做直播，其实是把不确定性一层一层剥掉：跨境的抖动、分段的大小、TLS 的握手、缓存的命中、GOP 的节奏……每个细节都能变成坑，也都能被我们踩平。

你可以照着本文一步步落地，也可以把它当作你的 checklist。下一次，当有人在地球另一端点开你的国内直播时，愿他们看到的第一帧，来得干净利落、没有犹豫。

附录 A：firewalld 开放端口（CentOS 7）

firewall-cmd --permanent --add-service=http
firewall-cmd --permanent --add-service=https
firewall-cmd --permanent --add-port=1935/tcp  # RTMP
firewall-cmd --permanent --add-port=8000/udp  # WebRTC
firewall-cmd --reload

附录 B：Chrony（时间同步）

yum install -y chrony
sed -i 's/^server .*/server time.cloudflare.com iburst/g' /etc/chrony.conf
systemctl enable --now chronyd
chronyc sources -v

附录 C：Nginx 连接/文件句柄

ulimit -n 1048576
sed -i 's/worker_connections .*/worker_connections 131072;/' /etc/nginx/nginx.conf
附录 D：采集端推流建议
# OBS：关键帧间隔 1~2s；Profile High；Level 4.1；CBR/VBR 视场景
# rtmp://ingest.hk/vlive/stream?token=xxx&region=cn