香港机房的业务监控大屏上丢包曲线时不时冒个尖儿，提醒我这不是办公室实验，而是要承接一场真正的全球直播。视频团队递过来一张条形码，笑说“今晚靠你了”。我把咖啡放到机柜边，插上带光纤的跳线，SSH 进那台新的 Debian 12（bookworm） 服务器，心想：这回要把多码率自适应做扎实，让海外观众不卡、不糊、不等。

目标与架构

目标

• 入口使用 RTMP 推流（主播/编码器 → 我们的香港源站）。
• FFmpeg 实时转码为码率阶梯：1080p / 720p / 540p / 480p / 360p / 240p。
• 输出 HLS（m3u8 + ts/CMF） 可被浏览器端 hls.js 自适应选择。
• 前置 CDN（多地域），优化全球观众体验。
• 源站在香港，走 BGP/直连/IX，把跨境与跨洋的延迟、抖动降到最低。

简化架构

主播/编码器（RTMP） → Nginx-RTMP（香港）→ FFmpeg（多码率转码）→ HLS 输出（Nginx-HTTP）→ CDN → 观众（hls.js 播放）

我的硬件与网络实配

选型理由

• CPU 单核性能和线程数重要：x264 多路转码非常吃核；
• NVMe 主要抗写入峰值（HLS 小文件爆发、日志与缓存）；
• 10GbE 为了峰值余量与 CDN 回源；
• 香港机房能更靠近内地与东南亚，且到美西/欧盟的海缆条件不错。

带宽与码率阶梯（ABR Ladder）

我采用的“保守稳定”阶梯，兼顾移动与大屏：

• GOP（关键帧间隔）：2 秒（例如 30fps 时 -g 60 -keyint_min 60），与 HLS 分片对齐。
• x264 预设：-preset veryfast（安全的实时档），可视 CPU 余量改 faster/fast。
• 如果你有 NVIDIA GPU（如 L4/L40S 或 T4），可用 NVENC 进一步降 CPU。

Debian 基础准备与系统调优

1) 基础安装

sudo apt update && sudo apt -y upgrade
sudo apt install -y build-essential git curl wget htop btop jq net-tools \
  ufw logrotate chrony vim

2) 时间同步

直播业务非常依赖时间一致性：

sudo apt install -y chrony
sudo systemctl enable --now chrony
chronyc sources -v

3) 文件句柄与进程数

echo '* soft nofile 1048576
* hard nofile 1048576
* soft nproc  262144
* hard nproc  262144' | sudo tee -a /etc/security/limits.conf
sudo sed -i 's/^#DefaultLimitNOFILE.*/DefaultLimitNOFILE=1048576/' /etc/systemd/system.conf
sudo systemctl daemon-reexec

4) 网络栈（BBR、队列、内核参数）

# /etc/sysctl.d/99-live-stream.conf
sudo tee /etc/sysctl.d/99-live-stream.conf >/dev/null <<'EOF'
net.core.default_qdisc=fq
net.ipv4.tcp_congestion_control=bbr
net.ipv4.ip_local_port_range=1024 65535
net.core.rmem_max=268435456
net.core.wmem_max=268435456
net.ipv4.tcp_rmem=4096 87380 268435456
net.ipv4.tcp_wmem=4096 65536 268435456
net.ipv4.tcp_mtu_probing=1
fs.file-max=2097152
net.core.somaxconn=8192
net.ipv4.tcp_fastopen=3
EOF

sudo sysctl --system

说明：BBR 可改善跨洋链路的带宽利用率；somaxconn 与大并发的 HTTP/HLS 连接更匹配。

安装 Nginx（带 RTMP 模块）与 FFmpeg

在 Debian 上，官方 Nginx 包不自带 nginx-rtmp-module。我一般用两种办法：Docker 方案（快）或源码方案（灵活、可控）。生产上我偏源码构建 + Systemd 管理，以下给出二选一。

方案 A：Docker 快速起步（适合先跑通）

# 使用社区镜像（包含 nginx + rtmp）
sudo apt install -y docker.io
sudo systemctl enable --now docker
sudo docker run -d --name live \
  -p 1935:1935 -p 8080:80 \
  -v /data/hls:/opt/data/hls \
  -e HLS_PATH=/opt/data/hls \
  alfg/nginx-rtmp

缺点：镜像配置相对固定，调参需要重建或覆盖配置。

方案 B：源码编译（我线上常用）

sudo apt install -y libpcre3 libpcre3-dev zlib1g-dev libssl-dev
cd /usr/local/src
sudo git clone https://github.com/arut/nginx-rtmp-module.git
sudo wget https://nginx.org/download/nginx-1.25.5.tar.gz
sudo tar xf nginx-1.25.5.tar.gz && cd nginx-1.25.5

sudo ./configure --prefix=/usr/local/nginx \
  --with-http_ssl_module \
  --with-http_v2_module \
  --with-threads \
  --add-module=../nginx-rtmp-module

sudo make -j$(nproc)
sudo make install

# systemd 服务
sudo tee /etc/systemd/system/nginx.service >/dev/null <<'EOF'
[Unit]
Description=nginx
After=network.target

[Service]
Type=forking
PIDFile=/usr/local/nginx/logs/nginx.pid
ExecStart=/usr/local/nginx/sbin/nginx
ExecReload=/bin/kill -s HUP $MAINPID
ExecStop=/bin/kill -s QUIT $MAINPID
LimitNOFILE=1048576

[Install]
WantedBy=multi-user.target
EOF

sudo systemctl daemon-reload
sudo systemctl enable --now nginx

安装 FFmpeg（支持 x264/x265/NVENC）

sudo apt install -y ffmpeg
ffmpeg -hide_banner -encoders | grep -E 'libx264|h264_nvenc'

若需要更高版本或完整编解码支持，可自行编译或装静态包。我线上常保留系统仓库版作为稳定 fallback。

Nginx + RTMP + HLS：核心配置

目录规划：

• HLS 输出：/data/hls
• RTMP 应用名：live（推流 URL 为 rtmp://origin/live/stream_key）

# /usr/local/nginx/conf/nginx.conf
worker_processes auto;
events { worker_connections  40960; use epoll; }

http {
    include       mime.types;
    default_type  application/octet-stream;
    sendfile      on;
    tcp_nopush    on;
    tcp_nodelay   on;

    # CORS + 缓存策略（针对 HLS）
    map $request_uri $cors {
        default 0;
        "~*\.m3u8$" 1;
        "~*\.ts$"    1;
        "~*\.mp4$"   1;
    }
    server {
        listen 80 reuseport;
        server_name _;

        # Brotli/Gzip：仅对 m3u8 开启（文本），TS/MP4 不要压缩
        gzip on;
        gzip_types application/vnd.apple.mpegurl application/x-mpegURL;

        add_header Access-Control-Allow-Origin "*"   always;
        add_header Access-Control-Allow-Headers "*"  always;
        add_header Access-Control-Allow-Methods "GET, HEAD, OPTIONS" always;

        location /hls/ {
            types {
                application/vnd.apple.mpegurl m3u8;
                video/MP2T ts;
            }
            root /data;
            add_header Cache-Control "public, max-age=10" always;   # m3u8
            if ($request_uri ~* \.ts$) {
                add_header Cache-Control "public, max-age=3600" always;
            }
        }

        # 健康检查与探针
        location /healthz { return 200 "ok\n"; }
    }
}

rtmp {
    server {
        listen 1935;
        chunk_size 4096;

        application live {
            live on;
            # 推流鉴权（简版，生产建议 on_publish 回调）
            allow publish 127.0.0.1;
            allow publish all;
            allow play all;

            # 收到上游 RTMP 推流后，执行 FFmpeg 做多码率转码与 HLS 切片
            exec ffmpeg -hide_banner -loglevel warning -i rtmp://127.0.0.1/live/$name
              -map 0:v:0 -map 0:a:0 -c:v libx264 -preset veryfast -tune zerolatency -x264-params "keyint=60:min-keyint=60:scenecut=0" -c:a aac -b:a 128k -s:v 1920x1080 -b:v 6000k -maxrate 6300k -bufsize 12000k -f hls -hls_time 2 -hls_list_size 6 -hls_flags delete_segments+temp_file=off -master_pl_name master.m3u8 -hls_segment_filename /data/hls/$name/1080p_%04d.ts /data/hls/$name/1080p.m3u8
              -map 0:v:0 -map 0:a:0 -c:v libx264 -preset veryfast -tune zerolatency -c:a aac -b:a 128k -s:v 1280x720  -b:v 3000k -maxrate 3150k -bufsize 6000k  -f hls -hls_time 2 -hls_list_size 6 -hls_flags delete_segments+temp_file=off -hls_segment_filename /data/hls/$name/720p_%04d.ts  /data/hls/$name/720p.m3u8
              -map 0:v:0 -map 0:a:0 -c:v libx264 -preset veryfast -tune zerolatency -c:a aac -b:a 96k  -s:v 960x540   -b:v 1800k -maxrate 1890k -bufsize 3600k  -f hls -hls_time 2 -hls_list_size 6 -hls_flags delete_segments+temp_file=off -hls_segment_filename /data/hls/$name/540p_%04d.ts  /data/hls/$name/540p.m3u8
              -map 0:v:0 -map 0:a:0 -c:v libx264 -preset veryfast -tune zerolatency -c:a aac -b:a 96k  -s:v 854x480   -b:v 1200k -maxrate 1260k -bufsize 2400k  -f hls -hls_time 2 -hls_list_size 6 -hls_flags delete_segments+temp_file=off -hls_segment_filename /data/hls/$name/480p_%04d.ts  /data/hls/$name/480p.m3u8
              -map 0:v:0 -map 0:a:0 -c:v libx264 -preset veryfast -tune zerolatency -c:a aac -b:a 64k  -s:v 640x360   -b:v 800k  -maxrate 840k  -bufsize 1600k  -f hls -hls_time 2 -hls_list_size 6 -hls_flags delete_segments+temp_file=off -hls_segment_filename /data/hls/$name/360p_%04d.ts  /data/hls/$name/360p.m3u8
              -map 0:v:0 -map 0:a:0 -c:v libx264 -preset veryfast -tune zerolatency -c:a aac -b:a 48k  -s:v 426x240   -b:v 400k  -maxrate 420k  -bufsize 800k   -f hls -hls_time 2 -hls_list_size 6 -hls_flags delete_segments+temp_file=off -hls_segment_filename /data/hls/$name/240p_%04d.ts  /data/hls/$name/240p.m3u8
              -var_stream_map "v:0,a:0,name:1080p v:1,a:1,name:720p v:2,a:2,name:540p v:3,a:3,name:480p v:4,a:4,name:360p v:5,a:5,name:240p"
              -master_pl_name master.m3u8;

            # 切片目录
            hls_path /data/hls;
            hls_nested on;
        }
    }
}

说明：

• 我这里用 exec ffmpeg 方式“从 RTMP 口子一进就分叉转码”，各分辨率写入同一目录，hls_list_size 6 搭配 hls_time 2，服务端保留约 12 秒窗口。
• 生产中也可将转码进程外置到独立服务编排（systemd/容器/集群），Nginx-RTMP 只做 ingest。
• 如用 NVENC，把 -c:v libx264 改为 -c:v h264_nvenc，并适当下调 -preset p1~p4、-rc vbr、-cq 等参数。

重载并检查

sudo mkdir -p /data/hls
sudo chown -R www-data:www-data /data/hls
sudo /usr/local/nginx/sbin/nginx -t
sudo systemctl restart nginx

播放端（hls.js 示例）

<!doctype html>
<html>
<head><meta charset="utf-8"><title>Live</title></head>
<body>
<video id="video" controls autoplay playsinline style="width:100%;max-width:960px;"></video>
<script src="https://cdn.jsdelivr.net/npm/hls.js@latest"></script>
<script>
const video = document.getElementById('video');
const src = 'https://your-cdn.example.com/hls/STREAM_KEY/master.m3u8';
if (Hls.isSupported()) {
  const hls = new Hls({ maxLiveSyncPlaybackRate: 1.5, liveSyncDuration: 4 });
  hls.loadSource(src);
  hls.attachMedia(video);
} else if (video.canPlayType('application/vnd.apple.mpegurl')) {
  video.src = src;
}
</script>
</body>
</html>

全球体验优化：CDN、HTTP、缓存策略

1) 上 CDN（强烈建议）

• 多家 CDN（如 Cloudflare + Akamai/Edgio/腾讯云/阿里云）做 多地域路由，面向海外就近；
• 源站香港，优先回源走香港，减少跨境回源复杂度；
• 为直播业务在 CDN 端开启 Origin Shield（如支持），减少回源打点。

2) 缓存与 TTL 建议

• *.m3u8：短 TTL（5–10 秒），并可开启“stale-while-revalidate”；
• *.ts：长 TTL（30–120 分钟），几乎不变；
• 开启 Brotli/Gzip 仅对 m3u8，不要对 .ts 压缩；

CDN 规则示例：

3) TLS 与 HTTP/2(/3)

• 源站开 TLS（Let’s Encrypt），CDN 前置再终止；
• 播放器到 CDN 口可启用 HTTP/2/3，但切片文件本身收益有限；Playlist 文本走 HTTP/2/3 可略降握手时延。

安全与鉴权

推流鉴权

• on_publish 回调（Nginx-rtmp → 你的业务接口）校验 stream_key；
• 简单可用 共享密钥 + 时间戳签名；
• 降低误推流与非法请求占用编码资源。

播放鉴权

• HLS URL 使用 Secure Link 或 CDN 边缘鉴权（Token/UA 限制/IP 白名单）；
• 防盗链：CDN Referer/UA 校验 + 访问频率限制。

监控、日志与告警

• Nginx：access.log + error.log，用 GoAccess/Vector 收集，或接入 Prometheus Nginx exporter；
• FFmpeg：把 -loglevel info 输出接入 journald，写 systemd 单元带 Restart=always；
• 主机监控：node_exporter + Grafana（CPU、Load、网络、磁盘、inode、温度）；
• 自研探针：定时抓取 /healthz 与 master.m3u8 可用性；
• 告警：流断、转码异常、磁盘高水位、CPU 饱和、回源异常等。

systemd 例子（外置转码）：

# /etc/systemd/system/transcode@.service
[Unit]
Description=FFmpeg Transcode %i
After=network.target
StartLimitIntervalSec=0

[Service]
Type=simple
User=www-data
ExecStart=/usr/bin/ffmpeg ...（略，参考上面 exec 线路，参数外置到脚本）
Restart=always
RestartSec=1
LimitNOFILE=1048576

[Install]
WantedBy=multi-user.target

我踩过的坑与处理现场

HLS 目录权限导致 404

现象：推流后 master.m3u8 访问 404；

处理：确认 /data/hls/$name 由 www-data 可读写；hls_nested on; 时目录结构是 /data/hls/STREAM_KEY/...。

Too many open files

现象：高并发时 Nginx 报错，客户端间歇 502/504；

处理：提高 nofile、fs.file-max、worker_connections，并检查 ulimit -n；CDN 前置能显著削峰。

关键帧不对齐，切片花屏

现象：播放器切层卡顿/花屏；

处理：保证 GOP 与分片时长严格对齐：-g、-keyint_min 与 -hls_time 配套；禁用 scenecut。

跨洋回源延时不稳定

现象：北美观众偶发卡顿，CDN 回源延迟较高；

处理：在 CDN 上启用 Origin Shield（香港/新加坡），并为 .ts 提高 TTL；必要时 多地域源站（香港 + 新加坡/东京）并做就近回源策略。

磁盘写放大与 inode 爆掉

现象：小文件太多，inode 先用光；

处理：HLS 保留窗口控制在 6–10 片，delete_segments 打开；logrotate 与定时清理过期目录。

FFmpeg 崩溃重启风暴

现象：异常码率/脏流触发崩溃，systemd 不停拉起；

处理：RestartSec=1 并加入失败阈值；在入口对推流做 码率/分辨率白名单 与 断流熔断。

压测与容量规划

1. 拉流压测：用 ab/wrk/hey 对 .ts 文件做并发 GET；对 master.m3u8 做轻压。
2. 推流压测：ffmpeg -re -stream_loop -1 -i sample.mp4 -c copy -f flv rtmp://.../live/test 多路并发，观察转码负载。
3. CPU：x264 1080p@6Mbps 在 veryfast 通常吃 1–2 个大核（依素材复杂度），多路叠加预留 30% 以上 headroom。
4. 带宽：把平均并发 × 平均码率作为估算基线，配合 CDN 命中率计算回源带宽。

进阶：低延迟（LL-HLS）与 DASH

• LL-HLS：可用 FFmpeg 生成 CMAF（.m4s）并用 Nginx/HTTP2/3 提供，同时在 CDN 端放宽 Chunked Transfer；但 nginx-rtmp 模块本身不直接产 part，需要 FFmpeg CMAF 或 SRS 之类的方案。
• DASH：服务端同理可出 .mpd，客户端用 dash.js。

如果你要极致低延迟（2–4s），我建议源站使用 SRS 做低延迟链路，Nginx 负责静态与分发，这样架构更清晰。

运维清单（我自己的“上线前口袋表”）

•  chrony 正常对时，时钟偏差 < 50ms
•  ulimit -n ≥ 1,048,576，worker_connections ≥ 40k
•  BBR 生效，ss -s 检查连接队列
•  /data/hls 权限正确，inode 使用率 < 70%
•  CDN 命中率 > 90%（ts），回源带宽稳定
•  播放器 ABR 正常切层，无花屏/音画不同步
•  告警通道打通（转码异常、磁盘、CPU、回源）

维护与日常

• 日志轮转：logrotate 针对 Nginx/FFmpeg；
• 数据清理：定期删除 48h 前的 HLS 目录（如录播另存）；
• 版本策略：Nginx、FFmpeg 不追“最新”，追“稳定”；生产升级走灰度；
• 突发方案：把最高清层临时下调码率，或在 CDN 端做层级剔除（减轻源站压 力）。

直播结束的那一刻，Grafana 的曲线像海浪退去。我站在机柜前，看着全线“绿灯”。这套 Debian + Nginx-RTMP + FFmpeg + CDN 的组合没多花哨，但它经得住夜里三点的考验：稳定、可控、可扩展。
后来同事笑说：“这篇上线记录能不能整理一下？”我把这份手记贴出来——你现在看到的，就是那晚我在机房里一行行敲出来的经验。希望当你也在异地的机房里、在风扇声里上线一场全球直播时，这些细节和坑点，能让你少走点弯路。

附录：常用命令速查

推流测试

ffmpeg -re -stream_loop -1 -i sample.mp4 -c:v libx264 -c:a aac -f flv \
  rtmp://YOUR_ORIGIN/live/STREAM_KEY

播放测试

curl -I https://your-cdn.example.com/hls/STREAM_KEY/master.m3u8
curl -I https://your-cdn.example.com/hls/STREAM_KEY/720p_0001.ts

Nginx 热更新

sudo /usr/local/nginx/sbin/nginx -t && sudo /usr/local/nginx/sbin/nginx -s reload

监控快照

ss -s
sudo iostat -xm 1 5
sudo dstat -tcdnm --tcp --udp 1 10