2025年初，公司视频内容分发系统升级，计划在多个区域部署边缘转码服务，以缓解中心节点压力，提升用户体验。香港作为首批试点区域之一，选用高性能边缘服务器部署基于 FFmpeg 的实时转码服务，负责对上游推流内容进行格式调整和码率适配。然而，在上线后不久，香港节点频繁出现服务崩溃、响应延迟、转码失败等严重问题，影响视频平台在该地区的稳定运行。
本文记录了该问题的完整排查与优化过程，涵盖系统架构分析、FFmpeg调度机制研究、磁盘I/O监控、系统参数调优等方面，期望为类似场景下的边缘节点部署提供参考。
一、故障现象
- 服务异常频发：在业务高峰期（20:00~22:00），转码服务 CPU 使用率飙升至 100%，负载持续在 30+。
- 视频处理失败率升高：接口返回 500 错误率显著上升，日志显示大量“cannot write frame”异常。
- 系统不稳定：部分实例直接崩溃，需人工介入重启服务。
- 磁盘延迟告警：监控平台提示 /data 分区磁盘 I/O 延迟飙升，达到数百 ms。
二、部署环境与初步分析
边缘节点硬件配置：
- CPU：Intel Xeon Silver 4316（16核32线程）
- 内存：64GB DDR4
- 存储：NVMe SSD（PCIe Gen3 x4，单块 2TB）
- 操作系统：Ubuntu 22.04 LTS
- FFmpeg 版本：4.4.1（自编译，开启 x264、libfdk_aac 支持）
转码命令样例：
ffmpeg -i input.ts -c:v libx264 -preset veryfast -b:v 1500k -c:a aac -b:a 128k -f flv output.flv
初步观察系统日志发现：
- 多个转码进程在写入 .flv 文件时抛出 I/O 异常。
- iostat 显示磁盘 %util 达到 99%，await 超过 500ms，明显磁盘成为瓶颈。
- top 显示 FFmpeg 多线程 CPU 利用率并不均衡，大量线程处于等待状态。
三、深入排查过程
1. 多线程调度问题分析
通过使用 perf top 和 htop 对 FFmpeg 进程分析，发现大部分线程处于 syscall 状态，CPU 并未有效分配。
原因如下：
- FFmpeg 在开启多线程（如 -threads auto）时，对 CPU 的调度不够智能，未能将线程合理绑定至核心。
- 调度策略为默认的 time-sharing，导致线程频繁竞争 CPU，尤其在 IO 阻塞时难以及时切换。
优化方法：
显式指定线程数为物理核心数的一半（避免 SMT 虚假性能提升）：
-threads 8
使用 taskset 将转码进程绑定到特定 CPU 核心，提升 CPU 缓存命中率：
taskset -c 0-15 ./ffmpeg ...
编译时启用 –enable-pthreads 并禁用 –disable-atomics 以支持更高效的多线程调度。
2. 磁盘缓冲与写入策略问题
通过 blktrace 和 iotop 发现大量写操作为同步写（O_SYNC），导致写入阻塞，严重影响转码流畅性。
原因定位：
- FFmpeg 默认在输出 .flv 时使用同步写入以防止数据丢失，但在高并发下反而拖慢整体性能。
- 边缘节点 SSD 缓存不足，导致写放大严重。
优化方法：
增加写缓冲区大小（如指定 -flush_packets 0 -fflags +nobuffer）：
ffmpeg -fflags +nobuffer -flush_packets 0 ...
临时目录挂载为 tmpfs，用于中间缓存文件，减轻 SSD 压力：
mount -t tmpfs -o size=4G tmpfs /mnt/transcode_tmp
使用 ionice 设置转码进程为非阻塞级别：
ionice -c2 -n7 ffmpeg ...
修改内核写回参数：
sysctl -w vm.dirty_ratio=20
sysctl -w vm.dirty_background_ratio=10
3. FFmpeg 编码参数优化
进一步调整编码参数，降低 CPU 和 IO 压力：
- 使用 ultrafast preset 临时替代 veryfast，减少压缩复杂度。
- 音频编码从 aac 改为 libfdk_aac，提升编码效率。
- 减少输出帧率 -r 25，节约处理量。
四、最终解决方案与结果
经过上述优化，我们重新部署转码服务，实际效果如下：
五、公司的后续规划
推广优化方案至新加坡、东京等其他边缘节点。
基于 BPF 构建细粒度系统观察平台。
探索 FFmpeg + GPU（如 NVENC）转码方案，进一步提升效率与并发。
六、经验与建议
边缘节点部署需硬件匹配应用特性，尤其是磁盘写入型服务，SSD 性能是关键瓶颈。
FFmpeg 多线程参数需按实际核数精细设置，避免资源调度失衡。
磁盘 I/O 压力不能依赖 SSD 性能兜底，应主动使用缓冲机制、中间存储等方式削峰填谷。
系统层参数（调度、写回、缓存）是影响转码效率的隐性因素，不容忽视。
统一采集服务指标和日志监控，结合系统工具（perf, iostat, blktrace）形成快速响应机制。
