有一家海外短视频平台希望我们对用户上传的视频，在不增加输出码率的前提下，提升播放清晰度，尤其是对一些 480p 或 720p 视频，希望在转码中“自动提升到接近 1080p 质量”。

当时我第一个反应是传统的 ffmpeg 拉伸+锐化滤镜，结果一试：

• 输出文件看起来确实“更大了”，但画质没明显提升
• 对抗性噪声反而更明显，边缘模糊更糟糕
• 用户反馈“码率增加了但没变清楚”

这个时候我意识到：单靠传统转码流程无法满足用户对“感知画质”的需求。于是我决定尝试在香港的 GPU 转码服务器上，将 AI 视频超分 + 智能编码 + 编码控制策略，引入到转码流程中，构建一套具备推理能力的“智能视频重构转码平台”。

一、机房环境与硬件基础

1. 部署位置与网络条件

• 机房：香港 MEGA-i（Tier 3+）
• 网络：BGP 多线（HGC + PCCW + CMI），10GbE 上行，低延迟
• 用途：主要服务于来自 SEA / EU / NA 的短视频平台客户

2. GPU 转码节点配置

每台转码服务器使用如下配置：

• 型号：Dell R740xa
• CPU：Intel Xeon Gold 6338
• GPU：NVIDIA A30 ×2（24GB HBM）
• 内存：256GB
• 存储：本地 NVMe 4TB + Ceph 分布式缓存
• 系统：Ubuntu 22.04 + Docker + Kubernetes + NVIDIA Container Toolkit

GPU 配置经过调优，支持同时运行 FFmpeg 转码与 AI 模型推理容器。

二、转码与 AI 超分结合的总体架构

整体流程如下：

• 用户上传原始视频（720p / 480p）；
• 原始视频传入转码队列；
• 调度系统将任务分配到有空闲 GPU 的节点；

在该节点上，启动一个容器 pipeline：

• 用 PyTorch + 超分模型（如 Real-ESRGAN）处理视频帧；
• 处理后帧通过管道传入 ffmpeg 进行编码（NVENC）；
• 输出 1080p 高质量视频，同时保持码率不变。

关键点：AI 推理嵌入转码流程，不做离线预处理，也不增加码率。

三、实操流程详解

1. 超分模型选择与优化

我们评估了几种主流的视频超分模型：

最终我们选择了 Real-ESRGAN（1x 模式），并进行如下优化：

使用 torchscript 导出为 JIT 模型；

启用 FP16 加速；

配合 PyTorch TensorRT 进行推理图优化；

from realesrgan import RealESRGAN
model = RealESRGAN(device="cuda")
model.load_weights("realesrgan-x.pth", half=True)

2. FFmpeg 与超分模型集成流程

为了不增加 I/O 负担，我们通过帧级管道对接 FFmpeg：

ffmpeg -i input.mp4 -f image2pipe -pix_fmt rgb24 -vcodec rawvideo - | \
python3 superres.py | \
ffmpeg -f rawvideo -pix_fmt rgb24 -s 1920x1080 -i - \
  -c:v h264_nvenc -preset slow -b:v 3M output.mp4

在 superres.py 中，我们逐帧读取视频，进行推理，然后再送给 FFmpeg：

while True:
    raw_frame = sys.stdin.buffer.read(w * h * 3)
    if not raw_frame:
        break
    frame = np.frombuffer(raw_frame, dtype=np.uint8).reshape((h, w, 3))
    upscaled = model.predict(frame)
    sys.stdout.buffer.write(upscaled.astype(np.uint8).tobytes())

四、智能编码策略与感知质量控制

为了确保最终视频的输出质量，我们加入了智能编码策略：

1. 启用 NVENC 高质量编码模式

-c:v h264_nvenc -preset p4 -rc vbr_hq -cq 19 -b:v 3M -look_ahead 1

• vbr_hq：感知质量可控的可变码率模式；
• lookahead：提前分析帧内容，优化 GOP；
• cq：约束质量模式，确保不会太“糊”。

2. 引入 AI 质量评估（VMAF）

每个视频输出后，我们使用 Netflix VMAF 模型 做自动打分：

ffmpeg -i original.mp4 -i enhanced.mp4 -lavfi libvmaf="model_path=vmaf_v0.6.1.pkl" -f null -

我们设置了自动化规则：低于 VMAF 75 的任务自动标记为降级质量，重入低速 pipeline 或做提示。

五、实战中遇到的问题与解决方案

问题 1：帧级处理过慢，GPU 利用率不足

表现：原始 pipeline 单线程读取帧 → 推理 → 输出帧，速度瓶颈在 CPU 读写和单线程 Python。

解决：

• 使用 Python 多线程 + GPU 批量推理；
• 替换 image2pipe 为 av 库直接在 PyTorch 中读写帧；
• 用 NVDEC 先硬件解码，再喂入模型，避免 CPU 参与解码。

问题 2：容器资源抢占，GPU 死锁

表现：转码容器与推理容器使用相同 GPU，session 数过多，导致 nvidia-smi 报错。

解决方案：

• 引入 NVIDIA MIG（多实例 GPU）：将 A30 拆分为 3~4 个逻辑 GPU，独立分配；
• Kubernetes 中用 resource.limits["nvidia.com/gpu"] = 0.33 分配 partial GPU；
• 限制每个节点并发容器数不超过 GPU 能力上限。

六、实测效果与指标变化

我们在 3 段真实用户上传的 720p 视频上进行了前后对比：

虽然引入 AI 超分略微降低了处理速度，但画质主观与客观均明显提升。关键是：码率不变，体验更好，流量成本不增加。

七、GPU 转码 + AI 推理是下一代视频处理主流

通过在香港 GPU 服务器上引入 AI 视频超分和智能编码，我们打破了传统转码“压码率=掉清晰度”的魔咒。现在，我们可以在不增加文件大小的前提下，提供媲美高码率的观感体验。

我的经验总结：

• AI 推理与转码流程必须深度融合，不能走“前处理-后转码”老路；
• GPU 编排与负载控制是关键，否则推理容器容易把资源打爆；
• 视频质量监控（如 VMAF）必须自动化嵌入流程中，避免主观偏差。