我们凌晨两点还在拷素材：几十路主播、上百个短视频、TB 级的商品图与模板，靠普通 SMB 多通道依旧卡 —— 拷贝速度像被拴在 3–5Gbps，CPU 占用飙到 70% 以上，OBS 端的拉流回放还会间歇掉帧。

那晚我们决定“上硬菜”——把素材共享迁到 SMB Direct。第二天中午复盘，素材同步峰值直接上了 22–24Gbps，CPU 只跳到 10–18%，转码、剪辑、推流串联顺滑了一个量级。下面，把我从选型到部署、从调参到踩坑的全过程摆给你看，保证新人能落地，老鸟也能抠细节。

一、业务与目标：我们为什么要上 SMB Direct

直播带货素材链路（简化）：

• 素材入库：拍摄/设计上传 → 资产管理（DAM）
• 生产侧：AE/PR 素材拉取、智能剪辑、批量转码
• 播控侧：OBS/VMix 上屏、回放、垫片切换
• 存储：集中式 NVMe + 文件共享
• 痛点：SMB（TCP）在高并发小文件和大对象混布时，CPU 明显顶，且延迟易抖；我们需要 RDMA 降低 CPU 参与、把数据“绕过”内核拷贝，做到真正的低延迟高吞吐。

目标指标（上线验收）：

二、架构与选型：RoCEv2、iWARP 怎么抉择？

RDMA 路线有三：RoCEv2（以太上 RDMA）、iWARP（TCP 上 RDMA）、InfiniBand（独立网路）。香港机房多为 25/100G 以太，网络设备对 RoCEv2 方案更友好；且我们已有 NVIDIA/Mellanox ConnectX 系列网卡，选 RoCEv2 成本/性能比最佳。
（如果你对网络运维资源较少、对 PFC 天生畏惧，iWARP 也很香：无需 PFC，但卡型选择和生态略窄。）

关键硬件与软件版本（我们的落地清单）

网络拓扑（文字版）

客户端与文件服务器 各两张 25G RDMA 网卡，上联到 两台 TOR 交换机（MLAG）。RDMA 专用 VLAN 与业 务 VLAN 隔离；RDMA VLAN 上开 PFC（优先级 3）、ETS（80% 带宽），Jumbo MTU 9000 全链路一致。

三、部署前的 8 条清单（别急着敲命令）

• 固件/驱动：网卡固件与驱动配套（Mellanox 驱动 + WinOF2），版本不对经常导致 RDMA 不可用或掉速。
• Windows 特性：安装 Data-Center-Bridging（DCB）、文件服务、可选的故障转移群集。
• 全链路 MTU：交换机、网卡、操作系统都设为 9000；任一处不一致，性能会雪崩。
• PFC/ETS/DCBX：RoCEv2 必配；交换机与主机都要打开，DCBX 协商别关。
• QoS/DSCP：对 SMB 流量标记 802.1p 优先级 3（常规推荐），DSCP 可设 3（或按你网规）。
• 电源策略：Windows 改为 高性能，关掉 CPU 降频；否则 P99 延迟会抖。
• 安全与扫描：杀毒/EDR 对素材库路径做排除（实时扫描巨慢），但保留上传落地目录扫描。
• 一致性：所有客户端网卡/驱动/MTU/流控策略一致，避免“多通道里混入慢车道”。

四、Windows 端逐步部署（文件服务器与客户端）

4.1 安装功能与基础配置（文件服务器）

# 1) 安装文件服务、重删、DCB（RoCEv2 需要）
Install-WindowsFeature FS-FileServer, FS-Data-Deduplication, Data-Center-Bridging -IncludeManagementTools

# 2) 开启 SMB 多通道、禁 SMB1、开签名（可选加密见下文）
Set-SmbServerConfiguration -EnableMultiChannel $true `
  -EnableSMB1Protocol $false -EnableSMB2Protocol $true `
  -SigningRequired $true -Confirm:$false

# 3) 电源计划：高性能
powercfg /S SCHEME_MIN

4.2 RDMA 网卡与 Jumbo MTU
# 假设 RDMA 网卡名为 RDMA1/RDMA2
"RDMA1","RDMA2" | ForEach-Object {
  Enable-NetAdapterRdma -Name $_
  Set-NetAdapterAdvancedProperty -Name $_ -DisplayName "Jumbo Packet" -DisplayValue "9014 Bytes"
  # RSS 建议打开，绑定合理的核
  Enable-NetAdapterRss -Name $_
  Set-NetAdapterRss -Name $_ -BaseProcNumber 2 -MaxProcessors 8
}
# 验证 RDMA 能力
Get-NetAdapterRdma
Get-SmbServerNetworkInterface | ft InterfaceIndex, RSSCapable, RDMACapable, LinkSpeed

4.3 DCB/QoS（RoCEv2 必做）

# 为 SMB 设置 802.1p 优先级 3，并启用优先级流控（PFC）
New-NetQosPolicy "SMB" -SMB -PriorityValue8021Action 3
Enable-NetQosFlowControl -Priority 3
Disable-NetQosFlowControl -Priority 0,1,2,4,5,6,7

# ETS：给 SMB（优先级3）分配 80% 带宽（示例）
New-NetQosTrafficClass "SMB" -Priority 3 -BandwidthPercentage 80 -Algorithm ETS

# L3 场景可加 DSCP（与网络侧一致）
New-NetQosPolicy "SMB-DSCP" -SMB -DSCPAction 3

# DCBX 建议保持 Willing，便于与交换机协商
Set-NetQosDcbxSetting -Willing 1

4.4 交换机侧（伪配置，仅示例思路）

dcbx enable ieee
priority-flow-control enable
priority-flow-control priority 3 enable
qos trust dscp
qos map dscp 3 to traffic-class 3
traffic-class 3 bandwidth percent 80
mtu 9216
interface ethernet x/y
 flowcontrol priority 3 enable

注意：RoCEv2 是 UDP/IP，尽量开启 ECN/RED 做拥塞管理，避免 PFC 暂停风暴。

4.5 建库与共享（独立与群集两种）

# 建卷与文件夹略。示例：D:\assets
New-Item -ItemType Directory -Path "D:\assets" -Force | Out-Null

# 独立文件服务器共享
New-SmbShare -Name "assets" -Path "D:\assets" `
  -FullAccess "HK\Domain Admins","HK\AssetsRW" `
  -ChangeAccess "HK\Editors" -ReadAccess "HK\Viewers"

# 若为 SOFS 群集（需要故障转移群集 + Scale-Out File Server 角色）
# 可使用 -ContinuouslyAvailable $true（仅 SOFS 支持）

NTFS 权限建议：目录根使用 AGDLP（组中组）模型，编辑/转码/只读分开；启用 Access-Based Enumeration 避免无权目录可见。

4.6 数据重删（可选，谨慎）

素材库里大量重复渲染缓存与导出，重删能省很多空间，但不要对生产中频繁读写的“热目录”启用。

Enable-DedupVolume -Volume "D:" -UsageType Default
Set-DedupVolume -Volume "D:" -MinimumFileAgeDays 3 -ExcludeFolder "D:\assets\raw","D:\assets\ingest"
Start-DedupJob -Volume "D:" -Type Optimization

经验：重删对大对象顺序吞吐几乎无负面，但对高并发小文件随机 I/O 会有 CPU 代价。热路径请排除。

4.7 客户端侧（剪辑/转码/播控主机）

# 启用 RDMA、Jumbo
"RDMA1","RDMA2" | ForEach-Object {
  Enable-NetAdapterRdma -Name $_
  Set-NetAdapterAdvancedProperty -Name $_ -DisplayName "Jumbo Packet" -DisplayValue "9014 Bytes"
  Enable-NetAdapterRss -Name $_
}

# 打开多通道并适当提高每网卡连接数
Set-SmbClientConfiguration -EnableMultiChannel $true -ConnectionCountPerRssNetworkInterface 4

# 验证 RDMA/多通道
Get-SmbClientNetworkInterface
Get-SmbMultichannelConnection | ft ClientIPAddress,ServerIPAddress,RDMA,ClientInterfaceIndex,ServerInterfaceIndex

五、验证与基准：我用这些命令看成败

5.1 快速吞吐测试

# 大文件（顺序读）—— 贴近剪辑与播控回放行为
# 服务器准备一个 50G 文件：fsutil file createnew D:\assets\big.dat 53687091200

# 客户端 robocopy 拉取（多线程开到 128）
robocopy \\fileserver\assets C:\tmp\pull big.dat /MT:128 /R:1 /W:1 /NFL /NDL /NP /ETA

5.2 更细颗粒：diskspd（客户端）

# 128K 顺序读，线程 8，队列 16，持续 60s
diskspd.exe -b128K -d60 -o16 -t8 -r -Sh \\fileserver\assets\big.dat

5.3 性能计数器（PerfMon）

• SMB Direct Connection(*)\Throughput
• RDMA Activity(*)\RDMA Read/Write Bytes/sec
• SMB Client Shares(*)\Avg. Data Bytes/Request
• TCPv4/UDPv4（确认无异常重传/丢包）
• PhysicalDisk/NVMe（存储后端不能拖后腿）

我们上线夜现场记录（节选）：

六、优化锦囊（这些小改动，常常是大提升）

• SMB 多通道 × NIC 亲和：确保各 RDMA 网卡落到不同 NUMA 节点（或合理 RSS 基核）；跨 NUMA 经常带来 10–20% 抖动。
• 不要传统 NIC Teaming 给 SMB 用：SMB Multichannel 天生做得更好，RDMA 更不需要传统聚合。
• Jumbo 必须全链路一致：客户端、服务器、交换机任何一端不一致，吞吐会掉到个位数 Gbps。
• 杀软排除：对素材库路径做实时扫描排除（但在“落地缓存”目录做一次性扫描）。
• 禁用离线文件（CSC）：媒体工作流对一致性敏感，客户端别开离线缓存。
• SMB 加密注意：有的系统版本开启 SMB 加密会影响/禁用 RDMA。在可信内网建议仅开签名；若必须加密，务必重新 Get-SmbMultichannelConnection 确认 RDMA=True。
• RoCEv2 拥塞治理：优先打开 ECN，尽量降低对 PFC 的依赖，避免暂停风暴。
• 磁盘策略：NVMe 做 RAID10 或者条带化到足够带宽；读放大严重时考虑把 PR/AE 的缓存目录本地化，减少反复回源。

七、常见坑与现场解法

八、灰度上线与回滚

• 先挑 1 台文件服务器 + 2 台剪辑/转码客户端 做灰度；跑完基准再放量。
• 逐步把播控/回放端纳入 RDMA VLAN，保留传统 SMB TCP 作为兜底。
• 配置项留好 脚本化回滚：一键关闭 DCB/QoS、恢复 MTU 1500、禁用 RDMA → 走 TCP 多通道。
• 观测指标：吞吐、P99 延迟、丢包、队列深度、NVMe 延迟；发现反常立即缩容回滚。

九、成本与收益（给老板的 30 秒版）

复用既有以太网络（交换机支持 DCB 即可），不必上 IB。

网卡单价相对可控（ConnectX-5/6 25G 很常见），收益是：CPU 释放 + 吞吐翻倍 + 延迟锐减。

对直播带货业务的直接价值：制播一体链路更稳，突发创意落地更快，拥塞时 OBS 回放不再掉帧。

十、附录：我实战中常用的“诊断/操作指令合集”

# RDMA/SMB 能力
Get-NetAdapterRdma
Get-SmbServerNetworkInterface
Get-SmbClientNetworkInterface
Get-SmbMultichannelConnection

# QoS/DCB 状态
Get-NetQosPolicy
Get-NetQosTrafficClass
Get-NetQosDcbxSetting
Get-NetAdapterAdvancedProperty -Name RDMA1 | ? {$_.DisplayName -like "*Jumbo*"}

# 关闭/启用 RDMA（回滚时用）
Disable-NetAdapterRdma -Name RDMA1,RDMA2
Enable-NetAdapterRdma -Name RDMA1,RDMA2

# 快速创建/删除共享
New-SmbShare -Name assets -Path D:\assets -FullAccess "HK\Domain Admins"
Remove-SmbShare -Name assets -Force

# 性能相关
Get-Counter -ListSet "SMB Direct Connection"
Get-Counter "\SMB Direct Connection(*)\Throughput"

# 客户端多线程复制示例
robocopy \\fs\assets D:\bench /E /MT:128 /R:1 /W:1 /NFL /NDL /NP

第二天早上 8 点，设计把最后一批模板推上库，OBS 播控位的同事端起咖啡，看着监控面板上 20+Gbps 的平直曲线说，“这回不慌了”。

我们把那些“看不见的细节”——固件、MTU、PFC、ECN、RSS、ACL、权限 —— 摆在了正确的位置，让素材在机房里“直来直往”。

SMB Direct 不神秘，关键在于全链路一致与严谨验证。它不是银弹，但在直播带货这种高并发媒体工作流里，它是那个能立刻“听见”的提速开关：你会从风声、风扇声，变成素材落地的安静。

如果你也要在香港机房落地这一套，照着上面的清单与脚本走一遍，先灰度，再放量。当你的曲线也稳定在 20Gbps 左右时，别忘了给网络同学点个赞——他们，往往是那条线背后最重要的人。