凌晨 02:40，我站在葵涌机房冷通道的一头，风墙呼呼直吹。身后是两台定制的 2U 机箱，主板上是 AMD Ryzen 9 5950X（16C32T，Zen3），旁边是两块 Mellanox ConnectX-5 100GbE 网卡直连交换机。对高频交易（HFT）来说，微秒级的 jitter 就是盈亏的分界线。前一晚夜盘，我们在 P99 延迟上输了 3 微秒；复盘后我判断瓶颈并不在网络栈或撮合线程，而是内存子系统没有被“喂满”：带宽冗余小、访问拓扑和线程绑定不佳导致 L3 miss 后的回内存延迟波动。
这篇是我在香港机房里，为 Ryzen 5950X 把内存带宽与访问路径榨干的完整实操。目标是把撮合与风控关键路径的平均延迟与 P99同时压下去，并在高吞吐下维持稳定。

目标与思路

目标：撮合/风控关键链路平均延迟下降 ≥ 10%，P99 降低 ≥ 20%，上下行行情 burst 时 jitter 可控。

思路：

• 频率/时序耦合：DDR4 频率 ↔ FCLK（Infinity Fabric）一比一对齐；
• Rank/Bank 并行度：四条同规格 UDIMM，优先双 Rank，提高行并行；
• 拓扑亲和：线程固定在同一个 CCD 内、就近内存访问；
• 内核与驱动栈：CentOS 7 上关闭噪声源，hugepage/隔离核/nohz_full/RCU offloading；
• I/O 协同：DPDK/RDMA 通道与 CPU-内存路径绑定，避免跨 CCD 抖动。

机器与硬件配置（实配）

机箱：2U 定制 (前置 8× 2.5" NVMe，2× 100mm 风扇墙)

主板：X570 服务器化改版（IPMI 独立网口，支持 ECC UDIMM）

CPU：AMD Ryzen 9 5950X（16C32T，基础 3.4GHz，Boost 4.9GHz）

内存（推荐/实测）：

4× 16GB DDR4-3600 CL16（Dual Rank 更佳；若只能 Single Rank，优先 4 条填满双通道、四插槽）

FCLK=1800MHz（与 DDR4-3600 1:1）

ECC UDIMM 如主板支持则优先（稳定性 > 极限频率）

网卡：Mellanox ConnectX-5 MCX516A（100GbE，支持 RoCE v2，内核旁路/DPDK）

存储：2× 1.92TB NVMe（ZFS 日志盘分离/直通），行情与日志分卷

系统：CentOS 7（内核建议使用 ELRepo 的 kernel-ml 版本以获得更新的调度器/驱动）

BIOS/UEFI 关键设置清单（面向带宽与稳定）

内存频率/时序

载入 DOCP/XMP 基础档：DDR4-3600 CL16-19-19（或 CL16-18-18，依条子体质）

FCLK：手动设为 1800MHz（与 3600 一比一），UCLK=MCLK

Gear Down Mode：视条子稳定性，优先 On（更稳）；若追求极限时序可 Off + 加压

Command Rate：1T（不稳时退回 2T）

VDIMM：1.35V（高频/低时序可能需 1.37–1.40V，注意温度）

内存互联/并行性

确保四个插槽按主板 QVL 推荐填充，双通道×双插槽，优先使用双 Rank模组

CPU/电源

Global C-state：Off（降低唤醒抖动）

PBO：禁用或设 conservative（以稳定优先）

电源：High Performance，关 Spread Spectrum

IOMMU：若走 DPDK 或 VFIO，保持 On；纯内核旁路视栈决定

SMT：保留（16C32T 对撮合+风控+行情拆分更灵活），关键线程绑物理核

系统层优化（CentOS 7）

1) 内核与引导参数（/etc/default/grub）

GRUB_CMDLINE_LINUX="isolcpus=2-7,10-15 nohz_full=2-7,10-15 rcu_nocbs=2-7,10-15 \
nosoftlockup nowatchdog intel_pstate=disable processor.max_cstate=1 \
idle=poll transparent_hugepage=never iommu=pt mitigations=off"

说明：

• isolcpus/nohz_full/rcu_nocbs：隔离交易/撮合核，减少时钟中断与 RCU 干扰
• idle=poll + C-state 限制：提升响应一致性（发热↑，需风道保障）
• THP 关闭：防止大页合并带来的不确定延迟
• mitigations=off：仅在合规风险可接受时启用，换稳定性与性能

更新后执行：

grub2-mkconfig -o /boot/grub2/grub.cfg

2) 服务与中断

systemctl stop irqbalance && systemctl disable irqbalance
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo 1 > /proc/sys/vm/zone_reclaim_mode
sysctl -w vm.swappiness=0

3) HugePages（给撮合进程显式分配）

echo 4096 > /proc/sys/vm/nr_hugepages # 2MB页 * 4096 ≈ 8GB

4) CPU 亲和与拓扑

5950X 为 2×CCD（每 CCD 8 核，32MB L3），不是 NUMA 但存在 CCD 跨 L3 惩罚。将撮合主线程、订单簿、风控固定在同一 CCD内，行情解包和持久化在另一 CCD，避免跨 CCD 访问。

示例：将 CCD0 的核（2-7）留给撮合栈，CCD1 的核（10-15）给行情/风控：

# 查看拓扑
lscpu -e
# 绑定进程
taskset -c 2-7 ./matching_engine
taskset -c 10-15 ./market_data

网卡与用户态网络栈（DPDK / RDMA）

Mellanox 基础

ethtool -G eth2 rx 4096 tx 4096
ethtool -C eth2 rx-usecs 0 tx-usecs 0 adaptive-rx off adaptive-tx off
ethtool -K eth2 gro off lro off gso off tso off rxvlan off txvlan off

DPDK 绑定与队列亲和

modprobe vfio-pci
dpdk-devbind.py -b vfio-pci 0000:65:00.0
# 启动 testpmd 验证单队列极限
./testpmd -l 2-7 -n 4 -- --port-topology=chained --disable-link-check \
--burst=32 --rxd=4096 --txd=4096 --nb-cores=6 --rxq=6 --txq=6

队列与核一一绑定，避免跨 CCD 收发。生产中将行情解包队列与撮合输入队列分离，减少锁竞争。

内存带宽与延迟基线测试（STREAM 与 perf）

编译 STREAM（GCC 10+ 建议，从 DevToolset 安装）

yum install -y centos-release-scl
yum install -y devtoolset-10
scl enable devtoolset-10 bash
wget https://www.cs.virginia.edu/stream/FTP/Code/stream.c
gcc -O3 -fopenmp -march=znver3 -mcpu=znver3 -DSTREAM_ARRAY_SIZE=100000000 -DNTIMES=20 stream.c -o stream
OMP_NUM_THREADS=16 GOMP_CPU_AFFINITY="2-7 10-15" ./stream

读 perf 计数器（内存子系统）

perf stat -e cycles,instructions,cache-misses,LLC-loads,LLC-load-misses \
-e mem-loads,mem-stores -a -- sleep 10

优化数据对比（实测样例）

表 1：频率/时序与 FCLK 配置对 STREAM 带宽的影响

结论：DDR4-3600 + FCLK 1800 的 1:1 是 5950X 的甜点，在稳定与带宽之间最均衡。

表 2：Rank/条数对带宽与抖动（P99）的影响

结论：四条、双 Rank 带来的 bank/rank 并行可显著提升带宽并平滑 P99。

表 3：系统优化前后延迟（实际撮合交易回放 30 分钟）

关键实现细节

1) 线程与内存分配策略（jemalloc/numa 亲和）

export MALLOC_CONF="background_thread:true,dirty_decay_ms:0,muzzy_decay_ms:0,metadata_thp:auto"
numactl --physcpubind=2-7 --membind=0 ./matching_engine --huge

虽然 AM4 单路是 UMA，但通过 CPU 绑定 + HugePages，减少跨 CCD L3 miss 后的随机性。

2) Lock/Cache 友好结构

订单簿：分 shard（按合约或哈希），每 shard 固定在一个物理核，无共享写锁。

行情→撮合：SPSC ring（DPDK rte_ring 或自研共享内存队列），避免跨 CCD 共享结构。

热路径结构体 cache line 对齐（__attribute__((aligned(64)))），避免 false sharing。

简化示例：SPSC Ring（C）

typedef struct {
  volatile uint64_t head __attribute__((aligned(64)));
  volatile uint64_t tail __attribute__((aligned(64)));
  void* buf[1<<16]; // 64K 环
} spsc_t;

static inline int spsc_push(spsc_t* q, void* p) {
  uint64_t h = q->head, t = __atomic_load_n(&q->tail, __ATOMIC_ACQUIRE);
  if (((h + 1) & 0xFFFF) == (t & 0xFFFF)) return -1;
  q->buf[h & 0xFFFF] = p;
  __atomic_store_n(&q->head, h + 1, __ATOMIC_RELEASE);
  return 0;
}

3) 延迟观测与回归保护

• 外部硬件时间戳（PTP 1588，同步至交换机）
• 应用内直方图（HdrHistogram），窗口 1s/10s 观测 P99/P99.9
• 接口变更必须附带回放流（30–60 分钟）与 STREAM/perf 对照

稳定性与降级策略

• 监控 内存 ECC 错误、DIMM 温度；频率推高后优先“降时序/降压”而非继续拉频
• 夜盘前切回“稳态配置”（B 档 + ECC UDIMM），把“C/D 档”当实验用
• 风道/风扇策略：idle=poll 会显著升温，风墙转速设定为温度的函数，避免热降频

一键化脚本（片段）

sysctl/内核态位点

cat > /etc/sysctl.d/hft.conf <<'EOF'
kernel.sched_migration_cost_ns = 5000000
kernel.sched_min_granularity_ns = 2000000
vm.swappiness = 0
vm.dirty_ratio = 5
vm.dirty_background_ratio = 2
net.core.netdev_max_backlog = 250000
EOF
sysctl --system

服务编排（systemd 绑定核）

# /etc/systemd/system/matching.service
[Service]
ExecStart=/opt/hft/bin/matching_engine --huge
CPUAffinity=2 3 4 5 6 7
MemoryHigh=0
IOSchedulingClass=realtime
IOSchedulingPriority=0
Restart=always

故障现场经验（坑与排查）

• FCLK 1800 不稳：多数是 DIMM 体质或 SOC 电压不足；先回到 3600 CL16 + 1.35V，SOC 1.05–1.10V 斟酌。
• P99 偶发尖刺：检查是否跨 CCD 访问（perf c2c）、是否有系统 daemon 打断隔离核（ps -eo pid,psr,comm）。
• DPDK 抖动：确认中断全部屏蔽（或用户态轮询），NUMA/CCD 亲和保持一致；rte_eth_dev_tx_queue_setup 与 rte_eth_dev_rx_queue_setup 的队列/核绑。
• THP 重新被打开：内核升级或脚本失效，开机后用 CI 脚本验证位点，失败则拒绝上线。

成本与收益（决策给老板看的）

总结：把“带宽”和“路径”做对，延迟自然就对

对 5950X 而言，DDR4-3600 与 FCLK 1800 的 1:1 是“稳态高点”；配上四条、双 Rank与CCD 内亲和，就能把 L3 miss 回内存的惩罚和抖动降到最低。系统层面把噪声源关干净，再用 DPDK/RDMA 把数据路径拉直，配合严格的回放压测与可观测性，你会看到平均延迟和 P99 同向下降，且在行情洪峰下依然稳住。
在香港机房，我最终把撮合路径 P99 从 44.8µs 拉到 34.7µs。如果你的场景还要更极端，下一步可以评估：固态内存盘直读（pmem）、更激进的内核裁剪、或迁移到 Zen4/DDR5 的内存子系统。但在 5950X 上，上述这套实操，已经物有所值。