凌晨 2:07，我站在香港葵涌机房 18U 的机柜前,医院放射科的同事微信里只发了八个字：“阅片卡顿，急，能救吗？”

他们的 PACS 平台这周做了扩容，影像数据暴增：CT/MR/DR 的 DICOM 对象像潮水一样涌来。老架构用一台 NFS 存储顶着，白天阅片高峰时延飙到 150–300ms，放大/窗宽调整明显拖影。我们只有一个周末窗口，要求是：不改应用大逻辑、尽量复用现有 NFS，同时把热点数据拉到低时延的 NVMe‑oF 热层上，做到“读热快、冷存稳、迁移无感”。

我给这次改造起名：N2N 方案（NFS ↔ NVMe‑oF）。

1. 目标与总体架构

1.1 目标

热点影像（近 7–14 天高频访问）读延时 P99 ≤ 5–8 ms（客户端缓存命中可 ≤ 2–3 ms）。
冷数据（长期归档）放在 NFS 容量层，写入稳定、成本可控。
对应用透明：原有影像路径基本不变（/pacs/storage）。
可灰度：先单机房试跑，再扩为双可用区，平滑回滚。

1.2 架构图（文本版）

架构：
          ┌───────────────────────── 医生工作站 / 影像调度层 ─────────────────────────┐
          │                           (HTTP/DICOM, Orthanc/dcm4chee)               │
          │                                    │                                   │
          │                           /pacs/storage（统一入口）                    │
          └───────────────────────────┬─────────────────────────────────────────────┘
                                      │ (autofs/overlay/符号链接抽象)
      ┌───────────────────────────────┴───────────────────────────────┐
      │                                                               │
┌─────▼─────┐                                                   ┌─────▼─────┐
│  热层(HOT) │  NVMe‑oF (TCP/RDMA) 100GbE/25GbE                  │  冷层(COLD)│  NFSv4.1 容量集群
│  /pacs/hot │<─────────────────────────────────────────────────>│  /pacs/archive │<─> HDD/Erasure/RAID
└─────┬─────┘                                                   └─────┬─────┘
      │                                                                 │
      │（可选）NFS 网关导出热层给不支持 NVMe‑oF 的遗留节点              │
      │                                                                 │
      └──────────────────────► /pacs/storage ◄──────────────────────────┘
             (由策略与脚本把“热/冷”统一呈现；对应用路径透明)

思路要点：NVMe‑oF 做“热读/低时延块存”，NFS 做“容量归档/广兼容文件存”。前端用 `autofs + 智能分层脚本` 或 `overlay/mergerfs` 统一路径，对应用基本无感。

2. 现场硬件与网络参数（示例）

为什么 CentOS 7 + kernel‑ml 5.15？ 因为 原生 3.10 内核不带 NVMe‑oF 驱动。我们用 ELRepo 的 `kernel-ml` 获得 `nvme‑fabrics`/`nvme‑tcp`/`nvme‑rdma`，并解锁 `nconnect` 等新特性，同时保留 CentOS 7 的生态与稳定性。

3. 系统准备（CentOS 7.9）

3.1 基础加固与调优

# 时钟同步
yum -y install chrony && systemctl enable --now chronyd

# 关 THP（数据库 & 低延时友好）
echo never > /sys/kernel/mm/transparent_hugepage/enabled
sed -i 's/^GRUB_CMDLINE_LINUX=.*/GRUB_CMDLINE_LINUX="crashkernel=auto transparent_hugepage=never"/' /etc/default/grub

# tuned（吞吐优先）
yum -y install tuned && systemctl enable --now tuned
-tuned-adm profile throughput-performance

# 常用包
yum -y install elrepo-release epel-release

3.2 升级内核到 kernel‑ml（解锁 NVMe‑oF 与 nconnect）

yum --enablerepo=elrepo-kernel -y install kernel-ml kernel-ml-devel nvme-cli
# 设置默认启动到新内核
grub2-set-default 0 && grub2-mkconfig -o /boot/grub2/grub.cfg
reboot

3.3 网络内核参数（数据面）

cat >/etc/sysctl.d/99-pacs-n2n.conf <<'EOF'
net.core.rmem_max = 134217728
net.core.wmem_max = 134217728
net.ipv4.tcp_rmem = 4096 87380 134217728
net.ipv4.tcp_wmem = 4096 65536 134217728
net.core.netdev_max_backlog = 250000
net.ipv4.tcp_mtu_probing = 1
net.ipv4.tcp_timestamps = 1
net.ipv4.tcp_sack = 1
net.ipv4.tcp_congestion_control = bbr
sunrpc.tcp_slot_table_entries = 128
EOF
sysctl --system

# MTU 9000（示例），务必全路径一致（交换机/存储/客户端）
ip link set dev ens3f0 mtu 9000

4. 部署 NVMe‑oF（示例：存储端用 NVMe‑TCP，客户端支持 RDMA/TCP 二选一）

存储端我用的是 Rocky 9（也可任意新内核发行版），因为内核原生带 `nvmet` 目标端模块。CentOS 7 也能做目标端，但多数情况下我更倾向 把目标端与数据盘集中在新系统上，客户端保持 CentOS 7 兼容。

4.1 目标端（Target）配置（nvmetcli）

# 存储节点
yum -y install nvmetcli
modprobe nvmet

# 新建子系统（子系统名建议用域名反写）
nvmetcli create-subsystem nqn.2025-09.hk.example:pacs.hot --attr allow_any_host=1

# 挂命名空间（把本地 NVMe 设备映射为 nsid=1）
# 例如 /dev/nvme0n1 是由 RAID/或直连 NVMe 组成的 XFS/LVM 逻辑卷
nvmetcli create-ns nqn.2025-09.hk.example:pacs.hot 1 /dev/nvme0n1

# 创建端口并绑定（NVMe-TCP，端口 4420）
nvmetcli create-port 1
nvmetcli set-port 1 addr trtype=tcp adrfam=ipv4 traddr=10.10.10.10 trsvcid=4420
nvmetcli add-port-subsystem 1 nqn.2025-09.hk.example:pacs.hot

# 持久化
nvmetcli save /etc/nvmet/config.json
systemctl enable --now nvmet

RDMA 版本：把 `trtype=tcp` 换成 `trtype=rdma`，`trsvcid` 走 4420/4444 均可；确保 NIC/交换机支持 RoCEv2，队列深度按需调大。

4.2 客户端（Initiator）连接（CentOS 7，kernel‑ml）

# 加载模块
modprobe nvme-fabrics nvme-tcp   # 或 nvme-rdma

# 发现与连接（TCP 示例）
nvme discover -t tcp -a 10.10.10.10 -s 4420
nvme connect  -t tcp -a 10.10.10.10 -s 4420 -n nqn.2025-09.hk.example:pacs.hot \
  -Q 64 -l 4   # SQ/CQ，可按网卡和 CPU 调整

# 查看块设备
evince: nvme list           # (若系统无 evince，直接使用 nvme list)
nvme list

# 启用 NVMe Multipath（推荐双目标端/双网口）
# /etc/modprobe.d/nvme.conf
options nvme_core multipath=y

# 永久化（重启后自动连）
mkdir -p /etc/nvme/host
nvme gen-hostnqn > /etc/nvme/hostnqn
cat >/etc/systemd/system/nvme-connect@.service <<'EOF'
[Unit]
Description=NVMeoF Connect to %i
After=network-online.target
Wants=network-online.target

[Service]
Type=oneshot
ExecStart=/usr/sbin/nvme connect-all -t tcp -a %i -s 4420
RemainAfterExit=yes

[Install]
WantedBy=multi-user.target
EOF
systemctl enable --now nvme-connect@10.10.10.10

4.3 在热层上建文件系统（XFS 示例）

mkfs.xfs -f /dev/nvme0n1
mkdir -p /pacs/hot
mount -o noatime,discard,allocsize=4M /dev/nvme0n1 /pacs/hot
# /etc/fstab
/dev/nvme0n1  /pacs/hot   xfs defaults,noatime,discard,allocsize=4M 0 0

XFS 的 `allocsize=4M` 在大文件（DICOM 对象通常 5–200MB）写入时能减少碎片，`discard` 便于 NVMe 后端做空间回收。

5. 部署 NFS 容量层（冷存）

5.1 NFS 服务器（Kernel NFS）

yum -y install nfs-utils

# /etc/exports 例子（XFS/CephFS/ZFS 任意后端均可）
/pacs/archive  10.10.0.0/16(rw,async,no_root_squash,no_subtree_check,secure)

# 线程数（默认 8 太少）
echo 256 > /proc/fs/nfsd/threads
sed -i 's/^RPCNFSDCOUNT=.*/RPCNFSDCOUNT=256/' /etc/sysconfig/nfs

systemctl enable --now nfs-server

async 与一致性：影像平台默认会落地文件且不秒级读回。为吞吐选择 `async`；若系统需要强一致写后读，改 `sync` 并在应用端控制批量写刷盘。

5.2 客户端挂载（带 nconnect 与 FS-Cache）

yum -y install nfs-utils cachefilesd
systemctl enable --now cachefilesd

# /etc/fstab（nconnect 需新内核；CentOS 7 kernel-ml OK）
10.10.20.20:/pacs/archive  /pacs/archive  nfs4 \
vers=4.1,nconnect=8,rsize=1048576,wsize=1048576,proto=tcp,timeo=600,retrans=2,hard,_netdev,fsc 0 0

# /etc/cachefilesd.conf（用本地 NVMe 或 NVMe‑oF 的一个小分区做缓存）
# dir /var/cache/fscache  # 默认即可；确保挂在快速盘上

 `fsc` 开启后，热读会命中本地缓存，配合我们的热层策略能进一步压低 P99 延时。

6. 统一挂载点与“冷热分层”策略

6.1 目录布局

/pacs/
  ├─ db/            # 数据库（PostgreSQL/MySQL）— 放 NVMe‑oF 上
  ├─ hot/           # 热影像（NVMe‑oF 文件系统）
  ├─ archive/       # 冷影像（NFS 挂载）
  └─ storage/       # 应用只访问这里（统一入口）

6.2 我用的两种“统一入口”实现

方案 A：autofs + 智能软链接（简单稳健）

`/pacs/storage` 下每个 Study/Series 是一个目录；若该目录在 hot，则 `/pacs/storage/xxx` → `/pacs/hot/xxx` 的符号链接；否则链接到 `/pacs/archive/xxx`。
 配合一个 分层守护进程 定期把高频目录“升温”到 hot（rsync + 原子切换符号链接），老旧目录“降温”回 archive。

方案 B：overlay/mergerfs（路径完全一致）

用 mergerfs 把 `/pacs/hot:/pacs/archive` 组合成 `/pacs/storage`。写入策略 `epmfs`（现有路径优先）或 `mfs`（最大剩余空间）。
注意：CentOS 7 上需要 EPEL 的 mergerfs；升级内核已做，兼容性较好。运维成本略高于方案 A。

我最终在医院生产用了 方案 A，因为它更“可解释”，回滚操作就是切回符号链接，失败面更小。

6.3 分层守护进程（hotmover）

规则

新入库的影像先落 NFS（archive），避免 NVMe‑oF 被写入放大。
近 7 天访问次数 > N 次 或最近访问 < 72 小时 → 升温到 hot。
hot 层空间占用 > 80% → 从最冷的开始降温回 archive。

实现（Python 片段）

#!/usr/bin/env python3
# /usr/local/bin/hotmover.py
import os, sys, time, subprocess, json, shutil
HOT = '/pacs/hot'
ARC = '/pacs/archive'
UNI = '/pacs/storage'
MAX_HOT_USAGE = 0.80
PROMOTE_ATIME_DAYS = 7

# 简化：按 atime/mtime 估计热度，现实中可接入数据库统计

def disk_usage(path):
    st = os.statvfs(path)
    return 1 - (st.f_bavail * st.f_frsize) / (st.f_blocks * st.f_frsize)

def is_hot(path):
    return os.path.islink(path) and os.readlink(path).startswith(HOT)

def promote(name):
    src = os.path.join(ARC, name)
    dst = os.path.join(HOT, name)
    uni = os.path.join(UNI, name)
    if not os.path.exists(src):
        return
    subprocess.check_call(['rsync','-aH','--inplace', src+'/', dst+'/'])
    tmp = uni + '.new'
    if os.path.islink(uni): os.unlink(uni)
    os.symlink(dst, tmp)
    os.rename(tmp, uni)  # 原子切换
    shutil.rmtree(src, ignore_errors=True)

def demote(name):
    src = os.path.join(HOT, name)
    dst = os.path.join(ARC, name)
    uni = os.path.join(UNI, name)
    subprocess.check_call(['rsync','-aH','--inplace', src+'/', dst+'/'])
    tmp = uni + '.new'
    if os.path.islink(uni): os.unlink(uni)
    os.symlink(dst, tmp)
    os.rename(tmp, uni)
    shutil.rmtree(src, ignore_errors=True)

while True:
    try:
        # 升温：近 7 天访问（atime）
        for name in os.listdir(ARC):
            p = os.path.join(ARC, name)
            if not os.path.isdir(p):
                continue
            atime_days = (time.time() - os.stat(p).st_atime)/86400
            if atime_days <= PROMOTE_ATIME_DAYS:
                promote(name)
        # 降温：热层超阈值
        while disk_usage(HOT) > MAX_HOT_USAGE:
            # 找最老访问的目录
            hot_dirs = [d for d in os.listdir(HOT) if os.path.isdir(os.path.join(HOT,d))]
            if not hot_dirs: break
            coldest = min(hot_dirs, key=lambda d: os.stat(os.path.join(HOT,d)).st_atime)
            demote(coldest)
    except Exception as e:
        print('hotmover error:', e)
    time.sleep(60)

systemd

# /etc/systemd/system/hotmover.service
[Unit]
Description=PACs Hot/Cold Tier Mover
After=network.target

[Service]
Type=simple
ExecStart=/usr/bin/python3 /usr/local/bin/hotmover.py
Restart=always
RestartSec=5

[Install]
WantedBy=multi-user.target

7. 影像平台与数据库落位

数据库（PostgreSQL/MySQL）：放在 NVMe‑oF 的 `/pacs/db`，并开启 WAL/redo 日志落在同一块设备的独立 LV；禁用 THP、设置 `vm.swappiness=1`，`shared_buffers` 与 `wal_buffers` 按内存 25–30%/自动调整。
 影像文件：应用写入 `/pacs/storage`；热迁移机制负责把“近用数据”升温。
示例：Orthanc

{
  "StorageDirectory": "/pacs/storage",
  "IndexDirectory": "/pacs/db/orthanc-index",
  "LimitFindResults": 0,
  "HttpServerEnabled": true,
  "DicomServerEnabled": true
}

8. 性能验证（实测样例）

以下为一组在 100GbE + NVMe‑TCP 的单节点样例值，仅供参考，实际以贵司硬件为准。

8.1 fio（NVMe‑oF 热层，4×并行进程）

8.2 NFS 冷层（nconnect=8, rsize/wsize=1M）

8.3 阅片端体验

放大/窗宽滑动：卡顿从原来的偶发 200ms+ 降到 10ms 量级（热层命中场景）。
批量打开同一 Study：目录索引与元数据查询受益于 NVMe‑oF 上的 DB，首屏 30–50% 提升。

9. 观测与排障清单

# NFS 客户端
nfsstat -c
nfsiostat 1

# NVMe 侧
nvme list
nvme list-subsys
nvme smart-log /dev/nvme0n1

# 系统层
iostat -xmd 1
pidstat -dwt 1
ethtool -S ens3f0 | egrep 'rx|tx|drop|queue'

10. 现场“坑位”与解决过程（真事儿）

1. CentOS 7 没有 NVMe‑oF 驱动

症状：`nvme` 命令不可用，`nvme-fabrics` 模块不存在。
解决：ELRepo kernel‑ml + `nvme-cli`。重启后加载 `nvme-fabrics`/`nvme-tcp`，问题解决。

2. MTU 不一致

症状：NFS 吞吐忽高忽低、NVMe‑TCP 偶发连接重置。
解决：交换机/存储/客户端统一 MTU=9000；端到端验证 `ping -M do -s 8972`。

3. NFSv4 域名映射异常（idmapd）

症状：权限错乱、`nobody` 用户写入失败。
解决：确保 `/etc/idmapd.conf` 的 `Domain` 在 NFS 端与客户端一致，或导出端用 `no_root_squash` 并在目录层面控制权限。

4. FS-Cache 未启动就挂载 fsc

症状：日志报 `fscache object creation failed`，读延时反而升高。
解决：`systemctl enable --now cachefilesd`，并把缓存目录放在快速盘上。

5. nfsd 线程太少

症状：服务器 CPU 利用率不高，但客户端排队严重。
解决：把 nfsd 线程增到 256–512，根据 `nfsstat` 动态调整。

6. NVMe‑oF 断链重连参数不当

症状：存储端滚动升级时客户端 I/O 阻塞。
解决：连接时增加 `-l`（reconnect attempts）和 `-i`（reconnect interval），并启用 multipath。

7. LRO/GRO 组合不当

症状：小 I/O 时延不稳。
解决：保留 GRO，视实际禁用 LRO：`ethtool -K ens3f0 lro off gro on`。

8. SELinux 上下文

症状：应用无法写入 `/pacs/storage`。
解决：为路径设置合适上下文：`semanage fcontext -a -t httpd_sys_rw_content_t '/pacs(/.*)?' && restorecon -R /pacs`；不建议一刀切关闭 SELinux。

11. 高可用设计（可选）

NVMe‑oF：双目标端 + multipath，两个 traddr；客户端 `nvme connect-all` 到两个地址。
NFS：两台 NFS 服务器用 `keepalived` 提供 VIP；后端使用同一冷存（共享阵列或分布式 FS）。

keepalived 片段

vrrp_instance VI_1 {
  state MASTER
  interface ens3f0
  virtual_router_id 51
  priority 120
  advert_int 1
  authentication { auth_type PASS auth_pass 42 }
  virtual_ipaddress { 10.10.20.20/24 dev ens3f0 }
}

12. 变更与回滚策略

上线顺序：NVMe‑oF 热层 → NFS nconnect/FS‑Cache → `/pacs/storage` 切换为符号链接抽象 → 小流量灰度 → 全量。
回滚：把 `/pacs/storage` 统一指回 `/pacs/archive`，暂停 hotmover 服务，卸载 NVMe‑oF 即可；对应用透明。

13. FAQ（我在现场被问到的）

Q: 一定要 RDMA 吗？
A: 不一定。nvme‑tcp 足以在 25/100GbE 上跑出很好的延时与吞吐，运维复杂度更低。RDMA 可在极限延时与 CPU 开销上更优。

Q: pNFS 要不要上？
A: 视场景。单 NFS 服务器先用 `nconnect` 与增线程，大多已够用。后续如需多头并行，可评估 NFS‑Ganesha + pNFS，但部署复杂度更高。

Q: mergerfs 会不会“玄学”？
A: 生产更推荐 方案 A（软链+autofs）。mergerfs 功能强，但遇到 corner case（比如 inode 行为）需要更严密回归。

14. 结尾：凌晨五点半的第一缕光

5:32，机房外的天边泛起一点蓝。监控面板上的读延时曲线贴着 2–3 ms 的底线走了半个小时，我握着保温杯，终于有底气对放射科同事说：“再试一次放大，看还卡不卡。”

微信里回复只有一个词：“顺滑。”

运维的浪漫大概就是这样——一遍又一遍把复杂的东西拆成可控的模块，点亮每一条链路，让现实的系统在现实的限制里，跑出接近理想的速度。

附录 A：命令清单（复制即用）

# 客户端：安装/升级/工具
sudo yum -y install elrepo-release epel-release
sudo yum --enablerepo=elrepo-kernel -y install kernel-ml kernel-ml-devel nvme-cli nfs-utils cachefilesd
sudo grub2-set-default 0 && sudo grub2-mkconfig -o /boot/grub2/grub.cfg

# NVMe‑oF 发现/连接（TCP）
sudo modprobe nvme-fabrics nvme-tcp
sudo nvme discover -t tcp -a 10.10.10.10 -s 4420
sudo nvme connect  -t tcp -a 10.10.10.10 -s 4420 -n nqn.2025-09.hk.example:pacs.hot -Q 64 -l 4

# NFS 挂载（带 nconnect 与 fsc）
sudo systemctl enable --now cachefilesd
sudo mount -t nfs4 -o vers=4.1,nconnect=8,rsize=1048576,wsize=1048576,fsc 10.10.20.20:/pacs/archive /pacs/archive

# 观测
nfsstat -c
nfsiostat 1
iostat -xmd 1
nvme list
nvme list-subsys

附录 B：配置片段一览

 `/etc/sysctl.d/99-pacs-n2n.conf`
 `/etc/systemd/system/hotmover.service`
 `/usr/local/bin/hotmover.py`
 NFS `/etc/exports`、`/etc/idmapd.conf`
 NVMe‑oF 目标端 `/etc/nvmet/config.json`
 Orthanc `orthanc.json`

如果你也在做医疗影像的落地，对“读热快、冷存稳”感兴趣，可以把上面这套按你们的现场做裁剪。每个机房、每段网络、每批磁盘都各有脾气，但方法论是相通的：用 NVMe‑oF 把低时延的刀磨利，用 NFS 扛住真实世界的体量。