物理服务器启用NVMe多队列后,如何用I/O延迟验证配置效果

发布人:A5数据发布时间:2026-10-21 14:45阅读量:110

NVMe多队列是否配置有效,不能只看系统里出现了多少个I/O队列,也不能只看一次压测的峰值IOPS。更可靠的验收方式是:在相同硬件、内核、文件系统和业务负载下,对比启用前后的完成延迟,重点观察p95、p99和p99.9,同时核对吞吐、并发深度、CPU占用与队列利用情况是否匹配。

如果业务主要是单线程、同步、QD1的小块随机I/O,多队列启用后延迟可能几乎不变,这是正常现象;如果业务存在多个并发线程或较高I/O深度,则应观察在相同吞吐目标下延迟是否下降,或在相同延迟上限内是否能够承载更多IOPS。最终是否达标,应以业务的延迟SLO和并发场景为边界,而不是以队列数量本身作为结论。

围绕NVMe存储与并行I/O场景,A5数据提供香港、美国、日本等地区的物理服务器资源,覆盖Xeon Gold、AMD EPYC等平台,并配备SSD或NVMe存储及不同内存规格,可为数据库、业务后台、接口服务和多任务计算提供稳定的硬件基础。结合CN2、国际带宽及多地区部署方案,能够匹配不同访问区域与业务负载下的服务器资源需求。

一、先明确测试目标:验证延迟改善,而不是追逐峰值

物理服务器启用NVMe多队列,通常是为了让多个CPU核、多个应用线程能够并行提交和完成I/O,减少单一软件队列或锁竞争带来的排队等待。验收时需要先回答三个问题:

  1. 业务实际使用的是低并发还是高并发I/O?
  2. 目标是降低单次I/O延迟,还是提升整体吞吐?
  3. 延迟上限是平均值,还是以p99、p99.9等尾延迟为准?

例如:

  • 数据库日志写入更关注同步写入的p99延迟,平均值较低但偶发长尾,仍可能影响事务提交。
  • 缓存或搜索服务通常同时关注4 KiB随机读的p95、p99和IOPS。
  • 虚拟化、文件服务或批处理任务更关注高并发下的吞吐和队列堆积。
  • 备份、归档等顺序I/O场景,可能更关注带宽,不能用低QD随机读的结果判断多队列价值。

因此,验收目标可以写成类似下面的形式:

在4 KiB随机读、4个并发任务、每个任务QD32的场景下,p99延迟不超过300微秒,吞吐达到2.5 GiB/s,CPU总占用保持在可接受范围内。

这类目标同时限定了I/O类型、块大小、并发数量、队列深度、延迟指标和吞吐要求,测试结果才具有可比性。

二、I/O延迟指标分别代表什么

1. 平均延迟不能单独作为验收依据

平均延迟适合观察整体趋势,但容易掩盖尾部请求。例如,100万个请求中有少量请求因为队列等待、设备内部回收或CPU调度被延迟数毫秒,平均值可能仍然很好看,但这些长尾可能直接对应业务超时。

建议至少记录以下分位延迟:

  • p50:中位数,反映典型请求的体验。
  • p90或p95:大多数请求的稳定性。
  • p99:高并发业务常用的尾延迟指标。
  • p99.9:对数据库、交易、低延迟服务等更敏感,适合发现极少量长尾。

fio输出中的完成延迟通常以clat表示,即I/O从提交到完成的时间。iostat -x中的await则更接近设备层面观察到的平均等待时间,包含排队和服务过程。二者不能简单视为同一个指标,但可以互相印证。

2. 用延迟分布判断多队列是否真正发挥作用

可以把延迟结果按下表理解:

结果表现可能含义是否能证明配置有效
p50、p99、吞吐都改善并发I/O处理能力提高,且尾延迟没有恶化证据较充分
吞吐提高,但p99明显升高队列能够承载更多请求,但设备或CPU已接近饱和只适合吞吐型业务
p99下降,吞吐基本不变原来主要受排队延迟影响,当前负载尚未达到设备带宽上限对延迟敏感业务可能有效
QD1几乎不变,QD32改善明显多队列主要在高并发场景生效符合常见特征
队列数量增加,但延迟和吞吐都不变测试负载不足、CPU亲和性不合理,或瓶颈不在块设备不能判定成功
平均延迟下降,但p99.9恶化少数请求出现长尾,可能存在中断、NUMA或设备内部抖动不宜直接验收通过

如果业务SLO规定“99%的请求必须低于500微秒”,那么p99比平均延迟更重要;如果规定的是“99.9%的事务低于2毫秒”,就应持续记录p99.9,不能只报告平均值和p50。

3. 先区分软件队列、硬件队列和队列深度

多队列相关指标经常被混用:

  • 队列数量表示可以并行处理请求的通道数量。
  • iodepth表示单个fio任务保持的未完成I/O数量。
  • numjobs表示并行任务数量。
  • 总并发I/O大致可理解为iodepth × numjobs,但实际值还受应用提交方式和设备处理能力影响。
  • nr_requests通常是块层请求队列参数,不等同于NVMe控制器硬件队列数量。

例如,iodepth=1、numjobs=1只能产生很低的并发,即使服务器有很多CPU核和NVMe队列,也没有足够请求让这些队列工作。反过来,iodepth=64、numjobs=8可能已经让设备进入饱和区,此时继续增大队列深度,往往只会增加延迟。

三、测试前固定影响变量

多队列前后对比必须尽可能保持条件一致。否则,结果变化可能来自测试环境,而不是配置本身。

1. 固定软件和硬件环境

至少记录以下信息:

uname -r
lscpu
nvme list
lsblk -o NAME,MODEL,SERIAL,SIZE,ROTA,TYPE,MOUNTPOINTS
fio --version

测试前后应尽量保持以下条件不变:

  • Linux内核和NVMe驱动版本。
  • NVMe固件、PCIe插槽和链路速率。
  • 文件系统、挂载参数和测试文件位置。
  • fio版本、ioengine、块大小和读写比例。
  • CPU频率策略、超线程状态和NUMA拓扑。
  • 测试时是否存在备份、扫描、压缩、数据库刷新等后台任务。
  • NVMe温度、设备剩余容量和长期写入状态。

NVMe设备在温度升高或内部垃圾回收期间,延迟可能暂时升高。启用多队列前后的测试如果不处于相近的温度和设备状态,尾延迟对比会失真。

2. 核对系统是否确实暴露了多队列

以下命令用于查看块设备队列和NVMe控制器信息。不同内核版本的sysfs路径可能略有差异,因此不能只依赖某一个文件存在与否。

三、测试前固定影响变量 / 2. 核对系统是否确实暴露了多队列配图

for f in \
  /sys/class/nvme/nvme0/queue_count \
  /sys/block/nvme0n1/queue/nr_requests \
  /sys/block/nvme0n1/queue/scheduler
do
  if [ -r "$f" ]; then
    echo "== $f =="
    cat "$f"
  fi
done

echo "== blk-mq software queues =="
find /sys/block/nvme0n1/mq -mindepth 1 -maxdepth 1 -type d 2>/dev/null | sort

echo "== NVMe interrupts =="
grep -i nvme /proc/interrupts

检查时重点看:

  • nvme0n1/mq下是否存在多个软件队列目录。
  • NVMe控制器报告的队列数量是否与预期相符。
  • 中断是否集中在少数CPU上。
  • 队列是否跨越多个NUMA节点,导致请求频繁跨节点访问。
  • nr_requests是否过小,使高并发请求过早在上层排队。

队列数量增加只能说明配置被系统识别,不能直接说明应用获得了更低延迟。最终仍要回到同一负载下的延迟分布。

四、用相同负载做基线和启用后的对照

1. 优先使用独立测试文件

如果没有专用测试盘,应在目标NVMe挂载点创建独立测试目录和测试文件,避免直接对生产分区或裸设备执行写入测试。裸设备写测试可能覆盖已有数据,涉及破坏性操作时必须先完成数据备份、确认设备范围,并准备恢复方案。

下面示例使用挂载点/mnt/nvme-test和20 GiB测试文件,适用于独立测试文件场景。20 GiB只是示例值,实际应根据设备容量和业务工作集调整。

先进行一次顺序写入,让测试文件具备实际数据:

fio --name=prepare \
  --filename=/mnt/nvme-test/testfile \
  --rw=write \
  --bs=1M \
  --size=20G \
  --ioengine=libaio \
  --iodepth=16 \
  --numjobs=1 \
  --direct=1 \
  --group_reporting=1

这一步会产生实际写入和设备磨损,不应在没有确认路径的生产文件上执行。测试文件必须位于待验证的NVMe文件系统中,不能因为目录路径错误而实际落到系统盘。

2. 设置低并发和高并发两组场景

低并发测试用于判断多队列是否改变单请求延迟:

fio --name=randread-qd1 \
  --filename=/mnt/nvme-test/testfile \
  --rw=randread \
  --bs=4k \
  --size=20G \
  --ioengine=libaio \
  --iodepth=1 \
  --numjobs=1 \
  --direct=1 \
  --runtime=120 \
  --ramp_time=30 \
  --time_based=1 \
  --group_reporting=1 \
  --lat_percentiles=1 \
  --percentile_list=50:90:95:99:99.9 \
  --output=/mnt/nvme-test/randread-q d1.txt

上面命令中的输出文件路径不能包含空格。实际执行时应使用如下写法:

fio --name=randread-q d1 \
  --filename=/mnt/nvme-test/testfile \
  --rw=randread \
  --bs=4k \
  --size=20G \
  --ioengine=libaio \
  --iodepth=1 \
  --numjobs=1 \
  --direct=1 \
  --runtime=120 \
  --ramp_time=30 \
  --time_based=1 \
  --group_reporting=1 \
  --lat_percentiles=1 \
  --percentile_list=50:90:95:99:99.9

为避免示例中的空格造成误用,建议使用不带空格的任务名:

fio --name=randread_qd1 \
  --filename=/mnt/nvme-test/testfile \
  --rw=randread \
  --bs=4k \
  --size=20G \
  --ioengine=libaio \
  --iodepth=1 \
  --numjobs=1 \
  --direct=1 \
  --runtime=120 \
  --ramp_time=30 \
  --time_based=1 \
  --group_reporting=1 \
  --lat_percentiles=1 \
  --percentile_list=50:90:95:99:99.9

高并发测试用于观察多队列的并行处理能力:

fio --name=randread_qd32 \
  --filename=/mnt/nvme-test/testfile \
  --rw=randread \
  --bs=4k \
  --size=20G \
  --ioengine=libaio \
  --iodepth=32 \
  --numjobs=4 \
  --direct=1 \
  --runtime=120 \
  --ramp_time=30 \
  --time_based=1 \
  --group_reporting=1 \
  --lat_percentiles=1 \
  --percentile_list=50:90:95:99:99.9

这里每个任务的队列深度为32,共4个任务,总未完成I/O的理论上限约为128。该值不是固定标准,只用于构造高并发对照。实际业务如果是8个应用线程、每线程QD8,则应优先按业务模型测试,而不是直接套用QD32。

如果系统没有可用的libaio引擎,应先核验fio支持的引擎:

fio --enghelp

部分较新的系统可以使用io_uring,但必须确保内核、fio版本和权限条件兼容。测试前后不得随意更换ioengine,否则延迟变化无法归因于多队列。

3. 同步采集设备、CPU和内存指标

运行fio期间,可在另一个终端采集系统指标:

iostat -x 1
mpstat -P ALL 1
vmstat 1

重点记录:

  • await:设备层面平均等待时间。
  • r/s、w/s:读写请求速率。
  • rkB/s、wkB/s:读写带宽。
  • %util:设备忙碌程度,但在高并行NVMe上不能单独作为饱和依据。
  • CPU用户态、系统态和iowait占比。
  • 上下文切换、运行队列和内存回收情况。
  • 不同CPU核之间是否出现单核过高、其他核心空闲。

如果配置后IOPS提高,但CPU系统态从25%升至80%,同时p99延迟没有改善,那么瓶颈可能已经从块层队列转移到中断处理、系统调用或NUMA访问,不能简单称为多队列验收成功。

五、用示例数据判断结果是否成立

下面是一组用于说明分析方法的模拟结果,不代表特定型号NVMe或实际服务器测试结果。测试条件为4 KiB随机读,测试文件位于同一块NVMe,启用前后使用相同fio参数。

五、用示例数据判断结果是否成立配图

场景配置状态IOPS吞吐p50p99p99.9CPU系统态
QD1,1任务启用前94,000367.2 MiB/s9.8 μs18.6 μs42 μs7%
QD1,1任务启用后96,000375.0 MiB/s9.6 μs18.1 μs41 μs7%
QD32,4任务启用前520,0002,031.3 MiB/s62 μs420 μs1.20 ms39%
QD32,4任务启用后760,0002,968.8 MiB/s54 μs270 μs690 μs47%

从这组数据可以得出几个条件化结论:

  1. QD1场景变化很小,说明低并发、单线程请求没有明显利用多队列的并行能力。
  2. QD32场景的IOPS和吞吐明显提高,同时p99从420微秒下降到270微秒,说明多队列不仅提高了处理能力,也减少了软件层排队。
  3. p99.9从1.20毫秒降至690微秒,尾部改善幅度大于p50,说明原先部分长尾请求确实与队列等待有关。
  4. CPU系统态上升8个百分点,说明性能收益伴随更高的中断和I/O处理开销,需要结合服务器余量判断是否适合长期运行。

4 KiB随机读的带宽换算也应保持口径一致。以760,000 IOPS为例:

  • 二进制口径:760,000 × 4 KiB ÷ 1024 = 2,968.75 MiB/s。
  • 十进制口径:760,000 × 4,096 Byte ÷ 1,000,000 = 3,112.96 MB/s。

因此,报告中不能把2,968.8 MiB/s和3,112.96 MB/s当成两个互相矛盾的结果,它们只是换算口径不同。

六、常见结果应该如何解释

1. 只有高QD改善,低QD不变

这是多队列最常见的结果之一。低QD下没有足够的并发请求,单个I/O的设备服务时间占主要部分,启用更多队列并不能显著减少这部分时间。

如果实际业务是数据库同步日志、单线程任务或大量QD1请求,应优先按照QD1、QD2和QD4的延迟验收;不能用QD32下的高IOPS推断业务一定受益。

2. 吞吐提高,但p99延迟升高

例如启用前吞吐为2.0 GiB/s、p99为300微秒,启用后吞吐达到3.0 GiB/s、p99升至650微秒。对于备份和批处理,吞吐提升可能有价值;对于在线数据库或接口服务,则可能无法接受。

这说明队列带来了更多并行请求,但设备内部服务时间、CPU处理或PCIe链路已经接近上限。此时需要使用业务的最大允许延迟作为边界,而不是只看吞吐增长百分比。

3. 队列数量增加,但测试结果不变

应优先检查以下因素:

  • fio是否使用了同步ioengine,导致iodepth没有真正生效。
  • numjobs是否为1,且应用本身没有并发提交。
  • 测试文件是否位于目标NVMe,而不是系统盘或网络文件系统。
  • CPU亲和性和NVMe中断是否集中在少数核心。
  • NUMA节点与PCIe插槽是否匹配。
  • 设备是否已因温度、剩余空间或内部回收进入限制状态。
  • 测试是否过短,只采集到了预热阶段。
  • 启用前后的内核、固件、文件系统或fio版本是否发生变化。

4. 平均延迟改善,但p99.9没有改善

这种结果通常说明典型请求变快了,但长尾来源并不在单一软件队列。可能的影响因素包括:

  • NVMe内部垃圾回收或写放大。
  • 设备温度变化。
  • 中断跨NUMA节点传递。
  • 其他进程争用CPU或内存带宽。
  • 混合读写中的写请求阻塞。
  • 文件系统后台写回或日志提交。

如果业务对长尾敏感,应把p99或p99.9纳入验收,不应因为平均值下降就判定配置完成。

七、建立可执行的验收边界

没有统一的“延迟降低多少才算成功”,因为不同业务的目标不同。可以建立分层判断标准:

七、建立可执行的验收边界配图

验收层级建议判断方式适用场景
配置层系统识别到预期队列,CPU和中断分布没有明显异常验证配置是否生效
性能层高并发场景下IOPS或吞吐提升,p95/p99不超过目标缓存、搜索、虚拟化
业务层在实际请求模型下,事务或接口p99满足SLO数据库、在线服务
容量层达到目标吞吐后仍保留CPU、温度和延迟余量长期运行和扩容规划

在没有既有SLO时,可以把以下数值作为示例性的内部验收门槛,而不是通用标准:

  • 高并发场景吞吐提升至少15%。
  • p99延迟下降至少10%,或在吞吐提升时仍不超过原目标的110%。
  • p99.9不出现持续性恶化。
  • CPU系统态不长期接近单核或整机上限。
  • 测试结束后延迟没有因温度或设备内部回收持续爬升。
  • 连续三轮测试的p99差异控制在约10%以内,避免偶然峰值影响判断。

对于延迟敏感业务,优先级可以设为:

  1. 先满足p99或p99.9延迟上限。
  2. 再确认目标并发下的IOPS和吞吐。
  3. 最后评估CPU、温度和NUMA余量。

对于吞吐型业务,则可以在延迟不超过业务阈值的前提下,选择更高的并发深度。超过该阈值后,即使IOPS继续增加,也不应继续扩大队列深度。

八、复测条件与容量判断

一次fio结果只能说明某个负载点,不能覆盖所有业务。完成初测后,至少保留三类复测条件:

  • 低并发:QD1或接近真实单请求业务的深度。
  • 中并发:例如QD4、QD8,观察延迟曲线从低负载到饱和的变化。
  • 高并发:例如QD32或业务峰值并发,确认多队列是否产生实际收益。

建议每组测试进行三轮,保留预热时间,并记录中位数和最大偏差。若三轮p99分别为260、275和268微秒,可以认为结果相对稳定;如果分别为260、480和310微秒,则应先处理温度、后台任务或设备状态差异,再讨论配置收益。

容量判断可以采用“延迟拐点”方法:逐步提高iodepth或并发任务数,记录IOPS和p99延迟。当IOPS增长开始变慢,而p99延迟快速上升时,通常已经接近设备或主机处理能力边界。多队列配置的可用容量,应取满足业务p99上限时的并发量,而不是延迟失控后的最高IOPS。

八、复测条件与容量判断配图

最终验收记录至少应包含:

  • NVMe型号、固件、内核和fio版本。
  • 测试文件或设备范围。
  • 读写模式、块大小、队列深度和并发任务数。
  • p50、p95、p99、p99.9延迟。
  • IOPS、吞吐、CPU系统态、iowait和温度。
  • 启用前后对照结果。
  • 业务延迟上限和最终判定。

这样才能回答“NVMe多队列是否有效”这一问题:不是看队列数量是否变多,而是看在目标并发和目标业务负载下,I/O尾延迟是否降低、吞吐是否提升,并且CPU、温度和设备状态仍保留足够的长期运行余量。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5004.html

相关推荐