物理服务器启用NVMe多队列后,如何用I/O延迟验证配置效果
NVMe多队列是否配置有效,不能只看系统里出现了多少个I/O队列,也不能只看一次压测的峰值IOPS。更可靠的验收方式是:在相同硬件、内核、文件系统和业务负载下,对比启用前后的完成延迟,重点观察p95、p99和p99.9,同时核对吞吐、并发深度、CPU占用与队列利用情况是否匹配。
如果业务主要是单线程、同步、QD1的小块随机I/O,多队列启用后延迟可能几乎不变,这是正常现象;如果业务存在多个并发线程或较高I/O深度,则应观察在相同吞吐目标下延迟是否下降,或在相同延迟上限内是否能够承载更多IOPS。最终是否达标,应以业务的延迟SLO和并发场景为边界,而不是以队列数量本身作为结论。
围绕NVMe存储与并行I/O场景,A5数据提供香港、美国、日本等地区的物理服务器资源,覆盖Xeon Gold、AMD EPYC等平台,并配备SSD或NVMe存储及不同内存规格,可为数据库、业务后台、接口服务和多任务计算提供稳定的硬件基础。结合CN2、国际带宽及多地区部署方案,能够匹配不同访问区域与业务负载下的服务器资源需求。
一、先明确测试目标:验证延迟改善,而不是追逐峰值
物理服务器启用NVMe多队列,通常是为了让多个CPU核、多个应用线程能够并行提交和完成I/O,减少单一软件队列或锁竞争带来的排队等待。验收时需要先回答三个问题:
例如:
- 数据库日志写入更关注同步写入的p99延迟,平均值较低但偶发长尾,仍可能影响事务提交。
- 缓存或搜索服务通常同时关注4 KiB随机读的p95、p99和IOPS。
- 虚拟化、文件服务或批处理任务更关注高并发下的吞吐和队列堆积。
- 备份、归档等顺序I/O场景,可能更关注带宽,不能用低QD随机读的结果判断多队列价值。
因此,验收目标可以写成类似下面的形式:
在4 KiB随机读、4个并发任务、每个任务QD32的场景下,p99延迟不超过300微秒,吞吐达到2.5 GiB/s,CPU总占用保持在可接受范围内。
这类目标同时限定了I/O类型、块大小、并发数量、队列深度、延迟指标和吞吐要求,测试结果才具有可比性。
二、I/O延迟指标分别代表什么
1. 平均延迟不能单独作为验收依据
平均延迟适合观察整体趋势,但容易掩盖尾部请求。例如,100万个请求中有少量请求因为队列等待、设备内部回收或CPU调度被延迟数毫秒,平均值可能仍然很好看,但这些长尾可能直接对应业务超时。
建议至少记录以下分位延迟:
- p50:中位数,反映典型请求的体验。
- p90或p95:大多数请求的稳定性。
- p99:高并发业务常用的尾延迟指标。
- p99.9:对数据库、交易、低延迟服务等更敏感,适合发现极少量长尾。
fio输出中的完成延迟通常以clat表示,即I/O从提交到完成的时间。iostat -x中的await则更接近设备层面观察到的平均等待时间,包含排队和服务过程。二者不能简单视为同一个指标,但可以互相印证。
2. 用延迟分布判断多队列是否真正发挥作用
可以把延迟结果按下表理解:
| 结果表现 | 可能含义 | 是否能证明配置有效 |
|---|---|---|
| p50、p99、吞吐都改善 | 并发I/O处理能力提高,且尾延迟没有恶化 | 证据较充分 |
| 吞吐提高,但p99明显升高 | 队列能够承载更多请求,但设备或CPU已接近饱和 | 只适合吞吐型业务 |
| p99下降,吞吐基本不变 | 原来主要受排队延迟影响,当前负载尚未达到设备带宽上限 | 对延迟敏感业务可能有效 |
| QD1几乎不变,QD32改善明显 | 多队列主要在高并发场景生效 | 符合常见特征 |
| 队列数量增加,但延迟和吞吐都不变 | 测试负载不足、CPU亲和性不合理,或瓶颈不在块设备 | 不能判定成功 |
| 平均延迟下降,但p99.9恶化 | 少数请求出现长尾,可能存在中断、NUMA或设备内部抖动 | 不宜直接验收通过 |
如果业务SLO规定“99%的请求必须低于500微秒”,那么p99比平均延迟更重要;如果规定的是“99.9%的事务低于2毫秒”,就应持续记录p99.9,不能只报告平均值和p50。
3. 先区分软件队列、硬件队列和队列深度
多队列相关指标经常被混用:
- 队列数量表示可以并行处理请求的通道数量。
iodepth表示单个fio任务保持的未完成I/O数量。numjobs表示并行任务数量。- 总并发I/O大致可理解为
iodepth × numjobs,但实际值还受应用提交方式和设备处理能力影响。 nr_requests通常是块层请求队列参数,不等同于NVMe控制器硬件队列数量。
例如,iodepth=1、numjobs=1只能产生很低的并发,即使服务器有很多CPU核和NVMe队列,也没有足够请求让这些队列工作。反过来,iodepth=64、numjobs=8可能已经让设备进入饱和区,此时继续增大队列深度,往往只会增加延迟。
三、测试前固定影响变量
多队列前后对比必须尽可能保持条件一致。否则,结果变化可能来自测试环境,而不是配置本身。
1. 固定软件和硬件环境
至少记录以下信息:
uname -r
lscpu
nvme list
lsblk -o NAME,MODEL,SERIAL,SIZE,ROTA,TYPE,MOUNTPOINTS
fio --version
测试前后应尽量保持以下条件不变:
- Linux内核和NVMe驱动版本。
- NVMe固件、PCIe插槽和链路速率。
- 文件系统、挂载参数和测试文件位置。
- fio版本、ioengine、块大小和读写比例。
- CPU频率策略、超线程状态和NUMA拓扑。
- 测试时是否存在备份、扫描、压缩、数据库刷新等后台任务。
- NVMe温度、设备剩余容量和长期写入状态。
NVMe设备在温度升高或内部垃圾回收期间,延迟可能暂时升高。启用多队列前后的测试如果不处于相近的温度和设备状态,尾延迟对比会失真。
2. 核对系统是否确实暴露了多队列
以下命令用于查看块设备队列和NVMe控制器信息。不同内核版本的sysfs路径可能略有差异,因此不能只依赖某一个文件存在与否。

for f in \
/sys/class/nvme/nvme0/queue_count \
/sys/block/nvme0n1/queue/nr_requests \
/sys/block/nvme0n1/queue/scheduler
do
if [ -r "$f" ]; then
echo "== $f =="
cat "$f"
fi
done
echo "== blk-mq software queues =="
find /sys/block/nvme0n1/mq -mindepth 1 -maxdepth 1 -type d 2>/dev/null | sort
echo "== NVMe interrupts =="
grep -i nvme /proc/interrupts
检查时重点看:
nvme0n1/mq下是否存在多个软件队列目录。- NVMe控制器报告的队列数量是否与预期相符。
- 中断是否集中在少数CPU上。
- 队列是否跨越多个NUMA节点,导致请求频繁跨节点访问。
nr_requests是否过小,使高并发请求过早在上层排队。
队列数量增加只能说明配置被系统识别,不能直接说明应用获得了更低延迟。最终仍要回到同一负载下的延迟分布。
四、用相同负载做基线和启用后的对照
1. 优先使用独立测试文件
如果没有专用测试盘,应在目标NVMe挂载点创建独立测试目录和测试文件,避免直接对生产分区或裸设备执行写入测试。裸设备写测试可能覆盖已有数据,涉及破坏性操作时必须先完成数据备份、确认设备范围,并准备恢复方案。
下面示例使用挂载点/mnt/nvme-test和20 GiB测试文件,适用于独立测试文件场景。20 GiB只是示例值,实际应根据设备容量和业务工作集调整。
先进行一次顺序写入,让测试文件具备实际数据:
fio --name=prepare \
--filename=/mnt/nvme-test/testfile \
--rw=write \
--bs=1M \
--size=20G \
--ioengine=libaio \
--iodepth=16 \
--numjobs=1 \
--direct=1 \
--group_reporting=1
这一步会产生实际写入和设备磨损,不应在没有确认路径的生产文件上执行。测试文件必须位于待验证的NVMe文件系统中,不能因为目录路径错误而实际落到系统盘。
2. 设置低并发和高并发两组场景
低并发测试用于判断多队列是否改变单请求延迟:
fio --name=randread-qd1 \
--filename=/mnt/nvme-test/testfile \
--rw=randread \
--bs=4k \
--size=20G \
--ioengine=libaio \
--iodepth=1 \
--numjobs=1 \
--direct=1 \
--runtime=120 \
--ramp_time=30 \
--time_based=1 \
--group_reporting=1 \
--lat_percentiles=1 \
--percentile_list=50:90:95:99:99.9 \
--output=/mnt/nvme-test/randread-q d1.txt
上面命令中的输出文件路径不能包含空格。实际执行时应使用如下写法:
fio --name=randread-q d1 \
--filename=/mnt/nvme-test/testfile \
--rw=randread \
--bs=4k \
--size=20G \
--ioengine=libaio \
--iodepth=1 \
--numjobs=1 \
--direct=1 \
--runtime=120 \
--ramp_time=30 \
--time_based=1 \
--group_reporting=1 \
--lat_percentiles=1 \
--percentile_list=50:90:95:99:99.9
为避免示例中的空格造成误用,建议使用不带空格的任务名:
fio --name=randread_qd1 \
--filename=/mnt/nvme-test/testfile \
--rw=randread \
--bs=4k \
--size=20G \
--ioengine=libaio \
--iodepth=1 \
--numjobs=1 \
--direct=1 \
--runtime=120 \
--ramp_time=30 \
--time_based=1 \
--group_reporting=1 \
--lat_percentiles=1 \
--percentile_list=50:90:95:99:99.9
高并发测试用于观察多队列的并行处理能力:
fio --name=randread_qd32 \
--filename=/mnt/nvme-test/testfile \
--rw=randread \
--bs=4k \
--size=20G \
--ioengine=libaio \
--iodepth=32 \
--numjobs=4 \
--direct=1 \
--runtime=120 \
--ramp_time=30 \
--time_based=1 \
--group_reporting=1 \
--lat_percentiles=1 \
--percentile_list=50:90:95:99:99.9
这里每个任务的队列深度为32,共4个任务,总未完成I/O的理论上限约为128。该值不是固定标准,只用于构造高并发对照。实际业务如果是8个应用线程、每线程QD8,则应优先按业务模型测试,而不是直接套用QD32。
如果系统没有可用的libaio引擎,应先核验fio支持的引擎:
fio --enghelp
部分较新的系统可以使用io_uring,但必须确保内核、fio版本和权限条件兼容。测试前后不得随意更换ioengine,否则延迟变化无法归因于多队列。
3. 同步采集设备、CPU和内存指标
运行fio期间,可在另一个终端采集系统指标:
iostat -x 1
mpstat -P ALL 1
vmstat 1
重点记录:
await:设备层面平均等待时间。r/s、w/s:读写请求速率。rkB/s、wkB/s:读写带宽。%util:设备忙碌程度,但在高并行NVMe上不能单独作为饱和依据。- CPU用户态、系统态和iowait占比。
- 上下文切换、运行队列和内存回收情况。
- 不同CPU核之间是否出现单核过高、其他核心空闲。
如果配置后IOPS提高,但CPU系统态从25%升至80%,同时p99延迟没有改善,那么瓶颈可能已经从块层队列转移到中断处理、系统调用或NUMA访问,不能简单称为多队列验收成功。
五、用示例数据判断结果是否成立
下面是一组用于说明分析方法的模拟结果,不代表特定型号NVMe或实际服务器测试结果。测试条件为4 KiB随机读,测试文件位于同一块NVMe,启用前后使用相同fio参数。

| 场景 | 配置状态 | IOPS | 吞吐 | p50 | p99 | p99.9 | CPU系统态 |
|---|---|---|---|---|---|---|---|
| QD1,1任务 | 启用前 | 94,000 | 367.2 MiB/s | 9.8 μs | 18.6 μs | 42 μs | 7% |
| QD1,1任务 | 启用后 | 96,000 | 375.0 MiB/s | 9.6 μs | 18.1 μs | 41 μs | 7% |
| QD32,4任务 | 启用前 | 520,000 | 2,031.3 MiB/s | 62 μs | 420 μs | 1.20 ms | 39% |
| QD32,4任务 | 启用后 | 760,000 | 2,968.8 MiB/s | 54 μs | 270 μs | 690 μs | 47% |
从这组数据可以得出几个条件化结论:
- QD1场景变化很小,说明低并发、单线程请求没有明显利用多队列的并行能力。
- QD32场景的IOPS和吞吐明显提高,同时p99从420微秒下降到270微秒,说明多队列不仅提高了处理能力,也减少了软件层排队。
- p99.9从1.20毫秒降至690微秒,尾部改善幅度大于p50,说明原先部分长尾请求确实与队列等待有关。
- CPU系统态上升8个百分点,说明性能收益伴随更高的中断和I/O处理开销,需要结合服务器余量判断是否适合长期运行。
4 KiB随机读的带宽换算也应保持口径一致。以760,000 IOPS为例:
- 二进制口径:760,000 × 4 KiB ÷ 1024 = 2,968.75 MiB/s。
- 十进制口径:760,000 × 4,096 Byte ÷ 1,000,000 = 3,112.96 MB/s。
因此,报告中不能把2,968.8 MiB/s和3,112.96 MB/s当成两个互相矛盾的结果,它们只是换算口径不同。
六、常见结果应该如何解释
1. 只有高QD改善,低QD不变
这是多队列最常见的结果之一。低QD下没有足够的并发请求,单个I/O的设备服务时间占主要部分,启用更多队列并不能显著减少这部分时间。
如果实际业务是数据库同步日志、单线程任务或大量QD1请求,应优先按照QD1、QD2和QD4的延迟验收;不能用QD32下的高IOPS推断业务一定受益。
2. 吞吐提高,但p99延迟升高
例如启用前吞吐为2.0 GiB/s、p99为300微秒,启用后吞吐达到3.0 GiB/s、p99升至650微秒。对于备份和批处理,吞吐提升可能有价值;对于在线数据库或接口服务,则可能无法接受。
这说明队列带来了更多并行请求,但设备内部服务时间、CPU处理或PCIe链路已经接近上限。此时需要使用业务的最大允许延迟作为边界,而不是只看吞吐增长百分比。
3. 队列数量增加,但测试结果不变
应优先检查以下因素:
- fio是否使用了同步ioengine,导致
iodepth没有真正生效。 numjobs是否为1,且应用本身没有并发提交。- 测试文件是否位于目标NVMe,而不是系统盘或网络文件系统。
- CPU亲和性和NVMe中断是否集中在少数核心。
- NUMA节点与PCIe插槽是否匹配。
- 设备是否已因温度、剩余空间或内部回收进入限制状态。
- 测试是否过短,只采集到了预热阶段。
- 启用前后的内核、固件、文件系统或fio版本是否发生变化。
4. 平均延迟改善,但p99.9没有改善
这种结果通常说明典型请求变快了,但长尾来源并不在单一软件队列。可能的影响因素包括:
- NVMe内部垃圾回收或写放大。
- 设备温度变化。
- 中断跨NUMA节点传递。
- 其他进程争用CPU或内存带宽。
- 混合读写中的写请求阻塞。
- 文件系统后台写回或日志提交。
如果业务对长尾敏感,应把p99或p99.9纳入验收,不应因为平均值下降就判定配置完成。
七、建立可执行的验收边界
没有统一的“延迟降低多少才算成功”,因为不同业务的目标不同。可以建立分层判断标准:

| 验收层级 | 建议判断方式 | 适用场景 |
|---|---|---|
| 配置层 | 系统识别到预期队列,CPU和中断分布没有明显异常 | 验证配置是否生效 |
| 性能层 | 高并发场景下IOPS或吞吐提升,p95/p99不超过目标 | 缓存、搜索、虚拟化 |
| 业务层 | 在实际请求模型下,事务或接口p99满足SLO | 数据库、在线服务 |
| 容量层 | 达到目标吞吐后仍保留CPU、温度和延迟余量 | 长期运行和扩容规划 |
在没有既有SLO时,可以把以下数值作为示例性的内部验收门槛,而不是通用标准:
- 高并发场景吞吐提升至少15%。
- p99延迟下降至少10%,或在吞吐提升时仍不超过原目标的110%。
- p99.9不出现持续性恶化。
- CPU系统态不长期接近单核或整机上限。
- 测试结束后延迟没有因温度或设备内部回收持续爬升。
- 连续三轮测试的p99差异控制在约10%以内,避免偶然峰值影响判断。
对于延迟敏感业务,优先级可以设为:
- 先满足p99或p99.9延迟上限。
- 再确认目标并发下的IOPS和吞吐。
- 最后评估CPU、温度和NUMA余量。
对于吞吐型业务,则可以在延迟不超过业务阈值的前提下,选择更高的并发深度。超过该阈值后,即使IOPS继续增加,也不应继续扩大队列深度。
八、复测条件与容量判断
一次fio结果只能说明某个负载点,不能覆盖所有业务。完成初测后,至少保留三类复测条件:
- 低并发:QD1或接近真实单请求业务的深度。
- 中并发:例如QD4、QD8,观察延迟曲线从低负载到饱和的变化。
- 高并发:例如QD32或业务峰值并发,确认多队列是否产生实际收益。
建议每组测试进行三轮,保留预热时间,并记录中位数和最大偏差。若三轮p99分别为260、275和268微秒,可以认为结果相对稳定;如果分别为260、480和310微秒,则应先处理温度、后台任务或设备状态差异,再讨论配置收益。
容量判断可以采用“延迟拐点”方法:逐步提高iodepth或并发任务数,记录IOPS和p99延迟。当IOPS增长开始变慢,而p99延迟快速上升时,通常已经接近设备或主机处理能力边界。多队列配置的可用容量,应取满足业务p99上限时的并发量,而不是延迟失控后的最高IOPS。

最终验收记录至少应包含:
- NVMe型号、固件、内核和fio版本。
- 测试文件或设备范围。
- 读写模式、块大小、队列深度和并发任务数。
- p50、p95、p99、p99.9延迟。
- IOPS、吞吐、CPU系统态、iowait和温度。
- 启用前后对照结果。
- 业务延迟上限和最终判定。
这样才能回答“NVMe多队列是否有效”这一问题:不是看队列数量是否变多,而是看在目标并发和目标业务负载下,I/O尾延迟是否降低、吞吐是否提升,并且CPU、温度和设备状态仍保留足够的长期运行余量。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5004.html



