物理服务器NVMe队列深度怎么看,如何判断队列过高拖慢I/O
队列深度高,不一定代表 NVMe 性能差;它表示有较多 I/O 请求同时处于处理中或等待处理中。只有当队列增加后吞吐提升有限、延迟尤其是高分位延迟持续上升,才说明继续加深队列可能是在增加等待,而不是有效利用设备。
判断物理服务器上的 NVMe 队列是否拖慢 I/O,重点看实际在途请求数、吞吐变化和 p95/p99 延迟,并结合 CPU、内存、设备温度及业务负载分析。不要只凭某个队列参数或单次 %util 数值下结论。
一、先明确要判断什么
测试的目的不是找一个“通用最佳队列深度”,而是找到满足业务延迟要求时,设备可以持续承载的并发量。相同的 NVMe 盘,在 4K 随机读、顺序读、混合读写和同步写入等负载下,合适的队列深度可能不同。
先把业务目标写成可检验的条件,例如:峰值需要多少 IOPS 或 MB/s,p99 延迟不能超过多少,读写比例和块大小是什么。对于数据库、虚拟化存储或在线服务,延迟上限通常比跑出单次最高 IOPS 更有参考意义。
还要区分“设置的并发量”和“设备实际观察到的队列”。fio 的 iodepth 是每个作业尝试保持的在途 I/O 数,numjobs 是作业数,两者乘积只是并发量的上限估计。具体能达到多少,还受 I/O 引擎、文件系统、请求合并和系统调度影响,应检查 fio 输出中的实际队列深度分布。
二、需要一起看的指标
| 指标 | 表示什么 | 判断时注意 |
|---|---|---|
| IOPS | 每秒完成的 I/O 请求数 | 必须注明块大小和读写类型;4K 随机 IOPS 不能直接代表顺序吞吐 |
| 吞吐量 | 每秒传输的数据量 | 与块大小、读写比例有关;吞吐上升是否值得,要结合延迟看 |
| 平均延迟、p95、p99 | 请求完成时间及尾部表现 | 平均值可能掩盖少量慢请求;在线业务应重点看高分位延迟 |
| 实际队列长度 | 平均有多少请求处于处理中或等待中 | iostat 的 aqu-sz 是观察线索,不等于 fio 的 iodepth 参数 |
| CPU 与内存 | 主机处理 I/O 的能力和缓存、回收状态 | CPU 饱和、软中断压力或内存回收都可能影响结果 |
%util | 统计区间内设备忙碌的时间比例 | 对多队列 NVMe 来说不能单独作为是否饱和的结论 |
在 Linux 上,可以用 iostat -x 1 观察 await、aqu-sz、读写速率和 %util。await 通常包含请求排队和处理所用时间,适合观察变化趋势;但它是区间平均值,不能代替应用侧的 p99。NVMe 的队列并行度较高,即便 %util 接近 100%,也不一定意味着设备已达到性能上限。
队列长度与吞吐、延迟之间可以用平均值近似理解:平均在途请求数 ≈ IOPS × 平均延迟(秒)。例如,平均延迟为 0.5 毫秒、吞吐为 10 万 IOPS 时,对应的平均在途请求数约为 50。这个关系用于解释负载,不代表应直接把某个内核队列参数设为 50。
三、让测试条件可比较
队列深度不是孤立变量。以下条件改变后,测试结果可能明显不同:
- I/O 类型和块大小:4K 随机读更关注 IOPS 和尾延迟;大块顺序读更关注带宽。混合读写还要固定读写比例。
- 同步与持久化要求:带有同步写、刷新或持久化语义的工作负载,与普通异步写入不能直接比较。
- 缓存和文件系统:缓冲 I/O 可能由内存页缓存响应。使用
direct=1可减少页缓存对测试结果的干扰,但仍不能代表所有应用路径。 - 主机和设备状态:PCIe 链路、CPU 调度、IRQ 分布、温度和固件状态都可能影响表现。持续负载下设备降速,也会让高队列看起来像是“越压越慢”。
- 背景负载:同盘上的数据库、日志写入、虚拟机或其他测试任务会争用设备资源。应记录测试时的实际负载,避免多组测试相互干扰。
如果使用 fio,可在隔离的测试卷上对一个已经存在的测试文件进行只读测试。下面是单作业、队列深度为 1 的示例;后续可分别将 iodepth 改为 2、4、8、16 等值,每次只运行一组:
fio --name=qd-test \
--filename=/mnt/bench/read-set.bin \
--readonly=1 \
--rw=randread --bs=4k \
--ioengine=libaio --direct=1 \
--iodepth=1 --numjobs=1 \
--time_based=1 --runtime=60 --ramp_time=10 \
--group_reporting=1
测试文件需要事先准备好;不要把测试路径改成生产数据设备或重要业务文件。只读测试也会消耗设备资源,可能影响同盘业务。实际评估时应使用接近业务的读写比例、块大小和并发模式,并确认 fio 输出的实际队列深度接近预期。若测试引擎或运行方式未能形成有效异步并发,增大 iodepth 参数也不一定会增加实际队列。
四、用吞吐增益和延迟拐点解释结果
下面是一组用于说明判断方式的模拟 4K 随机读数据,不代表特定型号或固定性能范围:

| fio 设置队列深度 | IOPS | p99 延迟 |
|---|---|---|
| 1 | 20,000 | 0.15 毫秒 |
| 4 | 72,000 | 0.23 毫秒 |
| 16 | 176,000 | 0.55 毫秒 |
| 32 | 213,000 | 1.25 毫秒 |
| 64 | 218,000 | 3.10 毫秒 |
从队列深度 1 增至 16,吞吐明显提高,延迟也有所上升;从 32 增至 64,IOPS 增长很小,p99 却显著变差。若业务的 p99 预算是 1 毫秒,队列深度 32 已不满足目标;即使业务预算更宽,继续加到 64 也可能没有足够的吞吐收益来抵消延迟代价。
实际判断可按以下方式展开:

- 吞吐上升,延迟仍在预算内:增加并发可能仍有价值。继续测试,直到吞吐增益变小,或延迟接近业务上限。
- 吞吐基本不变,p95/p99 持续上升:更像是到达设备或主机的并发超过了有效处理能力。此时应考虑限制应用并发或队列,而不是继续追求更大的深度。
- 队列不高,但吞吐低、延迟高:先检查负载是否匹配、设备温度和健康状态、PCIe 链路、CPU 压力、后台 I/O 及文件系统路径。单纯调高队列可能只会堆积更多请求。
%util很高但延迟和吞吐稳定:不能仅凭这一项认定故障或饱和。还要看吞吐是否接近目标、尾延迟是否恶化,以及增加并发是否仍能带来有效收益。
可以把“吞吐增幅低于约 5%–10%,而 p99 明显恶化”作为内部复测的一个参考判据,但它不是适用于所有业务的硬性阈值。最终边界应由业务延迟预算决定,而不是由某个固定的 NVMe 队列数决定。
五、分清设备队列与软件设置
NVMe 支持多组提交队列和完成队列,Linux 也会按设备和 CPU 并行处理请求。因此,fio 的 iodepth、numjobs、iostat 的平均队列长度,以及驱动或块层的队列配置,并不是同一个概念。

/sys/block/<设备>/queue/nr_requests 等块层参数也不能简单理解为“NVMe 控制器的实际队列深度”。不同内核、驱动和设备可能采用不同的队列组织方式。生产环境中,不宜因为看到一个高队列数就直接修改内核模块参数或块层配置;应先确认瓶颈在设备、主机还是应用并发,并在维护窗口中对改动做可回退的对照测试。
CPU 指标也要结合观察。CPU 使用率、软中断和 I/O 相关进程的消耗可以帮助判断主机是否先于设备达到瓶颈;%iowait 只能作为辅助线索,不能单独证明存储设备有问题。内存压力和缓存命中也会改变读写路径,比较测试结果时应保持运行条件一致。
六、用业务边界做容量判断
队列深度的可用范围应从目标工作负载推导。先以业务峰值的读写模式进行测试,再逐步增加并发,记录每档的 IOPS、吞吐、平均延迟、p95/p99 和实际队列长度。选择能满足延迟预算、并且吞吐仍有实际收益的区间,而不是选择跑分最高的一档。
容量评估还要留出峰值余量:在代表性负载下测得的可持续 IOPS,应高于业务峰值需求;预留多少取决于突发流量、后台任务和增长预期。若高峰期间延迟已贴近上限,即便平均吞吐尚有余量,也应按尾延迟和突发并发重新评估。
复测时保持测试文件、块大小、读写比例、队列步进、运行时长和主机状态一致,并至少重复多轮。若结果随温度或运行时间持续变差,应把设备热状态和持续负载纳入容量判断;若只在高并发时恶化,则应优先确认应用并发是否超过业务可接受范围。这样得到的队列边界,才更接近服务器在实际负载下能够稳定承载的水平。
A5数据面向数据库、业务后台、接口服务及多任务计算等场景,提供中国香港、美国、日本、韩国、中国台湾、新加坡和马来西亚等地区的物理服务器租用,覆盖Xeon Gold、AMD EPYC等平台,并提供SSD或NVMe存储及不同内存配置。针对关注存储并发、持续读写和业务延迟的应用,可结合地区、处理器、内存、磁盘与带宽资源,匹配相应的服务器方案。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/6062.html