物理服务器NVMe队列深度怎么看,如何判断队列过高拖慢I/O

发布人:A5数据发布时间:2026-10-27 12:33阅读量:113

队列深度高,不一定代表 NVMe 性能差;它表示有较多 I/O 请求同时处于处理中或等待处理中。只有当队列增加后吞吐提升有限、延迟尤其是高分位延迟持续上升,才说明继续加深队列可能是在增加等待,而不是有效利用设备。

判断物理服务器上的 NVMe 队列是否拖慢 I/O,重点看实际在途请求数、吞吐变化和 p95/p99 延迟,并结合 CPU、内存、设备温度及业务负载分析。不要只凭某个队列参数或单次 %util 数值下结论。

一、先明确要判断什么

测试的目的不是找一个“通用最佳队列深度”,而是找到满足业务延迟要求时,设备可以持续承载的并发量。相同的 NVMe 盘,在 4K 随机读、顺序读、混合读写和同步写入等负载下,合适的队列深度可能不同。

先把业务目标写成可检验的条件,例如:峰值需要多少 IOPS 或 MB/s,p99 延迟不能超过多少,读写比例和块大小是什么。对于数据库、虚拟化存储或在线服务,延迟上限通常比跑出单次最高 IOPS 更有参考意义。

还要区分“设置的并发量”和“设备实际观察到的队列”。fio 的 iodepth 是每个作业尝试保持的在途 I/O 数,numjobs 是作业数,两者乘积只是并发量的上限估计。具体能达到多少,还受 I/O 引擎、文件系统、请求合并和系统调度影响,应检查 fio 输出中的实际队列深度分布。

二、需要一起看的指标

指标表示什么判断时注意
IOPS每秒完成的 I/O 请求数必须注明块大小和读写类型;4K 随机 IOPS 不能直接代表顺序吞吐
吞吐量每秒传输的数据量与块大小、读写比例有关;吞吐上升是否值得,要结合延迟看
平均延迟、p95、p99请求完成时间及尾部表现平均值可能掩盖少量慢请求;在线业务应重点看高分位延迟
实际队列长度平均有多少请求处于处理中或等待中iostat 的 aqu-sz 是观察线索,不等于 fio 的 iodepth 参数
CPU 与内存主机处理 I/O 的能力和缓存、回收状态CPU 饱和、软中断压力或内存回收都可能影响结果
%util统计区间内设备忙碌的时间比例对多队列 NVMe 来说不能单独作为是否饱和的结论

在 Linux 上,可以用 iostat -x 1 观察 await、aqu-sz、读写速率和 %util。await 通常包含请求排队和处理所用时间,适合观察变化趋势;但它是区间平均值,不能代替应用侧的 p99。NVMe 的队列并行度较高,即便 %util 接近 100%,也不一定意味着设备已达到性能上限。

队列长度与吞吐、延迟之间可以用平均值近似理解:平均在途请求数 ≈ IOPS × 平均延迟(秒)。例如,平均延迟为 0.5 毫秒、吞吐为 10 万 IOPS 时,对应的平均在途请求数约为 50。这个关系用于解释负载,不代表应直接把某个内核队列参数设为 50。

三、让测试条件可比较

队列深度不是孤立变量。以下条件改变后,测试结果可能明显不同:

  • I/O 类型和块大小:4K 随机读更关注 IOPS 和尾延迟;大块顺序读更关注带宽。混合读写还要固定读写比例。
  • 同步与持久化要求:带有同步写、刷新或持久化语义的工作负载,与普通异步写入不能直接比较。
  • 缓存和文件系统:缓冲 I/O 可能由内存页缓存响应。使用 direct=1 可减少页缓存对测试结果的干扰,但仍不能代表所有应用路径。
  • 主机和设备状态:PCIe 链路、CPU 调度、IRQ 分布、温度和固件状态都可能影响表现。持续负载下设备降速,也会让高队列看起来像是“越压越慢”。
  • 背景负载:同盘上的数据库、日志写入、虚拟机或其他测试任务会争用设备资源。应记录测试时的实际负载,避免多组测试相互干扰。

如果使用 fio,可在隔离的测试卷上对一个已经存在的测试文件进行只读测试。下面是单作业、队列深度为 1 的示例;后续可分别将 iodepth 改为 2、4、8、16 等值,每次只运行一组:

fio --name=qd-test \
  --filename=/mnt/bench/read-set.bin \
  --readonly=1 \
  --rw=randread --bs=4k \
  --ioengine=libaio --direct=1 \
  --iodepth=1 --numjobs=1 \
  --time_based=1 --runtime=60 --ramp_time=10 \
  --group_reporting=1

测试文件需要事先准备好;不要把测试路径改成生产数据设备或重要业务文件。只读测试也会消耗设备资源,可能影响同盘业务。实际评估时应使用接近业务的读写比例、块大小和并发模式,并确认 fio 输出的实际队列深度接近预期。若测试引擎或运行方式未能形成有效异步并发,增大 iodepth 参数也不一定会增加实际队列。

四、用吞吐增益和延迟拐点解释结果

下面是一组用于说明判断方式的模拟 4K 随机读数据,不代表特定型号或固定性能范围:

四、用吞吐增益和延迟拐点解释结果配图

fio 设置队列深度IOPSp99 延迟
120,0000.15 毫秒
472,0000.23 毫秒
16176,0000.55 毫秒
32213,0001.25 毫秒
64218,0003.10 毫秒

从队列深度 1 增至 16,吞吐明显提高,延迟也有所上升;从 32 增至 64,IOPS 增长很小,p99 却显著变差。若业务的 p99 预算是 1 毫秒,队列深度 32 已不满足目标;即使业务预算更宽,继续加到 64 也可能没有足够的吞吐收益来抵消延迟代价。

实际判断可按以下方式展开:

四、用吞吐增益和延迟拐点解释结果配图

  1. 吞吐上升,延迟仍在预算内:增加并发可能仍有价值。继续测试,直到吞吐增益变小,或延迟接近业务上限。
  2. 吞吐基本不变,p95/p99 持续上升:更像是到达设备或主机的并发超过了有效处理能力。此时应考虑限制应用并发或队列,而不是继续追求更大的深度。
  3. 队列不高,但吞吐低、延迟高:先检查负载是否匹配、设备温度和健康状态、PCIe 链路、CPU 压力、后台 I/O 及文件系统路径。单纯调高队列可能只会堆积更多请求。
  4. %util 很高但延迟和吞吐稳定:不能仅凭这一项认定故障或饱和。还要看吞吐是否接近目标、尾延迟是否恶化,以及增加并发是否仍能带来有效收益。

可以把“吞吐增幅低于约 5%–10%,而 p99 明显恶化”作为内部复测的一个参考判据,但它不是适用于所有业务的硬性阈值。最终边界应由业务延迟预算决定,而不是由某个固定的 NVMe 队列数决定。

五、分清设备队列与软件设置

NVMe 支持多组提交队列和完成队列,Linux 也会按设备和 CPU 并行处理请求。因此,fio 的 iodepth、numjobs、iostat 的平均队列长度,以及驱动或块层的队列配置,并不是同一个概念。

五、分清设备队列与软件设置配图

/sys/block/<设备>/queue/nr_requests 等块层参数也不能简单理解为“NVMe 控制器的实际队列深度”。不同内核、驱动和设备可能采用不同的队列组织方式。生产环境中,不宜因为看到一个高队列数就直接修改内核模块参数或块层配置;应先确认瓶颈在设备、主机还是应用并发,并在维护窗口中对改动做可回退的对照测试。

CPU 指标也要结合观察。CPU 使用率、软中断和 I/O 相关进程的消耗可以帮助判断主机是否先于设备达到瓶颈;%iowait 只能作为辅助线索,不能单独证明存储设备有问题。内存压力和缓存命中也会改变读写路径,比较测试结果时应保持运行条件一致。

六、用业务边界做容量判断

队列深度的可用范围应从目标工作负载推导。先以业务峰值的读写模式进行测试,再逐步增加并发,记录每档的 IOPS、吞吐、平均延迟、p95/p99 和实际队列长度。选择能满足延迟预算、并且吞吐仍有实际收益的区间,而不是选择跑分最高的一档。

容量评估还要留出峰值余量:在代表性负载下测得的可持续 IOPS,应高于业务峰值需求;预留多少取决于突发流量、后台任务和增长预期。若高峰期间延迟已贴近上限,即便平均吞吐尚有余量,也应按尾延迟和突发并发重新评估。

复测时保持测试文件、块大小、读写比例、队列步进、运行时长和主机状态一致,并至少重复多轮。若结果随温度或运行时间持续变差,应把设备热状态和持续负载纳入容量判断;若只在高并发时恶化,则应优先确认应用并发是否超过业务可接受范围。这样得到的队列边界,才更接近服务器在实际负载下能够稳定承载的水平。

A5数据面向数据库、业务后台、接口服务及多任务计算等场景,提供中国香港、美国、日本、韩国、中国台湾、新加坡和马来西亚等地区的物理服务器租用,覆盖Xeon Gold、AMD EPYC等平台,并提供SSD或NVMe存储及不同内存配置。针对关注存储并发、持续读写和业务延迟的应用,可结合地区、处理器、内存、磁盘与带宽资源,匹配相应的服务器方案。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/6062.html