物理服务器磁盘队列长度怎么看,怎样判断存储I/O成为瓶颈

发布人:A5数据发布时间:2026-10-25 11:00阅读量:121

磁盘队列长度不能单独用来判断物理服务器是否存储不足。更有价值的判断是:队列是否在业务高峰持续升高,磁盘延迟是否同步恶化,吞吐量或 IOPS 是否已经接近平台上限,以及 CPU、内存和应用并发是否仍有余量。

例如,NVMe 设备在高并发下可能长期保持几十甚至上百个未完成请求,但延迟仍符合业务要求;机械硬盘的队列长度只有几项,延迟就可能明显上升。因此,“队列长度超过某个固定数值就算瓶颈”的判断方式并不可靠。

指标与性能分析配图

测试目标:先明确要判断什么

同样是查看磁盘队列,排查线上慢请求和规划服务器容量,观察重点并不完全相同。

排查当前存储I/O瓶颈

线上出现数据库响应变慢、接口延迟升高、批处理耗时增加时,测试目标是确认:

  • 请求是否在存储层排队;
  • 排队是否导致读写延迟升高;
  • 存储设备的吞吐量或 IOPS 是否已经接近当前负载下的上限;
  • CPU、内存、文件系统或应用线程是否才是真正限制因素。

这类问题应重点关注业务异常时间段内的队列长度、读写延迟、IOPS、吞吐量和应用请求延迟,而不是只看某个时刻的监控截图。

评估服务器还能承载多少I/O

容量评估需要建立正常时段和高峰时段的基线,至少记录以下信息:

  • 读写比例;
  • 随机或顺序访问;
  • 单次I/O大小;
  • 平均与峰值 IOPS;
  • 平均吞吐量;
  • 平均延迟、P95 延迟和 P99 延迟;
  • 队列长度的平均值与峰值;
  • CPU 使用率、内存使用率和交换活动。

如果只记录“磁盘队列平均为 8”,却不知道这是 4 KiB 随机读、1 MiB 顺序写,还是数据库同步写,就无法据此判断设备是否达到瓶颈。

磁盘队列长度表示什么

磁盘队列长度可以理解为某个时间点或某个采样周期内,等待存储设备处理的请求数量。不同系统和工具的统计口径可能略有差异,有的统计等待中的请求,有的统计等待加正在处理的请求,因此跨平台比较时不能直接套用相同阈值。

需要区分三个概念:

  1. 瞬时队列长度:某一时刻正在等待或处理的请求数,变化较快。
  2. 平均队列长度:一个采样周期内的平均值,更适合观察持续性压力。
  3. 应用并发数:应用同时发出的请求数,不等于设备实际队列长度。

应用并发很高,不代表存储设备一定拥塞。请求可能已经快速完成;反过来,队列不高也不代表没有存储问题,单线程同步I/O、设备内部延迟或控制器刷新都可能让应用变慢。

队列长度与IOPS、延迟的关系

可以用一个简单关系辅助理解:

未完成I/O数量 ≈ IOPS × 平均延迟(单位为秒)

例如,设备每秒处理 8,000 个请求,平均延迟为 8 毫秒:

8,000 × 0.008 = 64

这意味着系统中平均可能有约 64 个I/O请求处于发送、等待或处理状态。此时队列长度为 64 并不自动等于异常,因为它可能是高性能设备在高并发下的正常工作状态。

但如果 IOPS 长期停留在 8,000 左右,队列从 10 增长到 64,延迟从 2 毫秒升到 8 毫秒,且应用请求耗时同步上升,就说明新增并发主要转化成了等待,存储层已经接近当前负载下的处理边界。

Linux中如何查看

Linux 使用 iostat 时,扩展统计中的 aqu-sz 或旧版本中的 avgqu-sz 通常用于观察平均队列长度,具体字段名称取决于 sysstat 版本。

iostat -xmd 1

常见字段可以这样理解:

字段含义判断重点
r/s、w/s每秒读、写请求数观察IOPS及读写比例
rMB/s、wMB/s 或相近字段读写吞吐量判断是否接近带宽上限
awaitI/O平均完成延迟,单位通常为毫秒判断请求是否明显变慢
r_await、w_await读、写请求的平均延迟区分读慢还是写慢
aqu-sz、avgqu-sz平均队列或平均未完成请求数判断是否持续积压
%util设备处于忙碌状态的时间比例只能作为辅助指标
avg-cpu waCPU等待I/O的时间比例观察系统是否受到I/O等待影响

先确认操作系统看到的设备与实际物理介质、RAID逻辑卷之间的对应关系:

lsblk -o NAME,TYPE,SIZE,MODEL,SERIAL,MOUNTPOINTS
findmnt -o TARGET,SOURCE,FSTYPE,OPTIONS

如果业务挂载点对应的是 dm-*、软件 RAID 或硬件 RAID 逻辑卷,iostat 看到的可能只是上层逻辑设备。此时还需要结合阵列控制器、物理成员盘和缓存状态判断,不能只根据某个逻辑设备的队列得出结论。

可以同时查看进程层面的读写活动:

pidstat -d 1

再用以下命令确认 CPU 是否因I/O等待而受影响:

vmstat 1
mpstat -P ALL 1

vmstat 中的 wa 较高,说明 CPU 时间中有较多部分在等待I/O,但这仍不是存储瓶颈的单独证据。只有当它与设备延迟、队列和业务耗时同步变化时,判断才更可靠。

Windows中如何查看

Windows 可以通过性能计数器观察物理磁盘或逻辑磁盘。先查看当前系统可用的计数器名称:

Get-Counter -ListSet PhysicalDisk | Select-Object -ExpandProperty Paths

英文系统中,可使用以下计数器进行连续采样:

$counter = `
'\PhysicalDisk(*)\Current Disk Queue Length', `
'\PhysicalDisk(*)\Avg. Disk sec/Read', `
'\PhysicalDisk(*)\Avg. Disk sec/Write', `
'\PhysicalDisk(*)\Avg. Disk sec/Transfer', `
'\PhysicalDisk(*)\Disk Transfers/sec', `
'\PhysicalDisk(*)\Disk Bytes/sec', `
'\PhysicalDisk(*)\% Disk Time'

Get-Counter -Counter $counter -SampleInterval 1 -MaxSamples 10

主要指标对应关系如下:

  • Current Disk Queue Length:当前磁盘队列长度;
  • Avg. Disk sec/Read:平均读延迟,单位通常为秒;
  • Avg. Disk sec/Write:平均写延迟;
  • Avg. Disk sec/Transfer:读写请求综合平均延迟;
  • Disk Transfers/sec:每秒传输次数,可近似理解为设备层 IOPS;
  • Disk Bytes/sec:设备吞吐量;
  • % Disk Time:磁盘处于活动状态的比例。

如果系统使用本地化计数器名称,应以 Get-Counter -ListSet PhysicalDisk 输出的实际名称为准。不要直接把其他系统中的计数器字符串原样复制到生产服务器。

影响判断的几个关键变量

存储介质和控制器类型

机械硬盘、SATA SSD、SAS SSD 和 NVMe SSD 的并发处理能力差异较大。机械硬盘通常受寻道和旋转延迟影响,少量随机I/O就可能形成明显等待;SSD没有机械寻道,但仍会受到闪存写入、垃圾回收、磨损均衡和控制器缓存影响;NVMe则通常支持更高并发,但高队列并不意味着延迟一定不可接受。

硬件 RAID 还会引入额外层次:

影响判断的几个关键变量配图

  • RAID 控制器可能先将写请求放入缓存;
  • 带电池或闪存保护的写缓存可能暂时降低应用看到的写延迟;
  • RAID5、RAID6 的小块随机写可能产生校验读写放大;
  • 阵列重建、巡检或降级状态可能明显增加延迟;
  • 操作系统看到的逻辑盘,未必能反映单块成员盘的实际负载。

因此,控制器写缓存开启时的低延迟只能代表应用当前观测到的完成时间,不能说明后端物理盘始终有同样的处理能力。应结合更长时间窗口和控制器状态复核。

I/O大小和访问模式

IOPS与吞吐量不是同一个指标。两者的关系可以用以下公式表示:

吞吐量(MB/s,十进制)= IOPS × 单次I/O大小(字节)÷ 1,000,000

例如:

  • 5,000 IOPS;
  • 每次I/O为 16 KiB,即 16 × 1,024 = 16,384 字节;
  • 吞吐量为 5,000 × 16,384 ÷ 1,000,000 = 81.92 MB/s;
  • 换算成二进制约为 78.125 MiB/s。

同一块盘可能在 16 KiB 随机读下达到较高 IOPS,却只有几十或几百 MB/s;在 1 MiB 顺序读下,IOPS较低,但吞吐量可能很高。只看其中一个指标,容易误判。

还要区分以下负载:

  • 随机读:通常更依赖低延迟和随机 IOPS;
  • 随机写:可能受到写放大、日志和校验影响;
  • 顺序读写:通常更接近设备带宽上限;
  • 同步写:应用需要等待数据持久化,延迟更容易直接传递给业务;
  • 异步写:应用可能暂时感觉较快,但后续刷新仍可能形成写入高峰。

并发数和队列深度

低并发应用可能无法把存储设备压到满负载。即使设备本身还能提供更多 IOPS,单个工作线程也可能因为同步等待而只产生很小的队列。

相反,盲目提高队列深度也不是优化手段。并发请求增加后,吞吐量可能继续上升,也可能只是让平均延迟和尾延迟变高。对于数据库、交易系统和接口服务,P99 延迟往往比平均延迟更能反映用户感受。

CPU和内存

存储I/O变慢与 CPU、内存问题经常同时出现:

  • CPU已经满载时,应用无法及时发起或处理I/O;
  • 内存不足导致换页,系统会产生额外磁盘读写;
  • 文件缓存命中率下降后,原本在内存中完成的读取会落到存储设备;
  • CPU等待I/O较高,可能是存储变慢,也可能是应用本身大量同步等待;
  • 虚拟化、容器或系统调度延迟也可能让设备使用率看起来不高,但业务仍然变慢。

因此,判断存储瓶颈时,至少要把 CPU 总使用率、单核使用率、内存可用量、交换活动和磁盘指标放在同一个时间轴上。

如何解释监控结果

下面的组合比单独看队列长度更有参考价值。

观察到的组合更可能的含义下一步核对
队列持续升高,await或平均磁盘延迟同步升高,吞吐量趋于平稳存储设备或阵列已接近当前负载能力核对读写模式、控制器缓存、阵列状态和物理盘延迟
队列较高,但延迟稳定且业务P99未超标可能是设备正常承载高并发观察是否有增长趋势,不要仅凭队列值扩容
队列不高,但延迟很高可能是单线程同步I/O、设备内部停顿、缓存刷新或控制器问题分开查看读写延迟、同步比例、设备健康和应用线程
%util接近100%,但延迟和业务响应仍稳定设备忙,但未必已经影响业务结合延迟、P99和吞吐量判断
wa较高,设备延迟不高,CPU某个核心接近100%可能是应用线程、锁竞争或CPU调度问题查看进程、线程和单核CPU使用率
吞吐量低、队列低,但内存交换活动明显内存压力可能制造了额外I/O先处理内存或进程占用,再复测磁盘
写延迟在固定时间段突然升高,随后恢复可能是缓存刷新、日志归档、阵列任务或后台回收拉长采样窗口,检查控制器和系统任务

不要把%util当作唯一阈值

在单队列机械硬盘上,%util接近100%通常意味着设备没有空闲时间;在多队列 NVMe 上,%util接近100%只表示设备持续有请求,不足以说明已经无法继续提供符合要求的性能。

同样,Linux 中 await是采样周期内的平均完成延迟,无法完全呈现极少数特别慢的请求。监控系统如果支持延迟直方图,应同时查看 P95、P99 或更高分位值。

参考范围只能作为初筛

以下范围适合用作初步观察,不是通用验收标准:

  • 机械硬盘随机I/O:平均延迟达到十几毫秒甚至更高时,业务通常更容易感受到等待;
  • SATA SSD:在轻负载下可能保持亚毫秒到数毫秒级,但持续写入、缓存耗尽或垃圾回收时会明显升高;
  • NVMe SSD:低负载延迟可能很低,但不同型号、容量、写入比例和队列深度下差异较大;
  • 单块机械盘出现持续排队时,队列长度达到 1~2 就值得关注;
  • SSD或NVMe出现几十个未完成请求并不一定异常,必须同时看延迟是否超过业务目标。

比这些范围更可靠的是相对基线。例如某业务平时读延迟约 2 毫秒,高峰时队列从 6 增至 45,读延迟升至 25 毫秒,IOPS几乎不再增长,接口 P99 也从 80 毫秒升至 400 毫秒。即使没有达到某个固定队列阈值,也可以判断存储已经成为明显限制因素。

一套可执行的判断步骤

1. 先定义业务目标

不要先问“队列多少算高”,应先明确业务允许的延迟。例如,某数据库读请求希望 P95 小于 10 毫秒,P99 小于 20 毫秒;批处理则可能更重视持续吞吐量。

业务目标确定后,队列长度才有解释边界:

  • 延迟未超标、吞吐仍可增长:通常不急于扩容;
  • 延迟超标、队列持续增长、吞吐不再增长:优先处理存储能力;
  • 延迟超标但队列很低:优先排查应用、同步机制、设备停顿或控制器;
  • 只有高峰瞬时超标:需要判断是可接受突发还是必须削峰。

2. 同时采集至少三类指标

建议以 1 秒采样观察瞬时变化,再按 5 分钟或 15 分钟聚合趋势:

  1. 设备层:队列、读写延迟、IOPS、吞吐量、忙碌时间;
  2. 主机层:CPU总量与单核、I/O等待、内存可用量、交换活动;
  3. 业务层:请求量、响应时间、错误率、数据库提交延迟或任务耗时。

如果只采集设备层,无法确认高队列是否真的影响业务;如果只看业务层,又无法判断是存储、CPU还是内存造成的。

3. 按设备和挂载层定位

不要把整台物理服务器所有磁盘的队列简单相加。系统可能同时存在:

  • 系统盘;
  • 数据盘;
  • 日志盘;
  • RAID逻辑卷;
  • LVM或设备映射层;
  • 多路径存储设备。

应先确认业务数据实际落在哪个设备,再分别观察。多个物理盘组成 RAID 时,逻辑盘的队列只能说明阵列入口压力,不能代替成员盘和控制器指标。

4. 对比正常基线和高峰样本

至少保留一段正常时段和一段问题时段,比较以下变化:

一套可执行的判断步骤配图

指标正常时段示例高峰时段示例判断方向
平均队列438是否持续积压
平均读延迟2.1 ms18.7 ms是否随队列同步升高
写延迟3.0 ms31.5 ms是否存在写入或刷新问题
IOPS6,5006,900是否已接近平台上限
吞吐量105 MB/s110 MB/s是否基本停止增长
CPU等待I/O4%22%是否影响主机处理能力
业务P9990 ms420 ms是否已经影响服务

上表是用于说明判断过程的参考数据,不代表某种固定硬件的实测结果。其关键不在于队列达到 38,而在于队列上升后,延迟和业务P99明显恶化,而 IOPS 与吞吐量没有继续增长。

什么时候应当认定存储I/O是瓶颈

通常需要同时满足以下几个条件,才能把存储列为主要瓶颈:

什么时候应当认定存储I/O是瓶颈配图

  • 队列在业务高峰持续高于自身基线,而不是偶发瞬时尖峰;
  • 读或写延迟持续升高,且 P95、P99 同样恶化;
  • IOPS或吞吐量趋于平台上限,增加并发后性能收益很小;
  • CPU没有先达到饱和,内存也没有明显交换压力;
  • 业务响应时间与磁盘延迟在同一时间段内同步变化;
  • 经过应用层和网络层排查后,没有发现更靠前的限制因素。

如果只是“队列较高”而延迟稳定,不应立即更换磁盘。如果队列不高但同步写延迟很高,也不应只通过提高队列深度解决问题。提高队列深度可能在短期内增加吞吐,却把延迟和尾延迟推向不可接受的水平。

复测与容量判断方法

确认瓶颈或评估扩容时,复测条件必须保持一致:

  • 使用相同或相近的数据集规模;
  • 保持相同的读写比例;
  • 保持相同的随机、顺序和单次I/O大小;
  • 区分缓存热态与冷态;
  • 记录同步或异步I/O特征;
  • 在相同的并发数下比较;
  • 避开阵列重建、备份、病毒扫描等额外任务,或单独记录这些影响;
  • 让测试覆盖完整业务高峰,而不是只取几秒钟的峰值。

容量估算可以先从业务峰值出发,再保留增长和突发余量。例如,当前峰值为 6,000 IOPS,计划保留 30% 余量,则目标能力至少为:

6,000 × 1.3 = 7,800 IOPS

如果业务同时要求平均延迟不超过 8 毫秒,还要在相同读写比例、I/O大小和并发条件下验证 7,800 IOPS 时的延迟,而不能只看设备宣传的顺序带宽。

最终决策可以采用以下边界:

  • 队列、延迟和业务P99都在目标内:继续监控,暂不因队列数值单独扩容;
  • 只有瞬时尖峰超标,平均值和P99可接受:优先考虑削峰、批量化或调整调度;
  • 高峰持续排队且延迟、P99超标:评估更高 IOPS、更低延迟的存储、增加独立日志盘或拆分负载;
  • 吞吐未满但延迟很高:先检查同步写、I/O大小、阵列缓存、设备健康和应用线程;
  • CPU或内存先达到边界:先解决主机资源问题,避免把非存储问题误判为磁盘瓶颈。

磁盘队列长度真正的价值,是帮助判断“请求是否在等待”,而不是直接给出“设备是否需要更换”的答案。将队列与延迟、IOPS、吞吐量、并发、CPU、内存和业务P99放在同一时间窗口内观察,才能确定存储I/O是否已经成为物理服务器的实际性能边界。

面向数据库、接口服务和批处理等不同I/O负载,A5数据提供多地区物理服务器资源。香港、美国等地的部分方案配备NVMe存储,并提供不同档位的CPU与内存配置,可为读写密集型业务和多任务运行提供硬件基础;香港存储系列则提供企业级机械硬盘及控制器配置,适用于大容量文件、备份和归档场景。不同存储与计算资源的组合,为业务按延迟、吞吐和容量需求部署提供了选择。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5700.html