物理服务器磁盘队列长度怎么看,怎样判断存储I/O成为瓶颈
磁盘队列长度不能单独用来判断物理服务器是否存储不足。更有价值的判断是:队列是否在业务高峰持续升高,磁盘延迟是否同步恶化,吞吐量或 IOPS 是否已经接近平台上限,以及 CPU、内存和应用并发是否仍有余量。
例如,NVMe 设备在高并发下可能长期保持几十甚至上百个未完成请求,但延迟仍符合业务要求;机械硬盘的队列长度只有几项,延迟就可能明显上升。因此,“队列长度超过某个固定数值就算瓶颈”的判断方式并不可靠。

测试目标:先明确要判断什么
同样是查看磁盘队列,排查线上慢请求和规划服务器容量,观察重点并不完全相同。
排查当前存储I/O瓶颈
线上出现数据库响应变慢、接口延迟升高、批处理耗时增加时,测试目标是确认:
- 请求是否在存储层排队;
- 排队是否导致读写延迟升高;
- 存储设备的吞吐量或 IOPS 是否已经接近当前负载下的上限;
- CPU、内存、文件系统或应用线程是否才是真正限制因素。
这类问题应重点关注业务异常时间段内的队列长度、读写延迟、IOPS、吞吐量和应用请求延迟,而不是只看某个时刻的监控截图。
评估服务器还能承载多少I/O
容量评估需要建立正常时段和高峰时段的基线,至少记录以下信息:
- 读写比例;
- 随机或顺序访问;
- 单次I/O大小;
- 平均与峰值 IOPS;
- 平均吞吐量;
- 平均延迟、P95 延迟和 P99 延迟;
- 队列长度的平均值与峰值;
- CPU 使用率、内存使用率和交换活动。
如果只记录“磁盘队列平均为 8”,却不知道这是 4 KiB 随机读、1 MiB 顺序写,还是数据库同步写,就无法据此判断设备是否达到瓶颈。
磁盘队列长度表示什么
磁盘队列长度可以理解为某个时间点或某个采样周期内,等待存储设备处理的请求数量。不同系统和工具的统计口径可能略有差异,有的统计等待中的请求,有的统计等待加正在处理的请求,因此跨平台比较时不能直接套用相同阈值。
需要区分三个概念:
- 瞬时队列长度:某一时刻正在等待或处理的请求数,变化较快。
- 平均队列长度:一个采样周期内的平均值,更适合观察持续性压力。
- 应用并发数:应用同时发出的请求数,不等于设备实际队列长度。
应用并发很高,不代表存储设备一定拥塞。请求可能已经快速完成;反过来,队列不高也不代表没有存储问题,单线程同步I/O、设备内部延迟或控制器刷新都可能让应用变慢。
队列长度与IOPS、延迟的关系
可以用一个简单关系辅助理解:
未完成I/O数量 ≈ IOPS × 平均延迟(单位为秒)
例如,设备每秒处理 8,000 个请求,平均延迟为 8 毫秒:
8,000 × 0.008 = 64
这意味着系统中平均可能有约 64 个I/O请求处于发送、等待或处理状态。此时队列长度为 64 并不自动等于异常,因为它可能是高性能设备在高并发下的正常工作状态。
但如果 IOPS 长期停留在 8,000 左右,队列从 10 增长到 64,延迟从 2 毫秒升到 8 毫秒,且应用请求耗时同步上升,就说明新增并发主要转化成了等待,存储层已经接近当前负载下的处理边界。
Linux中如何查看
Linux 使用 iostat 时,扩展统计中的 aqu-sz 或旧版本中的 avgqu-sz 通常用于观察平均队列长度,具体字段名称取决于 sysstat 版本。
iostat -xmd 1
常见字段可以这样理解:
| 字段 | 含义 | 判断重点 |
|---|---|---|
r/s、w/s | 每秒读、写请求数 | 观察IOPS及读写比例 |
rMB/s、wMB/s 或相近字段 | 读写吞吐量 | 判断是否接近带宽上限 |
await | I/O平均完成延迟,单位通常为毫秒 | 判断请求是否明显变慢 |
r_await、w_await | 读、写请求的平均延迟 | 区分读慢还是写慢 |
aqu-sz、avgqu-sz | 平均队列或平均未完成请求数 | 判断是否持续积压 |
%util | 设备处于忙碌状态的时间比例 | 只能作为辅助指标 |
avg-cpu wa | CPU等待I/O的时间比例 | 观察系统是否受到I/O等待影响 |
先确认操作系统看到的设备与实际物理介质、RAID逻辑卷之间的对应关系:
lsblk -o NAME,TYPE,SIZE,MODEL,SERIAL,MOUNTPOINTS
findmnt -o TARGET,SOURCE,FSTYPE,OPTIONS
如果业务挂载点对应的是 dm-*、软件 RAID 或硬件 RAID 逻辑卷,iostat 看到的可能只是上层逻辑设备。此时还需要结合阵列控制器、物理成员盘和缓存状态判断,不能只根据某个逻辑设备的队列得出结论。
可以同时查看进程层面的读写活动:
pidstat -d 1
再用以下命令确认 CPU 是否因I/O等待而受影响:
vmstat 1
mpstat -P ALL 1
vmstat 中的 wa 较高,说明 CPU 时间中有较多部分在等待I/O,但这仍不是存储瓶颈的单独证据。只有当它与设备延迟、队列和业务耗时同步变化时,判断才更可靠。
Windows中如何查看
Windows 可以通过性能计数器观察物理磁盘或逻辑磁盘。先查看当前系统可用的计数器名称:
Get-Counter -ListSet PhysicalDisk | Select-Object -ExpandProperty Paths
英文系统中,可使用以下计数器进行连续采样:
$counter = `
'\PhysicalDisk(*)\Current Disk Queue Length', `
'\PhysicalDisk(*)\Avg. Disk sec/Read', `
'\PhysicalDisk(*)\Avg. Disk sec/Write', `
'\PhysicalDisk(*)\Avg. Disk sec/Transfer', `
'\PhysicalDisk(*)\Disk Transfers/sec', `
'\PhysicalDisk(*)\Disk Bytes/sec', `
'\PhysicalDisk(*)\% Disk Time'
Get-Counter -Counter $counter -SampleInterval 1 -MaxSamples 10
主要指标对应关系如下:
Current Disk Queue Length:当前磁盘队列长度;Avg. Disk sec/Read:平均读延迟,单位通常为秒;Avg. Disk sec/Write:平均写延迟;Avg. Disk sec/Transfer:读写请求综合平均延迟;Disk Transfers/sec:每秒传输次数,可近似理解为设备层 IOPS;Disk Bytes/sec:设备吞吐量;% Disk Time:磁盘处于活动状态的比例。
如果系统使用本地化计数器名称,应以 Get-Counter -ListSet PhysicalDisk 输出的实际名称为准。不要直接把其他系统中的计数器字符串原样复制到生产服务器。
影响判断的几个关键变量
存储介质和控制器类型
机械硬盘、SATA SSD、SAS SSD 和 NVMe SSD 的并发处理能力差异较大。机械硬盘通常受寻道和旋转延迟影响,少量随机I/O就可能形成明显等待;SSD没有机械寻道,但仍会受到闪存写入、垃圾回收、磨损均衡和控制器缓存影响;NVMe则通常支持更高并发,但高队列并不意味着延迟一定不可接受。
硬件 RAID 还会引入额外层次:

- RAID 控制器可能先将写请求放入缓存;
- 带电池或闪存保护的写缓存可能暂时降低应用看到的写延迟;
- RAID5、RAID6 的小块随机写可能产生校验读写放大;
- 阵列重建、巡检或降级状态可能明显增加延迟;
- 操作系统看到的逻辑盘,未必能反映单块成员盘的实际负载。
因此,控制器写缓存开启时的低延迟只能代表应用当前观测到的完成时间,不能说明后端物理盘始终有同样的处理能力。应结合更长时间窗口和控制器状态复核。
I/O大小和访问模式
IOPS与吞吐量不是同一个指标。两者的关系可以用以下公式表示:
吞吐量(MB/s,十进制)= IOPS × 单次I/O大小(字节)÷ 1,000,000
例如:
- 5,000 IOPS;
- 每次I/O为 16 KiB,即 16 × 1,024 = 16,384 字节;
- 吞吐量为 5,000 × 16,384 ÷ 1,000,000 = 81.92 MB/s;
- 换算成二进制约为 78.125 MiB/s。
同一块盘可能在 16 KiB 随机读下达到较高 IOPS,却只有几十或几百 MB/s;在 1 MiB 顺序读下,IOPS较低,但吞吐量可能很高。只看其中一个指标,容易误判。
还要区分以下负载:
- 随机读:通常更依赖低延迟和随机 IOPS;
- 随机写:可能受到写放大、日志和校验影响;
- 顺序读写:通常更接近设备带宽上限;
- 同步写:应用需要等待数据持久化,延迟更容易直接传递给业务;
- 异步写:应用可能暂时感觉较快,但后续刷新仍可能形成写入高峰。
并发数和队列深度
低并发应用可能无法把存储设备压到满负载。即使设备本身还能提供更多 IOPS,单个工作线程也可能因为同步等待而只产生很小的队列。
相反,盲目提高队列深度也不是优化手段。并发请求增加后,吞吐量可能继续上升,也可能只是让平均延迟和尾延迟变高。对于数据库、交易系统和接口服务,P99 延迟往往比平均延迟更能反映用户感受。
CPU和内存
存储I/O变慢与 CPU、内存问题经常同时出现:
- CPU已经满载时,应用无法及时发起或处理I/O;
- 内存不足导致换页,系统会产生额外磁盘读写;
- 文件缓存命中率下降后,原本在内存中完成的读取会落到存储设备;
- CPU等待I/O较高,可能是存储变慢,也可能是应用本身大量同步等待;
- 虚拟化、容器或系统调度延迟也可能让设备使用率看起来不高,但业务仍然变慢。
因此,判断存储瓶颈时,至少要把 CPU 总使用率、单核使用率、内存可用量、交换活动和磁盘指标放在同一个时间轴上。
如何解释监控结果
下面的组合比单独看队列长度更有参考价值。
| 观察到的组合 | 更可能的含义 | 下一步核对 |
|---|---|---|
队列持续升高,await或平均磁盘延迟同步升高,吞吐量趋于平稳 | 存储设备或阵列已接近当前负载能力 | 核对读写模式、控制器缓存、阵列状态和物理盘延迟 |
| 队列较高,但延迟稳定且业务P99未超标 | 可能是设备正常承载高并发 | 观察是否有增长趋势,不要仅凭队列值扩容 |
| 队列不高,但延迟很高 | 可能是单线程同步I/O、设备内部停顿、缓存刷新或控制器问题 | 分开查看读写延迟、同步比例、设备健康和应用线程 |
%util接近100%,但延迟和业务响应仍稳定 | 设备忙,但未必已经影响业务 | 结合延迟、P99和吞吐量判断 |
wa较高,设备延迟不高,CPU某个核心接近100% | 可能是应用线程、锁竞争或CPU调度问题 | 查看进程、线程和单核CPU使用率 |
| 吞吐量低、队列低,但内存交换活动明显 | 内存压力可能制造了额外I/O | 先处理内存或进程占用,再复测磁盘 |
| 写延迟在固定时间段突然升高,随后恢复 | 可能是缓存刷新、日志归档、阵列任务或后台回收 | 拉长采样窗口,检查控制器和系统任务 |
不要把%util当作唯一阈值
在单队列机械硬盘上,%util接近100%通常意味着设备没有空闲时间;在多队列 NVMe 上,%util接近100%只表示设备持续有请求,不足以说明已经无法继续提供符合要求的性能。
同样,Linux 中 await是采样周期内的平均完成延迟,无法完全呈现极少数特别慢的请求。监控系统如果支持延迟直方图,应同时查看 P95、P99 或更高分位值。
参考范围只能作为初筛
以下范围适合用作初步观察,不是通用验收标准:
- 机械硬盘随机I/O:平均延迟达到十几毫秒甚至更高时,业务通常更容易感受到等待;
- SATA SSD:在轻负载下可能保持亚毫秒到数毫秒级,但持续写入、缓存耗尽或垃圾回收时会明显升高;
- NVMe SSD:低负载延迟可能很低,但不同型号、容量、写入比例和队列深度下差异较大;
- 单块机械盘出现持续排队时,队列长度达到 1~2 就值得关注;
- SSD或NVMe出现几十个未完成请求并不一定异常,必须同时看延迟是否超过业务目标。
比这些范围更可靠的是相对基线。例如某业务平时读延迟约 2 毫秒,高峰时队列从 6 增至 45,读延迟升至 25 毫秒,IOPS几乎不再增长,接口 P99 也从 80 毫秒升至 400 毫秒。即使没有达到某个固定队列阈值,也可以判断存储已经成为明显限制因素。
一套可执行的判断步骤
1. 先定义业务目标
不要先问“队列多少算高”,应先明确业务允许的延迟。例如,某数据库读请求希望 P95 小于 10 毫秒,P99 小于 20 毫秒;批处理则可能更重视持续吞吐量。
业务目标确定后,队列长度才有解释边界:
- 延迟未超标、吞吐仍可增长:通常不急于扩容;
- 延迟超标、队列持续增长、吞吐不再增长:优先处理存储能力;
- 延迟超标但队列很低:优先排查应用、同步机制、设备停顿或控制器;
- 只有高峰瞬时超标:需要判断是可接受突发还是必须削峰。
2. 同时采集至少三类指标
建议以 1 秒采样观察瞬时变化,再按 5 分钟或 15 分钟聚合趋势:
- 设备层:队列、读写延迟、IOPS、吞吐量、忙碌时间;
- 主机层:CPU总量与单核、I/O等待、内存可用量、交换活动;
- 业务层:请求量、响应时间、错误率、数据库提交延迟或任务耗时。
如果只采集设备层,无法确认高队列是否真的影响业务;如果只看业务层,又无法判断是存储、CPU还是内存造成的。
3. 按设备和挂载层定位
不要把整台物理服务器所有磁盘的队列简单相加。系统可能同时存在:
- 系统盘;
- 数据盘;
- 日志盘;
- RAID逻辑卷;
- LVM或设备映射层;
- 多路径存储设备。
应先确认业务数据实际落在哪个设备,再分别观察。多个物理盘组成 RAID 时,逻辑盘的队列只能说明阵列入口压力,不能代替成员盘和控制器指标。
4. 对比正常基线和高峰样本
至少保留一段正常时段和一段问题时段,比较以下变化:

| 指标 | 正常时段示例 | 高峰时段示例 | 判断方向 |
|---|---|---|---|
| 平均队列 | 4 | 38 | 是否持续积压 |
| 平均读延迟 | 2.1 ms | 18.7 ms | 是否随队列同步升高 |
| 写延迟 | 3.0 ms | 31.5 ms | 是否存在写入或刷新问题 |
| IOPS | 6,500 | 6,900 | 是否已接近平台上限 |
| 吞吐量 | 105 MB/s | 110 MB/s | 是否基本停止增长 |
| CPU等待I/O | 4% | 22% | 是否影响主机处理能力 |
| 业务P99 | 90 ms | 420 ms | 是否已经影响服务 |
上表是用于说明判断过程的参考数据,不代表某种固定硬件的实测结果。其关键不在于队列达到 38,而在于队列上升后,延迟和业务P99明显恶化,而 IOPS 与吞吐量没有继续增长。
什么时候应当认定存储I/O是瓶颈
通常需要同时满足以下几个条件,才能把存储列为主要瓶颈:

- 队列在业务高峰持续高于自身基线,而不是偶发瞬时尖峰;
- 读或写延迟持续升高,且 P95、P99 同样恶化;
- IOPS或吞吐量趋于平台上限,增加并发后性能收益很小;
- CPU没有先达到饱和,内存也没有明显交换压力;
- 业务响应时间与磁盘延迟在同一时间段内同步变化;
- 经过应用层和网络层排查后,没有发现更靠前的限制因素。
如果只是“队列较高”而延迟稳定,不应立即更换磁盘。如果队列不高但同步写延迟很高,也不应只通过提高队列深度解决问题。提高队列深度可能在短期内增加吞吐,却把延迟和尾延迟推向不可接受的水平。
复测与容量判断方法
确认瓶颈或评估扩容时,复测条件必须保持一致:
- 使用相同或相近的数据集规模;
- 保持相同的读写比例;
- 保持相同的随机、顺序和单次I/O大小;
- 区分缓存热态与冷态;
- 记录同步或异步I/O特征;
- 在相同的并发数下比较;
- 避开阵列重建、备份、病毒扫描等额外任务,或单独记录这些影响;
- 让测试覆盖完整业务高峰,而不是只取几秒钟的峰值。
容量估算可以先从业务峰值出发,再保留增长和突发余量。例如,当前峰值为 6,000 IOPS,计划保留 30% 余量,则目标能力至少为:
6,000 × 1.3 = 7,800 IOPS
如果业务同时要求平均延迟不超过 8 毫秒,还要在相同读写比例、I/O大小和并发条件下验证 7,800 IOPS 时的延迟,而不能只看设备宣传的顺序带宽。
最终决策可以采用以下边界:
- 队列、延迟和业务P99都在目标内:继续监控,暂不因队列数值单独扩容;
- 只有瞬时尖峰超标,平均值和P99可接受:优先考虑削峰、批量化或调整调度;
- 高峰持续排队且延迟、P99超标:评估更高 IOPS、更低延迟的存储、增加独立日志盘或拆分负载;
- 吞吐未满但延迟很高:先检查同步写、I/O大小、阵列缓存、设备健康和应用线程;
- CPU或内存先达到边界:先解决主机资源问题,避免把非存储问题误判为磁盘瓶颈。
磁盘队列长度真正的价值,是帮助判断“请求是否在等待”,而不是直接给出“设备是否需要更换”的答案。将队列与延迟、IOPS、吞吐量、并发、CPU、内存和业务P99放在同一时间窗口内观察,才能确定存储I/O是否已经成为物理服务器的实际性能边界。
面向数据库、接口服务和批处理等不同I/O负载,A5数据提供多地区物理服务器资源。香港、美国等地的部分方案配备NVMe存储,并提供不同档位的CPU与内存配置,可为读写密集型业务和多任务运行提供硬件基础;香港存储系列则提供企业级机械硬盘及控制器配置,适用于大容量文件、备份和归档场景。不同存储与计算资源的组合,为业务按延迟、吞吐和容量需求部署提供了选择。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5700.html