存储服务器响应时间分位数怎么看,P95和P99如何判断存储瓶颈
判断存储服务器是否出现瓶颈,不能只看平均响应时间,也不能看到一次 P99 尖峰就立即更换磁盘。P95 和 P99 需要放回同一条负载曲线中,与 IOPS、吞吐量、并发数、队列深度、CPU、内存、网络和设备利用率一起观察,才能判断是存储介质饱和,还是服务器处理、协议路径或后台任务造成的延迟。
P95 表示约 95% 的请求在该时间内完成,仍有约 5% 的请求更慢;P99 表示约 99% 的请求在该时间内完成,约 1% 的请求落在更长的尾部。若业务峰值下 P95、P99 都随负载上升,设备队列持续增长,吞吐量接近平台上限,通常可以认为存储路径正在成为瓶颈。若只有 P99 偶尔尖峰,而 P95、吞吐和队列都稳定,则更接近偶发尾延迟问题,不能直接等同于持续性容量不足。
先确定测试要回答什么
存储响应时间没有脱离业务负载的固定好坏标准。4 KiB 随机写、1 MiB 顺序读、数据库同步写入和文件服务器的小文件访问,即使使用同一台存储服务器,也会得到完全不同的延迟分布。
测试前至少需要固定以下条件:
- 请求类型:随机读、随机写、顺序读、顺序写或混合读写。
- 请求大小:例如 4 KiB、8 KiB、64 KiB 或 1 MiB。
- 读写比例:例如 70% 读、30% 写,不能只记录总 IOPS。
- 同步方式:是否等待落盘,是否包含
fsync、缓存刷新或类似确认动作。 - 并发数或队列深度:低并发和高队列下的响应时间没有可比性。
- 数据状态:冷缓存、热缓存、数据集是否超过服务器内存。
- 测量位置:客户端发起到完成的端到端时间,还是服务器内部的设备完成时间。
- 测试时段:是否存在备份、快照、校验、重建、压缩或其他共享负载。
不同业务的主要观察指标也不相同:
| 业务场景 | 应固定的负载条件 | 重点指标 |
|---|---|---|
| 数据库随机 I/O | 块大小、读写比例、同步写入、并发数 | P95、P99、IOPS、队列深度、写入确认延迟 |
| 文件服务 | 文件大小、元数据操作比例、客户端数量、协议路径 | P95、P99、操作数、网络吞吐、CPU |
| 大文件传输 | 顺序读写、块大小、并发连接数 | 持续 MB/s、完成时间、网络利用率、P95 |
| 备份或归档 | 数据集大小、顺序读写、压缩方式、并行任务数 | 持续吞吐、任务完成时间、设备队列 |
| 虚拟化存储 | 多租户混合读写、突发 I/O、队列深度 | P95、P99、IOPS、超时率、每卷或每盘延迟 |
如果测试目标是判断容量边界,应至少设计三个阶段:低负载基线、预期峰值负载,以及高于预期峰值的压力阶段。低负载可以帮助确认基础延迟,高负载用于观察是否出现排队,超载阶段则用于找出延迟曲线的拐点。
“响应时间”还要说明测量边界。客户端看到的延迟可能包含客户端排队、网络传输、文件协议处理、服务器线程调度、文件系统、缓存以及底层设备完成时间。如果只采集了客户端耗时,就应称为端到端响应时间,不要直接称为磁盘延迟。只有在设备完成时间、服务器处理时间和客户端耗时同时采集时,才容易定位延迟到底增加在哪一层。
P95、P99分别代表什么
分位数比平均值更能反映尾部体验
将一个时间窗口内的请求按照耗时从小到大排序:
- P50 是中位数,反映一半请求的典型体验。
- P95 表示约 95% 的请求不超过该值,适合观察常态尾部。
- P99 表示约 99% 的请求不超过该值,适合观察少量慢请求和突发排队。
- 最大值容易受单次超时、调度暂停或后台任务影响,通常不适合作为唯一判断依据。
例如,一个时间窗口内有 10,000 次请求:
- P95 之后大约还有 500 次请求;
- P99 之后大约还有 100 次请求;
- 如果 P95 为 4 毫秒、P99 为 80 毫秒,说明大部分请求很快,但仍有一小部分请求经历了明显排队或额外处理。
因此,P95 和 P99 的差距也有分析价值。P50、P95、P99 都同步上升,通常意味着整体负载或基础服务时间增加;P50 稳定而 P95、P99 拉高,说明排队、竞争或偶发阻塞开始影响尾部;P95 稳定但 P99 偶尔跳高,则要重点检查后台任务、缓存刷新、垃圾回收、温度降速、快照或网络重传。
P99必须结合样本量和时间窗口
在只有 100 次请求的窗口中,P99 几乎接近最大值,代表性较弱。若每个测试档位只有几百次请求,P99 可能只是少数样本的结果。对高频 I/O 测试,可以让每个档位至少积累约 10,000 次请求,再观察多个时间窗口的变化;低频业务则需要延长采样时间,避免用过少样本判断尾延迟。
还要保持时间窗口一致。将每分钟的 P99 直接求平均,不能得到严格意义上的整体 P99,因为每分钟的请求数量可能不同。更稳妥的方式是保留原始延迟样本,重新计算整个窗口的分位数;如果只能使用直方图,则应按照样本数进行合并。
超时和失败请求也不能简单排除。若请求超时后被从延迟统计中删除,P99 可能看起来很好,但业务实际体验已经恶化。报告中应单独列出超时率、错误率和重试次数,并说明它们是否纳入尾延迟统计。
延迟、吞吐和并发不是同一个指标
IOPS 表示每秒完成的 I/O 次数,吞吐量表示每秒传输的数据量,响应时间表示单个请求完成所需的时间。三者需要结合请求大小理解。
例如,使用 4 KiB 请求达到 20,000 IOPS:
- 4,096 字节 × 20,000 次/秒 = 81,920,000 字节/秒;
- 按十进制换算约为 81.92 MB/s;
- 换算为网络常用的比特单位约为 655.36 Mb/s;
- 按二进制换算约为 78.125 MiB/s。
这说明高 IOPS 不一定对应很高的 MB/s,大块顺序 I/O 则可能在较低 IOPS 下达到更高吞吐。判断存储服务器是否受限时,应同时记录请求大小、IOPS 和 MB/s,不能只看其中一个。
在稳定状态下,还可以用一个近似关系理解并发与延迟:
在途请求数 ≈ IOPS × 平均响应时间(秒)
例如平均响应时间为 2 毫秒、IOPS 为 20,000,则在途请求数约为:
20,000 × 0.002 = 40
这只是工程上的近似关系,不能用 P99 直接代替平均响应时间,也不能仅凭并发数推断设备已经饱和。真正重要的是提高并发后,吞吐是否继续增长,以及 P95、P99 和队列是否同步恶化。
影响P95和P99的主要变量
请求类型和同步写入方式
随机 I/O 更容易受到寻址、队列和介质内部调度影响;顺序 I/O 更容易受到带宽限制。小块请求通常更关注 IOPS 和延迟,大块请求通常更关注 MB/s 和链路带宽。
同步写入会等待数据达到相应的持久化确认点,延迟通常高于允许缓存确认的异步写入。混合读写时,写入刷新、缓存回写和 RAID 校验也可能在某一时刻拉高 P99。若读请求延迟稳定而写请求 P99 明显升高,应优先检查写入确认方式、缓存策略和后台回写,而不是只看总 IOPS。
并发数和队列深度
并发较低时,设备可能没有充分利用;并发继续提高后,吞吐会逐渐接近平台能力,额外请求开始排队。常见表现是:
- IOPS 继续增加,但增幅越来越小;
- 平均队列深度持续上升;
- P95 先于 P99 明显增加;
- P99 在某个并发档位后快速拉高;
- 设备忙碌时间接近饱和。
这条曲线中的拐点比某个固定的“设备利用率百分比”更有参考价值。不同设备的队列模型不同,设备显示 100% 忙碌也不一定意味着所有请求都达到了不可接受的延迟;反过来,利用率不高时也可能存在单线程、单队列或协议层限制。
存储介质、阵列和缓存
固态介质可能因为内部垃圾回收、写放大、缓存耗尽或温度控制出现尾延迟。机械盘更容易受随机访问位置、寻道和并发竞争影响。阵列还会增加校验、重建和写入放大带来的额外开销。
缓存状态需要单独测试。数据全部命中服务器内存时,测到的主要是缓存和软件路径;数据集超过缓存后,才更接近介质访问能力。热缓存和冷缓存结果不应混在同一张 P99 曲线中,否则很难判断延迟变化来自负载还是命中率变化。
CPU和内存
高 CPU 使用率并不自动证明 CPU 是瓶颈,还需要观察是否存在单核饱和、协议处理、文件系统线程、软中断或校验计算集中在少数核心上的情况。总 CPU 只有 50%,但某个核心长期接近 100%,也可能限制 I/O 提交和完成处理。
同样,内存空闲量少不等于内存瓶颈。需要结合缓存命中率、内存回收、换页、压缩、分配失败和 I/O 等待观察。如果出现频繁回收或换页,端到端 P99 可能升高,但根因未必是磁盘本身。
iowait 也不能单独作为设备瓶颈证据。它表示 CPU 上运行的任务有一部分在等待 I/O,仍需与设备延迟、队列深度和吞吐曲线一起确认。
网络、协议和共享任务
当测量位置在客户端时,网络带宽、拥塞、重传、协议往返次数和服务器线程调度都会进入响应时间。若设备完成时间稳定,但客户端 P99 抬高,应检查网络吞吐、丢包重传、连接数和协议处理,而不是直接判断底层存储性能下降。
备份、快照、校验、重建、压缩和多租户突发访问,往往只影响少量时间窗口,因此更容易表现为 P99 尖峰。若尖峰总在固定后台任务启动后出现,应将这些任务纳入生产负载模型,不能只在“干净环境”中测试。
用结果区分存储瓶颈和其他瓶颈
下面是一组用于说明判断方法的模拟数据,负载为 4 KiB、70% 读和 30% 写的混合随机 I/O。数据不是某台设备的实测结果,重点在于观察指标之间的关系。
| 负载阶段 | IOPS | 吞吐量 | P50 | P95 | P99 | 设备忙碌率/平均队列 | CPU | 超时率 |
|---|---|---|---|---|---|---|---|---|
| 低负载 | 5,000 | 约 20.5 MB/s | 1.1 ms | 1.8 ms | 2.9 ms | 42% / 1.1 | 32% | 0 |
| 预期峰值 | 15,000 | 约 61.4 MB/s | 1.8 ms | 3.4 ms | 6.8 ms | 72% / 4.2 | 43% | 0 |
| 压力阶段 | 22,000 | 约 90.1 MB/s | 5.6 ms | 18 ms | 96 ms | 99% / 31 | 46% | 0.2% |
在预期峰值从 15,000 IOPS 提高到 22,000 IOPS 后,吞吐量仍然增加,但 P99 从 6.8 毫秒升到 96 毫秒,平均队列从 4.2 增加到 31,设备忙碌率接近饱和。这说明更多请求主要转化成了等待时间,而不是有效吞吐,存储路径已经接近或超过容量拐点。

如果业务要求 P99 不超过 20 毫秒,那么压力阶段不应作为可用运行点。即使设备仍能继续完成请求,也不能把“还能跑出更高 IOPS”当作容量充足的依据。
不同指标组合可以按以下方式理解:
| 观察结果 | 更可能的原因 | 是否可直接判定为存储介质瓶颈 |
|---|---|---|
| P95、P99随并发上升,队列增长,设备延迟升高,吞吐趋于平台上限 | 存储设备、阵列或后端队列饱和 | 可以作为较强证据 |
| P50稳定,P95略升,P99偶尔跳高 | 后台任务、缓存刷新、垃圾回收、热降速或偶发竞争 | 不能直接判定持续性瓶颈 |
| P50、P95、P99一起偏高,但随负载变化不大 | 基础介质延迟、协议路径或同步 I/O 本身较慢 | 可能是基础延迟问题,不一定是容量不足 |
| 客户端 P99升高,服务器处理和设备完成时间稳定 | 网络、协议、客户端排队或连接层问题 | 通常不应先归因于磁盘 |
| 吞吐量偏低,但 P95、P99和队列都低 | 并发不足、请求过小、客户端限制或带宽未充分利用 | 不是典型存储排队瓶颈 |
| 只有写入 P99明显升高,读延迟相对稳定 | 同步写、缓存回写、校验、刷盘或写放大 | 需重点检查写路径 |
| CPU单核接近饱和,设备忙碌率低 | 协议、文件系统、校验或中断处理受限 | 更像服务器处理瓶颈 |
| 内存回收、换页或缓存命中率明显恶化 | 内存压力导致软件路径和 I/O 等待增加 | 不能只依据磁盘利用率判断 |
其中,“设备忙碌率高”与“设备延迟高”最好同时出现,判断才更可靠。单独看到高忙碌率,可能只是设备有较多并行工作但延迟仍可接受;单独看到高 iowait,也可能是应用提交方式或服务器处理能力不足。
P95和P99的决策边界怎么设
先从业务目标倒推存储目标
不存在适用于所有存储服务器的统一 P95 或 P99 阈值。交互式业务、数据库、文件服务和备份任务对延迟的容忍度不同,应该先确定业务端到端目标,再分配存储路径预算。
例如,某业务希望端到端 P99 控制在 50 毫秒以内,网络、协议和应用处理预计消耗约 30 毫秒,那么可以先把存储端 P99 的试验预算设置在 10~15 毫秒,并保留其余波动空间。这个数值是工程预算,不是把各层 P99 简单相减后得到的统计等式,最终仍要用端到端测试验证。
在没有明确业务目标时,可以先用相对标准建立内部基线:
- 预期峰值下,P95 和 P99 应保持在约定阈值内;
- 从正常负载提升到峰值时,P99 不应出现无解释的数量级跳升;
- 吞吐量应随负载增加而增长,不能主要转化为队列;
- 超时率和错误率应单独满足业务要求;
- CPU、内存、网络和设备队列应保留运行余量。
用曲线拐点而不是单点数值判断容量
容量边界通常出现在以下现象同时出现的位置:
- 继续增加并发后,IOPS 或 MB/s 增长变慢;
- P95 开始持续上升,P99 增幅更大;
- 队列深度不再回落;
- 设备延迟与客户端延迟一起增加;
- CPU、内存和网络并没有先达到限制。
最后一个满足业务 P95、P99、吞吐和错误率要求的稳定档位,可以作为“可用容量档位”。下一个档位如果出现持续排队或尾延迟超标,就应视为已经越过容量边界,而不是把两个档位之间的理论平均值当作安全上限。
例如,15,000 IOPS 的测试档位满足 P99 目标,22,000 IOPS 不满足,那么 15,000 IOPS 只是当前测试条件下的最大合格档位。若规划中预留 20% 的运行余量,可先按约 12,000 IOPS 作为长期运行参考,再用真实业务混合负载复测。这个余量比例应根据业务突发程度、后台任务和增长速度调整,不宜机械套用。
区分容量瓶颈与尾延迟异常
可以按以下边界做初步决策:
- P95和P99都持续上升,队列持续增加:优先判断为存储路径容量不足。
- P95稳定,P99偶发尖峰:优先查时间相关的后台任务、缓存刷新、介质内部维护、温度和网络重传。
- P50已经很高,P95和P99只是随之升高:优先分析基础路径延迟、同步 I/O、协议和介质类型。
- 客户端延迟高,设备延迟低:优先检查网络、客户端并发、协议和服务器线程。
- 设备延迟高,但 CPU、内存和网络正常:更接近介质、阵列、控制器或后端队列瓶颈。
- 吞吐没有达到预期但延迟也不高:先确认并发数、请求大小和带宽是否足以把设备压到目标负载。
用复测确定可用容量
一次测试只能说明某个条件下的结果,不能直接代表所有业务。复测时应保持请求大小、读写比例、同步方式、数据集、缓存状态和客户端数量一致,同时在不同负载档位采集以下数据:
- 原始响应时间或足够精细的延迟直方图;
- P50、P95、P99和超时率;
- IOPS、MB/s、请求大小和读写比例;
- 客户端并发、服务器队列和设备队列;
- 设备完成延迟、忙碌率以及每个卷或每块盘的状态;
- CPU 总量和单核使用率、
iowait、内存回收和换页; - 网络吞吐、丢包、重传和连接数;
- 测试期间的备份、快照、重建、校验等后台事件。
每个档位最好重复多轮,分别计算每轮分位数并观察一致性。不要把多轮 P99 直接求平均;如果需要得到整体结果,应合并原始样本,或使用按样本数量合并的直方图。
最终可以形成一张简单的容量判定表:记录每个负载档位是否满足 P95、P99、吞吐、错误率和队列稳定性要求,取最后一个持续满足条件的档位作为合格容量,再根据业务突发和增长预留安全空间。
P99 用来观察最慢的一小部分请求,P95 用来判断常态尾部是否已经普遍变慢;只有把二者的变化趋势与吞吐、队列和资源指标对齐,才能确认存储服务器是否真正成为瓶颈。单独一个 P99 数字只能说明尾部现象,不能替代完整的容量判断。
围绕存储服务器的容量与尾延迟分析,A5数据提供香港、美国、日本等地区的物理服务器资源,涵盖搭载SSD或NVMe的常规配置,以及香港四块14TB企业级机械硬盘、日本多块HDD或SSD等存储方案。不同硬件组合可用于承载数据库、文件服务、备份与归档等业务;多地区的产品选择也为不同部署区域的存储业务提供了资源基础。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/6019.html
