评估存储服务器响应时间时,P95与P99分位数分别能说明什么?

发布人:A5数据发布时间:2026-11-11 10:21阅读量:63

一台存储服务器的平均响应时间只有 2 ms,并不意味着业务请求都能在 2 ms 左右完成。少量 I/O 如果排队到几十毫秒,数据库提交、检索或文件访问仍可能出现可感知的卡顿。评估这类波动,P95 和 P99 比单看平均值更有用。

P95 说明较慢但仍较常见的请求要等多久;P99 则进一步观察尾部延迟。两者都不是“最慢请求耗时”,也不能单独证明服务器是否满足业务需求。判断时必须把分位数放回明确的负载、并发和观测位置中,再与 IOPS、吞吐、队列及资源使用情况一起看。

先确定要测哪一种响应时间

“存储响应时间”可能指客户端发起一次文件读写到收到结果的时间,也可能指操作系统提交块 I/O 到完成的时间。两者的范围不同:前者可能包含网络、文件系统、缓存和应用处理,后者更接近主机侧观察到的存储 I/O。若业务关心数据库提交耗时,只报告磁盘读请求的 P99,回答不了提交是否会变慢。

先确定要测哪一种响应时间配图

测试前至少固定以下条件,才有比较 P95、P99 的基础:

  • 观测位置:记录的是应用请求、客户端文件 I/O,还是块设备 I/O;读、写和需要持久化确认的写入应分别观察。
  • 负载形态:记录随机或顺序访问、读写比例、I/O 大小、工作集规模,以及数据能否被内存缓存。
  • 压力水平:记录请求到达速率、客户端并发数、实际 IOPS 与吞吐,而不只写“并发 64”。并发数不一定等于设备队列深度。
  • 时间窗口:注明预热后统计了多久,是否覆盖持续写入、备份等会影响尾部延迟的时段。

测试工具的计时字段也要对齐。例如 fio 区分提交延迟、完成延迟和总延迟;其中总延迟包含提交与完成两部分。拿 fio 的完成延迟与应用端到端响应时间直接比较,可能把上层排队或网络耗时漏掉。(fio.readthedocs.io)

P95 与 P99 各自说明什么

将同一测试窗口内的 I/O 响应时间从短到长排列,P95 是约 95% 的观测值不超过的时间,P99 是约 99% 的观测值不超过的时间。若记录了 10 万次 I/O,P95 为 8 ms,表示约 9.5 万次在 8 ms 以内;P99 为 30 ms,表示约 9.9 万次在 30 ms 以内。它们不是最慢 5% 或最慢 1% 的平均耗时,超过 P99 的请求仍可能远慢于 30 ms。

指标主要回答的问题单独使用时的盲区
平均延迟整体处理一笔 I/O 大致花多久容易掩盖少量很慢的请求
P95较慢请求是否已开始影响常规体验看不到最慢 5% 内部如何分布
P99尾部请求是否出现明显拖延不代表最大值,也不说明慢在哪里
超阈值次数或比例超过业务可接受时间的情况有多频繁需要先定义有业务意义的阈值

P95 适合观察较慢请求是否成为持续性问题。若 P95 从 5 ms 升到 15 ms,而 P99 也同步抬升,通常不应把它解释成“偶发尖峰”:变慢已经覆盖了更大比例的 I/O。反过来,P95 基本稳定、P99 明显上升,更值得检查少量请求是否遇到写入落盘、后台任务、突发排队或共享资源争用。这是排查方向,不是仅凭两个数字就能确定的根因。

分位数还依赖样本和计算方式。一次只有几百笔 I/O 的短测试,P99 容易受个别请求影响;多台服务器的 P99 也不能直接取平均作为整体 P99。若使用监控直方图汇总多实例数据,应从汇总后的分布重新计算,并留意分桶精度。(prometheus.io)

为什么吞吐增加时,尾部延迟可能先恶化

存储负载不能只用“每秒多少 I/O”描述。以固定 4 KiB I/O 为例,18,000 IOPS 对应约 70.3 MiB/s;这里按二进制单位换算,4 KiB 为 4,096 字节,1 MiB 为 1,048,576 字节。若改为 64 KiB I/O,即使 IOPS 较低,吞吐压力也可能更高。因此,小块随机访问与大块顺序传输,不能用同一个 IOPS 数字判断余量。

排队是解释 P99 的关键线索,但不是唯一原因。当请求到达速度接近某一环节可持续处理的速度,新增请求可能需要等待,尾部延迟便可能比吞吐变化更明显。队列应结合 I/O 大小和负载目标观察;持续施加超过存储能力的 I/O,可能增加延迟,而较高队列深度也可能是大块顺序吞吐测试主动采用的条件,不能脱离场景判定异常。(docs.aws.amazon.com)

同时观察 CPU、内存和网络,是为了辨别“时间花在了哪里”,而不是寻找一个通用的正常值。CPU 接近忙碌且 P95、P99 一起上升,应检查计算、压缩、校验或协议处理是否限制了请求推进;内存缓存命中率变化,可能让原先由缓存完成的读取转向实际存储;共享存储的客户端延迟升高而服务端块 I/O 延迟稳定,则应继续核对网络传输和上层排队。只看到服务器 CPU 未跑满,不能推断存储还有足够余量。

测试是否经过缓存也必须说清。fio 的非缓冲 I/O 与缓冲 I/O 是不同设置;前者有助于减少页缓存对底层 I/O 测量的影响,但若真实业务依赖缓存,仍需另测业务路径。两组结果回答的是不同问题,不能择优引用。(fio.readthedocs.io)

怎样解释一组 P95、P99 结果

下面是一组用于说明判断方法的示例数据:三轮均为 4 KiB 随机混合读写,读写比例、数据集和计时口径相同;吞吐按每次 I/O 均为 4 KiB 估算,不代表某款服务器的实测能力。

怎样解释一组 P95、P99 结果配图

压力档位实际 IOPS估算吞吐P95P99CPU 使用率平均待处理 I/O
A:常态负载18,00070.3 MiB/s3.8 ms8 ms48%2
B:提高负载29,000113.3 MiB/s6 ms31 ms67%12
C:继续加压30,000117.2 MiB/s16 ms95 ms73%35

从 A 到 B,IOPS 增长明显,P95 增幅尚可讨论,但 P99 已从 8 ms 升至 31 ms。从 B 到 C,IOPS 只增加约 3.4%,P95 和 P99 却进一步升高,待处理 I/O 也增多。对延迟敏感业务而言,C 档新增的少量吞吐未必值得付出尾部等待的代价。表中 CPU 没有达到 100%,也不足以把瓶颈归因于 CPU;还需用同一时间窗口的设备、网络及应用指标定位。

更重要的是,这组数据不能直接推出“可用容量等于 29,000 IOPS”。容量边界取决于业务允许多少延迟。若某业务给存储 I/O 分配的预算是 P95 不超过 10 ms、P99 不超过 30 ms,A 档符合这两个示例门槛,B 档的 P99 已越过门槛,C 档两项都不符合。30 ms 是此处为了演示而设的业务预算,不是所有存储服务器通用的合格线。

还要检查施压方式。若客户端只在上一笔 I/O 完成后才发下一笔,系统变慢时,实际请求到达速率也可能随之下降,测出的尾部延迟未必反映目标业务流量下的等待。用于容量判断时,应同时记录目标提交速率与实际完成速率,并确认负载工具是否成功维持预定速率;fio 提供按 IOPS 限速及检查最低达成速率的设置。(fio.readthedocs.io)

把分位数变成可执行的容量边界

先从业务链路分配延迟预算,再决定看哪个指标。频繁的小事务更需要关注较高分位数下的等待;以大文件持续传输为主的任务,则应把持续吞吐与完成时间放在更重要的位置,同时保留延迟监测,避免并行业务被拖慢。对于一次请求会串行触发多笔存储 I/O 的应用,单笔 I/O 满足 P99 目标,也不等于整笔业务请求必然满足相同的 P99 目标。

实际验收可按以下顺序复测:

  1. 固定业务口径。写明观测位置、读写类别、I/O 大小、缓存状态、数据集大小和统计窗口;分别给 P95、P99 设定来自业务预算的上限。
  2. 逐档增加目标负载。每档经过相同预热并保持足够长的稳定观测窗口,记录目标与实际 IOPS、吞吐、P95、P99、超阈值比例,以及队列、CPU、内存和网络指标。
  3. 核对重复性与持续性。在相同条件下重复测试,并覆盖业务高峰及相关后台任务;若只有某次短窗口的 P99 异常,先查样本量和事件,再决定是否调整容量判断。
  4. 在达标档位内留余量。以预计高峰为基础加入明确的增长或突发余量,在该目标负载下重新验证,而不是把首次越线前的 IOPS 当作可长期承诺的容量。

对上面的示例,若预计高峰为 18,000 IOPS,计划预留 20% 负载余量,下一档应测试 21,600 IOPS(18,000 × 1.2),并检查实际到达速率是否达成、P95 和 P99 是否仍在预算内。已知 B 档 P99 越线,只能说明应在 A、B 两档之间继续寻找边界,不能靠两点线性推算出一个“安全 IOPS”。这样得到的容量结论,才对应明确的负载和延迟要求。

A5idc数据提供中国香港、美国、日本、韩国、中国台湾、新加坡和马来西亚等地区的物理服务器资源,覆盖NVMe、SSD及大容量企业级硬盘存储,并结合Xeon Gold、AMD EPYC、不同内存与带宽线路配置,适配数据库、文件服务、备份归档及多任务存储场景。针对不同访问地区、数据规模和业务负载,A5idc数据可提供相应的服务器与网络资源组合,为响应时间、吞吐和容量边界分析提供部署基础。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/8731.html