全闪存存储节点性能怎么验收?如何结合延迟、吞吐与队列深度判断瓶颈
验收全闪存存储节点,不能只看某一组峰值 IOPS,也不能用“吞吐越高越好”替代业务指标。更可靠的做法是把物理服务器、存储节点、网络路径和冗余方案放在同一条链路上,分别观察延迟、吞吐、实际队列深度、CPU、内存和链路利用率,在业务目标对应的并发区间内确认性能拐点。
判断瓶颈时,延迟回答“请求多久完成”,吞吐回答“单位时间处理多少数据”,队列深度回答“系统为了获得这些结果积压了多少并发请求”。三者需要结合起来看:队列深度增加后吞吐是否继续增长、延迟是否突然抬升、CPU或网络是否先达到上限,决定了问题是在闪存介质、存储软件、物理服务器、PCIe总线还是网络路径。

先确定验收对象与业务目标
物理服务器和全闪存存储节点可能存在两种关系:
- 物理服务器使用本地 NVMe 盘,验收重点是本地 PCIe、CPU、内存和磁盘池。
- 物理服务器通过网络访问全闪存存储节点,验收结果还会包含网卡、交换机、IP路径、存储协议、网络冗余和客户端软件栈的影响。
这两种结果不能混为一谈。远程存储测试中,即使存储节点内部可以提供较高的 IOPS,单条 25GbE 链路也可能先成为上限;本地磁盘测试表现很好,也不代表业务通过网络访问时仍能达到相同延迟。
验收前应先把业务目标转成可测条件。下面是一组适合用于评审的目标项,数值仅作示例,实际阈值应以业务SLO、采购合同或内部容量规划为准。
| 验收项 | 示例测试条件 | 主要观察指标 |
|---|---|---|
| 小块随机读 | 4KiB、QD1/QD8/QD32、持续30分钟 | 平均延迟、P99延迟、IOPS |
| 小块混合读写 | 4KiB、70%读/30%写、多个并发任务 | P99.9延迟、写放大、队列变化 |
| 大块顺序读写 | 128KiB或1MiB、QD4/QD16 | 持续吞吐、网络带宽、CPU占用 |
| 稳态性能 | 预热后持续30至60分钟 | GC抖动、缓存失效、延迟尾部 |
| 故障切换 | 单路径或单组件按流程切换 | 中断时间、恢复后性能、错误数 |
| 容量状态 | 空池、目标使用率、接近预留线 | 性能拐点、剩余容量、延迟变化 |
如果业务是数据库、虚拟化或事务型应用,4KiB或8KiB随机I/O和尾延迟通常比顺序读峰值更重要。如果业务是备份、媒体处理或大文件服务,则应增加128KiB、1MiB甚至更大块大小的顺序吞吐测试。
三个指标应该怎样一起看
延迟:平均值不能替代尾延迟
平均延迟容易掩盖少量慢请求。例如,1000个请求中有990个请求延迟为0.4毫秒,10个请求延迟为30毫秒,平均值仍可能看起来不高,但这10个慢请求足以影响数据库提交、虚拟机响应和分布式服务的超时判断。
验收至少应记录:
- P50:典型请求的中位数表现;
- P95或P99:大多数请求能否在目标时间内完成;
- P99.9:观察少量长尾请求和故障抖动;
- 最大值:用于发现超时、队列阻塞或切换事件,但不宜单独作为判定依据。
延迟还要区分测量位置。物理服务器应用侧测到的是端到端延迟,存储节点内部测到的可能只是盘组或控制器延迟。两者的差值通常包含网络、协议、队列和客户端处理开销。
吞吐:要区分IOPS、MB/s和Gb/s
IOPS适合描述小块随机操作,吞吐适合描述大块顺序传输。两者可以换算,但必须保留块大小。
按十进制单位计算时:
吞吐量(MB/s)= IOPS × 每次I/O字节数 ÷ 1,000,000
例如,4KiB块大小下,100,000 IOPS对应:
100,000 × 4,096 ÷ 1,000,000 = 409.6 MB/s
网络标称速率通常使用Gb/s,换算为GB/s时先除以8。例如25Gb/s链路的理论字节速率为:
25 ÷ 8 = 3.125 GB/s
这是链路理论值,不是应用可持续载荷。协议头、封装、存储协议和系统处理开销都会降低有效吞吐。验收时应同时记录网卡实际发送接收速率,避免把25Gb/s直接当成3.125GB/s的业务可用吞吐。
队列深度:看系统如何用并发换取吞吐
队列深度(QD)表示同时处于未完成状态的I/O数量。QD1接近单请求延迟,适合观察基础响应;QD16、QD32或更高值用于观察并发能力和饱和点。
如果测试设置为4个任务、每个任务的I/O深度为8,目标并发通常接近32,但实际值还会受到I/O引擎、文件系统、协议和服务端队列的影响。因此,fio配置中的队列深度只是发起端目标,不能直接等同于存储设备已经处理的队列。
可以用近似关系辅助判断:
实际未完成请求数 ≈ IOPS × 平均延迟(秒)
例如,系统处理100,000 IOPS、平均延迟1毫秒时,链路中大约有100个未完成请求。这个数值用于解释性能变化,不替代设备和协议层的正式队列统计。
常见的正常曲线是:QD从1提升到8或16时,吞吐明显增长,延迟只小幅增加;继续提高QD后,吞吐增幅变小而P99延迟明显上升。后一个转折点就是性能拐点,通常不适合作为长期运行点。
影响结果的配置组合
CPU与内存决定能否把存储压满
全闪存介质的处理速度较高,CPU可能比机械盘时代更早成为限制因素。压缩、重删、校验、加密、纠删码、协议封装和中断处理都会消耗计算资源。
验收时不要只看整机CPU平均利用率,还应观察:
- 是否有单个核心长期接近100%,而整机平均值仍较低;
- 存储服务进程是否占用主要CPU;
- 网卡中断是否集中在少数核心;
- NUMA节点上的CPU、内存和PCIe设备是否跨节点访问;
- CPU频率是否因功耗或散热限制下降。
例如,物理服务器有32个核心,但单条I/O处理线程只能使用一个核心时,整机CPU利用率可能只有10%至20%,单核心却已经饱和。此时继续增加磁盘数量或队列深度,通常不会带来对应的吞吐提升。
内存主要影响缓存命中、元数据处理和并发任务稳定性,不能简单用大内存替代闪存性能。测试数据集小于内存时,第一次测试和第二次测试可能主要反映缓存,而非闪存介质。建议让工作集明显大于可用内存,或者分别进行缓存命中与缓存冷态测试。
面向全闪存存储节点的性能验收,A5数据提供香港、美国、日本等地区的物理服务器资源,配置覆盖不同档位的CPU、内存与SSD或NVMe存储,可用于数据库、业务后台及多任务负载的部署。香港和美国另有存储服务器方案,日本部分配置提供SSD或大容量HDD,便于匹配不同的数据规模与存储需求;多地区产品也为跨区域业务提供相应的服务器资源基础。
闪存数量、盘组方式和PCIe拓扑决定介质上限
全闪存节点的“盘数越多,性能越高”只在控制器、PCIe和网络都能承载时成立。需要核对:
- 单盘规格与实际稳定性能,而不是只看厂商峰值;
- NVMe盘连接到哪个PCIe根端口;
- 背板、扩展卡和CPU PCIe通道是否存在共享;
- RAID、镜像、纠删码或分布式副本带来的读写开销;
- 存储池是否启用压缩、重删、加密和校验;
- 池使用率升高后垃圾回收是否增加;
- 写缓存是否有掉电保护,以及缓存策略是否与验收环境一致。
举例来说,8块单盘顺序读取能力约为7GB/s的NVMe盘,理论聚合能力接近56GB/s;如果它们最终汇聚到一条PCIe 4.0 x16链路,链路有效带宽约为30GB/s量级,继续增加盘数就会出现总线过载。若节点对外只有一条25GbE链路,远端业务可见的吞吐还会进一步受限。

盘组冗余也会改变性能。镜像通常写入路径较直接,但有效容量减少;纠删码可以提高容量利用率,却会增加写入计算和重构开销。冗余模式必须与实际部署模式一致,不能用单盘或无保护池测试结果验收带保护的生产池。
网络、IP和冗余决定远程I/O的可达上限
网络验收应区分物理链路数量、有效路径数量和单流能力:
- 两个25GbE端口并不自动等于单个业务流拥有50Gb/s;
- LACP通常需要多条流才能利用多条链路;
- 多路径存储需要客户端、存储协议和交换网络共同支持;
- 两个IP地址如果仍经过同一网卡、同一交换机上联或同一PCIe路径,不能算真正的独立冗余;
- 双网卡、双交换机、双电源和多路径配置,应分别验证故障影响。
IP地址本身不会直接提高闪存吞吐。它的作用是提供访问路径、路由隔离、管理地址或故障切换地址。验收时应确认业务IP、管理IP、心跳IP和多路径地址的用途没有混淆,并检查切换后ARP、路由、会话恢复和路径重连是否符合设计。
网络配置组合可以按下面的方式判断:
| 配置组合 | 可能收益 | 需要验证的边界 |
|---|---|---|
| 单25GbE链路 | 配置简单,适合单路径业务 | 约3.125GB/s理论上限,故障时中断风险较高 |
| 双25GbE独立路径 | 提供冗余,也可能提高多流吞吐 | 单流是否能聚合,交换机和多路径是否支持 |
| 100GbE单端口 | 大块顺序吞吐空间更大 | 网卡、PCIe、CPU和存储池是否能持续供给 |
| 双交换机双路径 | 故障域更小 | 两条路径是否真的经过不同设备和上联 |
| 多IP但单网卡单交换机 | 便于业务隔离或地址管理 | 不等同于带宽叠加,也不等同于硬件冗余 |
建立可重复的测试矩阵
测试前固定环境变量
以下条件应记录在验收表中:
- 物理服务器CPU型号、核心数、内存容量和NUMA拓扑;
- 存储节点CPU、内存、SSD型号、数量和固件版本;
- RAID、镜像、纠删码、压缩、重删、加密和缓存策略;
- 网卡速率、驱动、固件、MTU、交换机端口和路径;
- 使用的文件系统、块设备或存储协议;
- 测试数据集大小、预热时间和稳态持续时间;
- fio版本、I/O引擎、任务数、队列深度、块大小和读写比例。
测试最好使用独立测试卷或隔离租户。写入测试会改变介质状态,生产卷上执行前应完成备份、容量确认和变更审批;不应直接对包含业务数据的裸设备运行覆盖式写入。
Linux环境下,可以用专用测试文件进行示例测试。下面命令仅适用于已经准备好的测试路径,不能把生产数据目录直接替换进去:
fio --name=randread_qd1 \
--filename=/mnt/acceptance/fio.test \
--size=200G \
--rw=randread \
--bs=4k \
--ioengine=libaio \
--direct=1 \
--iodepth=1 \
--numjobs=1 \
--runtime=1800 \
--time_based \
--group_reporting \
--percentile_list=50:90:95:99:99.9
--direct=1可以减少主机页缓存对结果的影响,但不能绕过存储节点控制器缓存、SSD内部缓存或分布式存储软件缓存。测试文件应经过批准的预填充和清理流程,测试结束后只清理测试数据,不删除业务目录或生产卷。
建议至少覆盖以下组合:
| 负载 | 块大小 | 读写比例 | 队列深度 |
|---|---|---|---|
| 随机读 | 4KiB | 100%读 | 1、4、16、32、64 |
| 随机写 | 4KiB | 100%写 | 1、4、16、32 |
| 混合随机 | 4KiB或8KiB | 70%读/30%写 | 1、8、16、32 |
| 顺序读 | 128KiB | 100%读 | 1、4、16 |
| 顺序写 | 128KiB或1MiB | 100%写 | 1、4、16 |
监控不能只依赖fio输出。测试期间应同步采集块设备、CPU、内存、网卡和错误计数:
iostat -xmd 1
mpstat -P ALL 1
pidstat -dru 1
sar -n DEV,EDEV 1
ip -s link show dev eth0
网卡名称、驱动统计项和存储服务命令可能因发行版及硬件不同而变化。需要核对实际接口名,并关注丢包、CRC错误、重传、队列丢弃和链路速率变化。网络带宽基线可以用独立的流量工具测试,但它只能说明网络路径能力,不能替代真实存储协议测试。
用结果定位瓶颈
下面是一组模拟的4KiB随机读结果,用于说明如何观察队列拐点,不代表某个具体产品的实测数据。

| QD | IOPS | 平均延迟 | P99延迟 | 估算吞吐 |
|---|---|---|---|---|
| 1 | 98,000 | 0.10ms | 0.32ms | 401.4MB/s |
| 8 | 430,000 | 0.18ms | 0.55ms | 1,761.3MB/s |
| 16 | 610,000 | 0.26ms | 0.85ms | 2,498.6MB/s |
| 32 | 640,000 | 0.55ms | 2.40ms | 2,621.4MB/s |
| 64 | 645,000 | 1.10ms | 6.80ms | 2,641.9MB/s |
这个结果中,QD16到QD32期间吞吐只增加约5%,但P99延迟明显上升;QD32之后吞吐几乎不再增长,说明系统的有效工作点更接近QD16,而不是QD64。若业务需要低尾延迟,应把QD16附近作为容量规划参考,而不是把645,000 IOPS作为长期承诺值。
不同现象通常对应不同的排查方向:

| 观察现象 | 更可能的瓶颈 | 下一步核对 |
|---|---|---|
| QD1延迟已经偏高,QD增加后吞吐增长有限 | 基础路径、协议、NUMA、控制器或介质响应慢 | 对比本地与远程、单路径与多路径,查看存储服务延迟 |
| 吞吐随QD增长,达到接近25Gb/s后停止 | 网络链路或协议带宽达到上限 | 查看网卡实际速率、交换机端口、单流与多流差异 |
| 吞吐停止增长,P99快速上升,SSD利用率高 | 闪存介质、盘组或存储池达到饱和 | 对比盘级利用率、池级队列、GC和写放大 |
| 整机CPU不高,但单核或存储进程接近100% | 单线程、IRQ亲和性或软件栈限制 | 查看每核心CPU、进程线程和NUMA分布 |
| 第一次测试慢,重复测试明显变快 | 主机或控制器缓存命中 | 增大工作集,分别记录冷缓存和热缓存结果 |
| 本地测试正常,远程测试P99明显升高 | 网络、协议、交换路径或客户端队列 | 做端到端链路分段测试 |
| 正常模式达标,单路径故障后延迟成倍增加 | 冗余路径接管后资源不足 | 测量切换时间、剩余路径带宽和恢复后的队列 |
| 写入在长时间运行后下降 | SSD垃圾回收、缓存耗尽或池接近满载 | 增加预热和稳态时间,按不同容量使用率复测 |
CPU、内存和网络监控还要与fio中的实际并发相互印证。如果配置了QD32,但存储节点实际队列很低,可能是发起端CPU不足、I/O引擎没有真正支持异步深度,或者中间协议限制了并发;如果设备队列很高而吞吐不再增加,则继续堆高QD只会扩大延迟尾部。
验收线与配置决策边界
一组可执行的验收标准通常包含四层,而不是一个峰值数字:
- 业务指标达标:目标负载下的P99或P99.9延迟不超过约定阈值,持续吞吐达到目标值。
- 稳态可重复:预热后持续运行30至60分钟,结果波动处于约定范围,不能只取一次最高成绩。
- 资源有余量:CPU、PCIe、网卡和存储池不能同时长期贴近上限。若目标运行点已经使单核心、链路或盘组饱和,扩容后很可能出现明显尾延迟。
- 故障可恢复:单路径、单盘或单组件故障按设计流程切换,记录中断时间、错误数、恢复后吞吐和延迟。未经厂商流程确认,不要直接拔出生产盘进行验证。
如果某项未达标,应先判断它是“性能不够”还是“组合不平衡”。例如:
- 盘组还有余量,但25GbE已经饱和,应优先升级网络或增加经过验证的独立路径;
- 网络还有余量,但存储节点CPU单核饱和,应调整CPU型号、软件卸载、NUMA绑定或压缩重删策略;
- CPU和网络都未到上限,但P99在高QD下快速升高,应检查盘组、写缓存、SSD稳态性能和存储软件队列;
- 吞吐达标但尾延迟不达标,应降低目标QD、增加节点或调整副本和纠删码策略,不能用更高并发掩盖延迟问题。
容量判断也要基于性能拐点,而不是只按原始盘容量计算。建议在空池、目标使用率和接近预留线三个状态下复测,至少观察使用率达到60%至70%后延迟是否开始上升。长期运行点可以选择在“吞吐增益低于约10%、而P99延迟开始明显翻倍”的拐点之前,并为故障重构、垃圾回收和业务突发预留20%至30%的资源空间;这些比例属于规划参考,不是所有阵列都适用的固定规则。
可用容量的估算也要区分原始容量、冗余有效率和预留空间。例如,8块7.68TB盘的十进制原始容量为:
8 × 7.68TB = 61.44TB
如果采用近似二副本镜像,有效容量约为30.72TB;再预留20%用于系统、重构和性能缓冲,可交付容量约为:
30.72TB × 80% = 24.576TB
这个数值还未扣除元数据、热备盘和具体产品的容量规则。纠删码、三副本和不同热备策略需要单独计算,不能把镜像比例套用到所有存储池。
交付前应在以下条件发生变化时复测:SSD型号或固件变更、盘数变化、RAID或纠删码策略变化、CPU或内存调整、网卡速率变化、交换机路径变化、IP多路径配置变化、缓存策略变化,以及存储池使用率跨过规划线。只有在相同负载、相同路径、相同冗余模式和相近容量状态下重新测试,前后数据才具有可比性。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5228.html