全闪存存储节点性能怎么验收?如何结合延迟、吞吐与队列深度判断瓶颈

发布人:A5数据发布时间:2026-10-23 09:52阅读量:118

验收全闪存存储节点,不能只看某一组峰值 IOPS,也不能用“吞吐越高越好”替代业务指标。更可靠的做法是把物理服务器、存储节点、网络路径和冗余方案放在同一条链路上,分别观察延迟、吞吐、实际队列深度、CPU、内存和链路利用率,在业务目标对应的并发区间内确认性能拐点。

判断瓶颈时,延迟回答“请求多久完成”,吞吐回答“单位时间处理多少数据”,队列深度回答“系统为了获得这些结果积压了多少并发请求”。三者需要结合起来看:队列深度增加后吞吐是否继续增长、延迟是否突然抬升、CPU或网络是否先达到上限,决定了问题是在闪存介质、存储软件、物理服务器、PCIe总线还是网络路径。

指标与性能分析配图

先确定验收对象与业务目标

物理服务器和全闪存存储节点可能存在两种关系:

  • 物理服务器使用本地 NVMe 盘,验收重点是本地 PCIe、CPU、内存和磁盘池。
  • 物理服务器通过网络访问全闪存存储节点,验收结果还会包含网卡、交换机、IP路径、存储协议、网络冗余和客户端软件栈的影响。

这两种结果不能混为一谈。远程存储测试中,即使存储节点内部可以提供较高的 IOPS,单条 25GbE 链路也可能先成为上限;本地磁盘测试表现很好,也不代表业务通过网络访问时仍能达到相同延迟。

验收前应先把业务目标转成可测条件。下面是一组适合用于评审的目标项,数值仅作示例,实际阈值应以业务SLO、采购合同或内部容量规划为准。

验收项示例测试条件主要观察指标
小块随机读4KiB、QD1/QD8/QD32、持续30分钟平均延迟、P99延迟、IOPS
小块混合读写4KiB、70%读/30%写、多个并发任务P99.9延迟、写放大、队列变化
大块顺序读写128KiB或1MiB、QD4/QD16持续吞吐、网络带宽、CPU占用
稳态性能预热后持续30至60分钟GC抖动、缓存失效、延迟尾部
故障切换单路径或单组件按流程切换中断时间、恢复后性能、错误数
容量状态空池、目标使用率、接近预留线性能拐点、剩余容量、延迟变化

如果业务是数据库、虚拟化或事务型应用,4KiB或8KiB随机I/O和尾延迟通常比顺序读峰值更重要。如果业务是备份、媒体处理或大文件服务,则应增加128KiB、1MiB甚至更大块大小的顺序吞吐测试。

三个指标应该怎样一起看

延迟:平均值不能替代尾延迟

平均延迟容易掩盖少量慢请求。例如,1000个请求中有990个请求延迟为0.4毫秒,10个请求延迟为30毫秒,平均值仍可能看起来不高,但这10个慢请求足以影响数据库提交、虚拟机响应和分布式服务的超时判断。

验收至少应记录:

  • P50:典型请求的中位数表现;
  • P95或P99:大多数请求能否在目标时间内完成;
  • P99.9:观察少量长尾请求和故障抖动;
  • 最大值:用于发现超时、队列阻塞或切换事件,但不宜单独作为判定依据。

延迟还要区分测量位置。物理服务器应用侧测到的是端到端延迟,存储节点内部测到的可能只是盘组或控制器延迟。两者的差值通常包含网络、协议、队列和客户端处理开销。

吞吐:要区分IOPS、MB/s和Gb/s

IOPS适合描述小块随机操作,吞吐适合描述大块顺序传输。两者可以换算,但必须保留块大小。

按十进制单位计算时:

吞吐量(MB/s)= IOPS × 每次I/O字节数 ÷ 1,000,000

例如,4KiB块大小下,100,000 IOPS对应:

100,000 × 4,096 ÷ 1,000,000 = 409.6 MB/s

网络标称速率通常使用Gb/s,换算为GB/s时先除以8。例如25Gb/s链路的理论字节速率为:

25 ÷ 8 = 3.125 GB/s

这是链路理论值,不是应用可持续载荷。协议头、封装、存储协议和系统处理开销都会降低有效吞吐。验收时应同时记录网卡实际发送接收速率,避免把25Gb/s直接当成3.125GB/s的业务可用吞吐。

队列深度:看系统如何用并发换取吞吐

队列深度(QD)表示同时处于未完成状态的I/O数量。QD1接近单请求延迟,适合观察基础响应;QD16、QD32或更高值用于观察并发能力和饱和点。

如果测试设置为4个任务、每个任务的I/O深度为8,目标并发通常接近32,但实际值还会受到I/O引擎、文件系统、协议和服务端队列的影响。因此,fio配置中的队列深度只是发起端目标,不能直接等同于存储设备已经处理的队列。

可以用近似关系辅助判断:

实际未完成请求数 ≈ IOPS × 平均延迟(秒)

例如,系统处理100,000 IOPS、平均延迟1毫秒时,链路中大约有100个未完成请求。这个数值用于解释性能变化,不替代设备和协议层的正式队列统计。

常见的正常曲线是:QD从1提升到8或16时,吞吐明显增长,延迟只小幅增加;继续提高QD后,吞吐增幅变小而P99延迟明显上升。后一个转折点就是性能拐点,通常不适合作为长期运行点。

影响结果的配置组合

CPU与内存决定能否把存储压满

全闪存介质的处理速度较高,CPU可能比机械盘时代更早成为限制因素。压缩、重删、校验、加密、纠删码、协议封装和中断处理都会消耗计算资源。

验收时不要只看整机CPU平均利用率,还应观察:

  • 是否有单个核心长期接近100%,而整机平均值仍较低;
  • 存储服务进程是否占用主要CPU;
  • 网卡中断是否集中在少数核心;
  • NUMA节点上的CPU、内存和PCIe设备是否跨节点访问;
  • CPU频率是否因功耗或散热限制下降。

例如,物理服务器有32个核心,但单条I/O处理线程只能使用一个核心时,整机CPU利用率可能只有10%至20%,单核心却已经饱和。此时继续增加磁盘数量或队列深度,通常不会带来对应的吞吐提升。

内存主要影响缓存命中、元数据处理和并发任务稳定性,不能简单用大内存替代闪存性能。测试数据集小于内存时,第一次测试和第二次测试可能主要反映缓存,而非闪存介质。建议让工作集明显大于可用内存,或者分别进行缓存命中与缓存冷态测试。

面向全闪存存储节点的性能验收,A5数据提供香港、美国、日本等地区的物理服务器资源,配置覆盖不同档位的CPU、内存与SSD或NVMe存储,可用于数据库、业务后台及多任务负载的部署。香港和美国另有存储服务器方案,日本部分配置提供SSD或大容量HDD,便于匹配不同的数据规模与存储需求;多地区产品也为跨区域业务提供相应的服务器资源基础。

闪存数量、盘组方式和PCIe拓扑决定介质上限

全闪存节点的“盘数越多,性能越高”只在控制器、PCIe和网络都能承载时成立。需要核对:

  • 单盘规格与实际稳定性能,而不是只看厂商峰值;
  • NVMe盘连接到哪个PCIe根端口;
  • 背板、扩展卡和CPU PCIe通道是否存在共享;
  • RAID、镜像、纠删码或分布式副本带来的读写开销;
  • 存储池是否启用压缩、重删、加密和校验;
  • 池使用率升高后垃圾回收是否增加;
  • 写缓存是否有掉电保护,以及缓存策略是否与验收环境一致。

举例来说,8块单盘顺序读取能力约为7GB/s的NVMe盘,理论聚合能力接近56GB/s;如果它们最终汇聚到一条PCIe 4.0 x16链路,链路有效带宽约为30GB/s量级,继续增加盘数就会出现总线过载。若节点对外只有一条25GbE链路,远端业务可见的吞吐还会进一步受限。

影响结果的配置组合配图

盘组冗余也会改变性能。镜像通常写入路径较直接,但有效容量减少;纠删码可以提高容量利用率,却会增加写入计算和重构开销。冗余模式必须与实际部署模式一致,不能用单盘或无保护池测试结果验收带保护的生产池。

网络、IP和冗余决定远程I/O的可达上限

网络验收应区分物理链路数量、有效路径数量和单流能力:

  • 两个25GbE端口并不自动等于单个业务流拥有50Gb/s;
  • LACP通常需要多条流才能利用多条链路;
  • 多路径存储需要客户端、存储协议和交换网络共同支持;
  • 两个IP地址如果仍经过同一网卡、同一交换机上联或同一PCIe路径,不能算真正的独立冗余;
  • 双网卡、双交换机、双电源和多路径配置,应分别验证故障影响。

IP地址本身不会直接提高闪存吞吐。它的作用是提供访问路径、路由隔离、管理地址或故障切换地址。验收时应确认业务IP、管理IP、心跳IP和多路径地址的用途没有混淆,并检查切换后ARP、路由、会话恢复和路径重连是否符合设计。

网络配置组合可以按下面的方式判断:

配置组合可能收益需要验证的边界
单25GbE链路配置简单,适合单路径业务约3.125GB/s理论上限,故障时中断风险较高
双25GbE独立路径提供冗余,也可能提高多流吞吐单流是否能聚合,交换机和多路径是否支持
100GbE单端口大块顺序吞吐空间更大网卡、PCIe、CPU和存储池是否能持续供给
双交换机双路径故障域更小两条路径是否真的经过不同设备和上联
多IP但单网卡单交换机便于业务隔离或地址管理不等同于带宽叠加,也不等同于硬件冗余

建立可重复的测试矩阵

测试前固定环境变量

以下条件应记录在验收表中:

  • 物理服务器CPU型号、核心数、内存容量和NUMA拓扑;
  • 存储节点CPU、内存、SSD型号、数量和固件版本;
  • RAID、镜像、纠删码、压缩、重删、加密和缓存策略;
  • 网卡速率、驱动、固件、MTU、交换机端口和路径;
  • 使用的文件系统、块设备或存储协议;
  • 测试数据集大小、预热时间和稳态持续时间;
  • fio版本、I/O引擎、任务数、队列深度、块大小和读写比例。

测试最好使用独立测试卷或隔离租户。写入测试会改变介质状态,生产卷上执行前应完成备份、容量确认和变更审批;不应直接对包含业务数据的裸设备运行覆盖式写入。

Linux环境下,可以用专用测试文件进行示例测试。下面命令仅适用于已经准备好的测试路径,不能把生产数据目录直接替换进去:

fio --name=randread_qd1 \
  --filename=/mnt/acceptance/fio.test \
  --size=200G \
  --rw=randread \
  --bs=4k \
  --ioengine=libaio \
  --direct=1 \
  --iodepth=1 \
  --numjobs=1 \
  --runtime=1800 \
  --time_based \
  --group_reporting \
  --percentile_list=50:90:95:99:99.9

--direct=1可以减少主机页缓存对结果的影响,但不能绕过存储节点控制器缓存、SSD内部缓存或分布式存储软件缓存。测试文件应经过批准的预填充和清理流程,测试结束后只清理测试数据,不删除业务目录或生产卷。

建议至少覆盖以下组合:

负载块大小读写比例队列深度
随机读4KiB100%读1、4、16、32、64
随机写4KiB100%写1、4、16、32
混合随机4KiB或8KiB70%读/30%写1、8、16、32
顺序读128KiB100%读1、4、16
顺序写128KiB或1MiB100%写1、4、16

监控不能只依赖fio输出。测试期间应同步采集块设备、CPU、内存、网卡和错误计数:

iostat -xmd 1
mpstat -P ALL 1
pidstat -dru 1
sar -n DEV,EDEV 1
ip -s link show dev eth0

网卡名称、驱动统计项和存储服务命令可能因发行版及硬件不同而变化。需要核对实际接口名,并关注丢包、CRC错误、重传、队列丢弃和链路速率变化。网络带宽基线可以用独立的流量工具测试,但它只能说明网络路径能力,不能替代真实存储协议测试。

用结果定位瓶颈

下面是一组模拟的4KiB随机读结果,用于说明如何观察队列拐点,不代表某个具体产品的实测数据。

用结果定位瓶颈配图

QDIOPS平均延迟P99延迟估算吞吐
198,0000.10ms0.32ms401.4MB/s
8430,0000.18ms0.55ms1,761.3MB/s
16610,0000.26ms0.85ms2,498.6MB/s
32640,0000.55ms2.40ms2,621.4MB/s
64645,0001.10ms6.80ms2,641.9MB/s

这个结果中,QD16到QD32期间吞吐只增加约5%,但P99延迟明显上升;QD32之后吞吐几乎不再增长,说明系统的有效工作点更接近QD16,而不是QD64。若业务需要低尾延迟,应把QD16附近作为容量规划参考,而不是把645,000 IOPS作为长期承诺值。

不同现象通常对应不同的排查方向:

用结果定位瓶颈配图

观察现象更可能的瓶颈下一步核对
QD1延迟已经偏高,QD增加后吞吐增长有限基础路径、协议、NUMA、控制器或介质响应慢对比本地与远程、单路径与多路径,查看存储服务延迟
吞吐随QD增长,达到接近25Gb/s后停止网络链路或协议带宽达到上限查看网卡实际速率、交换机端口、单流与多流差异
吞吐停止增长,P99快速上升,SSD利用率高闪存介质、盘组或存储池达到饱和对比盘级利用率、池级队列、GC和写放大
整机CPU不高,但单核或存储进程接近100%单线程、IRQ亲和性或软件栈限制查看每核心CPU、进程线程和NUMA分布
第一次测试慢,重复测试明显变快主机或控制器缓存命中增大工作集,分别记录冷缓存和热缓存结果
本地测试正常,远程测试P99明显升高网络、协议、交换路径或客户端队列做端到端链路分段测试
正常模式达标,单路径故障后延迟成倍增加冗余路径接管后资源不足测量切换时间、剩余路径带宽和恢复后的队列
写入在长时间运行后下降SSD垃圾回收、缓存耗尽或池接近满载增加预热和稳态时间,按不同容量使用率复测

CPU、内存和网络监控还要与fio中的实际并发相互印证。如果配置了QD32,但存储节点实际队列很低,可能是发起端CPU不足、I/O引擎没有真正支持异步深度,或者中间协议限制了并发;如果设备队列很高而吞吐不再增加,则继续堆高QD只会扩大延迟尾部。

验收线与配置决策边界

一组可执行的验收标准通常包含四层,而不是一个峰值数字:

  1. 业务指标达标:目标负载下的P99或P99.9延迟不超过约定阈值,持续吞吐达到目标值。
  2. 稳态可重复:预热后持续运行30至60分钟,结果波动处于约定范围,不能只取一次最高成绩。
  3. 资源有余量:CPU、PCIe、网卡和存储池不能同时长期贴近上限。若目标运行点已经使单核心、链路或盘组饱和,扩容后很可能出现明显尾延迟。
  4. 故障可恢复:单路径、单盘或单组件故障按设计流程切换,记录中断时间、错误数、恢复后吞吐和延迟。未经厂商流程确认,不要直接拔出生产盘进行验证。

如果某项未达标,应先判断它是“性能不够”还是“组合不平衡”。例如:

  • 盘组还有余量,但25GbE已经饱和,应优先升级网络或增加经过验证的独立路径;
  • 网络还有余量,但存储节点CPU单核饱和,应调整CPU型号、软件卸载、NUMA绑定或压缩重删策略;
  • CPU和网络都未到上限,但P99在高QD下快速升高,应检查盘组、写缓存、SSD稳态性能和存储软件队列;
  • 吞吐达标但尾延迟不达标,应降低目标QD、增加节点或调整副本和纠删码策略,不能用更高并发掩盖延迟问题。

容量判断也要基于性能拐点,而不是只按原始盘容量计算。建议在空池、目标使用率和接近预留线三个状态下复测,至少观察使用率达到60%至70%后延迟是否开始上升。长期运行点可以选择在“吞吐增益低于约10%、而P99延迟开始明显翻倍”的拐点之前,并为故障重构、垃圾回收和业务突发预留20%至30%的资源空间;这些比例属于规划参考,不是所有阵列都适用的固定规则。

可用容量的估算也要区分原始容量、冗余有效率和预留空间。例如,8块7.68TB盘的十进制原始容量为:

8 × 7.68TB = 61.44TB

如果采用近似二副本镜像,有效容量约为30.72TB;再预留20%用于系统、重构和性能缓冲,可交付容量约为:

30.72TB × 80% = 24.576TB

这个数值还未扣除元数据、热备盘和具体产品的容量规则。纠删码、三副本和不同热备策略需要单独计算,不能把镜像比例套用到所有存储池。

交付前应在以下条件发生变化时复测:SSD型号或固件变更、盘数变化、RAID或纠删码策略变化、CPU或内存调整、网卡速率变化、交换机路径变化、IP多路径配置变化、缓存策略变化,以及存储池使用率跨过规划线。只有在相同负载、相同路径、相同冗余模式和相近容量状态下重新测试,前后数据才具有可比性。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5228.html