韩国服务器使用数据中心级SSD,怎样测试持续读写与延迟表现

发布人:A5数据发布时间:2026-11-05 17:20阅读量:77

测试韩国服务器上的数据中心级 SSD,不能只看一次顺序读取跑出的峰值。峰值通常反映的是短时间缓存、较高队列深度或空闲主机状态,而业务更容易受到持续写入后的吞吐下降、随机 I/O 的尾延迟、并发增加后的排队时间影响。评测重点应放在“在明确负载和持续时间下,SSD能否稳定完成读写,以及延迟是否仍处于业务可接受范围”。

一套可复用的测试应同时覆盖顺序读、顺序写、随机读、随机写和混合读写,并记录吞吐、IOPS、平均延迟、P95/P99延迟、队列深度、CPU、内存、I/O等待和温度变化。下面的参考数据均用于说明测试方法和解释方式,不代表某台韩国服务器或某个具体 SSD 型号的实测结果。

先定义测试目标:测峰值还是测持续能力

“持续读写”至少包含两个层面:

  1. 持续吞吐:在连续 30 分钟或更长时间内,读取或写入速率是否保持稳定。
  2. 持续低延迟:在吞吐没有明显下降时,单次 I/O 的响应时间,尤其是 P95、P99 和 P99.9,是否出现明显抖动。

短时测试可能受到 SSD 写入缓存、主机内存缓存和控制器缓存影响。数据中心级 SSD 通常会提供更稳定的性能,但“数据中心级”并不代表在任何容量、队列深度、温度和共享环境下都保持相同结果。具体型号、容量、接口、固件、RAID 控制器和云平台资源隔离方式,都可能改变测试结果。

按业务建立测试矩阵

不同业务需要关注的指标不同。文件分发和备份更接近大块顺序读写,数据库、日志和虚拟化平台则更容易受到 4K 或 8K 随机 I/O 以及尾延迟影响。

测试项目典型参数主要观察指标适用场景
顺序读取1MiB,队列深度 16稳态 MB/s、P99延迟文件读取、备份恢复、媒体服务
顺序写入1MiB,队列深度 16稳态 MB/s、吞吐下降幅度日志归档、大文件写入
随机读取4KiB,QD1、QD32IOPS、平均延迟、P99数据库查询、索引读取
随机写入4KiB,QD1、QD32P99/P99.9、写入抖动WAL、日志、事务提交
混合读写4KiB,读写比例 70/30读写互相影响、尾延迟数据库、虚拟化、多租户服务
同步写入4KiB,QD1,启用 fdatasync单次持久化延迟需要确认落盘的数据库和日志

这里的 QD 是队列深度。QD1 更接近单线程、低并发请求的响应时间;QD32 或更高值更容易把 SSD 的并行能力压出来,但不能直接等同于应用实际体验。

指标含义:吞吐、IOPS和延迟要放在一起看

吞吐量和 IOPS

吞吐量通常以 MB/s 或 MiB/s 表示,适合描述大块连续数据的传输能力。IOPS 表示每秒完成的 I/O 次数,更适合描述随机读写。

两者可以通过块大小互相换算:

吞吐量 = IOPS × 单次 I/O 大小

例如,100,000 IOPS 使用 4KiB 块大小时:

  • 100,000 × 4,096 字节 = 409,600,000 字节/秒;
  • 按十进制换算约为 409.6 MB/s;
  • 按二进制换算约为 390.6 MiB/s。

因此,不能把“100,000 IOPS”和“100,000 MB/s”放在同一层面比较。还要记录测试工具使用的是十进制还是二进制单位。涉及数据传输时间时,十进制 10GB 在 20 秒内完成,速率为:

10 × 1000 × 1000 × 1000 × 8 ÷ 20 = 4,000,000,000 bit/s,即 4,000 Mbps

平均延迟、P99和最大延迟

平均延迟容易被大量正常请求拉低,不能单独作为选型依据。

  • P50:中位延迟,反映一半请求的大致体验;
  • P95:95%的请求不高于该延迟;
  • P99:99%的请求不高于该延迟;
  • P99.9:用于观察更少见但可能影响交易和接口超时的长尾;
  • 最大延迟:容易受到偶发任务影响,适合排查异常,不适合单独判断常态性能。

例如,某次随机写测试平均延迟为 0.8ms,P99 为 15ms,P99.9 为 120ms。此时不能简单地说“延迟低”,因为少量长尾请求可能已经影响数据库提交、日志刷盘或接口响应。

队列深度与并发

提高队列深度通常会增加吞吐和 IOPS,但也会扩大等待时间。一个 SSD 在 QD1 下延迟较低、吞吐有限,在 QD32 下吞吐明显提高、P99延迟上升,是常见现象。

评测时应同时记录:

  • iodepth:每个 fio 作业的 I/O 队列深度;
  • numjobs:并行作业数量;
  • 总并发量的近似值:iodepth × numjobs;
  • 应用实际线程数或连接数。

如果只用一个高 QD 测出较高吞吐,而业务实际是几十个 QD1 请求,就不能直接把测试结果套用到业务上。

测试环境:先固定影响变量

明确服务器和存储层级

在开始测试前,应记录以下条件:

  • CPU 型号、核心数、是否为共享虚拟 CPU;
  • 内存容量及测试期间是否发生 swap;
  • SSD 的准确型号、容量、接口类型和固件版本;
  • 单盘、软件 RAID、硬件 RAID 或云平台块存储;
  • 文件系统类型、挂载参数和是否启用加密;
  • 磁盘已使用容量;
  • 测试目录所在的实际设备;
  • 测试时是否存在备份、数据库、日志轮转或其他 I/O。

韩国服务器的机房位置主要影响网络往返时间,不会改变本地 fio 对块设备的测量。如果业务请求从中国、日本或韩国其他网络入口访问服务器,还应另外测量网络 RTT 和完整应用响应时间,不能把网络延迟混入 SSD 延迟。

避免缓存制造假象

建议使用 direct=1 绕过 Linux 页缓存,并让测试文件明显大于可用内存。即便如此,SSD 控制器内部的 DRAM、SLC 写入缓存和主机存储阵列缓存仍可能存在。

持续测试至少运行 30 分钟;如果产品需要评估长时间写入,建议延长到 60 分钟,或者让写入量达到足以覆盖缓存和预留空间影响的规模。只运行几十秒,通常更接近“突发性能”测试。

如果要模拟数据库的持久化路径,还要单独测试 fdatasync 或 fsync。普通异步顺序写吞吐,不能替代“每次提交都等待数据落盘”的延迟测试。

使用 fio 采样:先做预写,再分离测试项目

以下示例以 Linux 服务器为前提,使用专门的空目录 /srv/fio-test。测试目录不能放置业务数据,测试前应完成备份,并确认目录所在磁盘有足够空间。不要把 --filename 改成正在使用的原始设备,例如 /dev/nvme0n1,否则可能覆盖分区或文件系统,造成数据丢失。

先确认设备和挂载关系:

lsblk -o NAME,MODEL,SIZE,ROTA,TYPE,FSTYPE,MOUNTPOINTS
df -hT /srv/fio-test

创建独立测试目录并预写测试文件:

TEST_DIR=/srv/fio-test
sudo mkdir -p "$TEST_DIR"

sudo fio \
  --name=prepare \
  --directory="$TEST_DIR" \
  --filename=seed \
  --size=20G \
  --rw=write \
  --bs=1M \
  --direct=1 \
  --ioengine=libaio \
  --iodepth=16 \
  --numjobs=1 \
  --end_fsync=1 \
  --group_reporting

上面的 20G 只是示例,应根据磁盘容量、内存大小和业务工作集调整。预写的目的是让后续读取测试不只读取稀疏文件或文件系统元数据。

顺序读写测试

顺序读取:

sudo fio \
  --name=seqread \
  --filename="$TEST_DIR/seed" \
  --size=20G \
  --rw=read \
  --bs=1M \
  --direct=1 \
  --ioengine=libaio \
  --iodepth=16 \
  --numjobs=1 \
  --time_based \
  --runtime=1800 \
  --ramp_time=60 \
  --group_reporting \
  --output-format=json \
  --output=/tmp/seqread.json

顺序写入:

sudo fio \
  --name=seqwrite \
  --filename="$TEST_DIR/seed" \
  --size=20G \
  --rw=write \
  --bs=1M \
  --direct=1 \
  --ioengine=libaio \
  --iodepth=16 \
  --numjobs=1 \
  --time_based \
  --runtime=1800 \
  --ramp_time=60 \
  --group_reporting \
  --output-format=json \
  --output=/tmp/seqwrite.json

ramp_time=60 表示前 60 秒作为预热期,不纳入主要结果。分析时应重点观察剩余时间内的吞吐和延迟,而不是只看 fio 最终汇总数字。

随机和混合读写测试

4KiB 随机读取可以分别测试低并发和高并发:

sudo fio \
  --name=randread4k \
  --filename="$TEST_DIR/seed" \
  --size=20G \
  --rw=randread \
  --bs=4k \
  --direct=1 \
  --ioengine=libaio \
  --iodepth=32 \
  --numjobs=4 \
  --time_based \
  --runtime=1800 \
  --ramp_time=60 \
  --randrepeat=0 \
  --group_reporting \
  --output-format=json \
  --output=/tmp/randread4k.json

混合读写可以使用 70% 读取、30% 写入作为示例:

sudo fio \
  --name=randrw4k \
  --filename="$TEST_DIR/seed" \
  --size=20G \
  --rw=randrw \
  --rwmixread=70 \
  --bs=4k \
  --direct=1 \
  --ioengine=libaio \
  --iodepth=8 \
  --numjobs=4 \
  --time_based \
  --runtime=1800 \
  --ramp_time=60 \
  --randrepeat=0 \
  --group_reporting \
  --output-format=json \
  --output=/tmp/randrw4k.json

70/30 并不是所有业务的标准比例。数据库读多写少可以使用 80/20,日志和写密集型任务可能更接近 30/70。比例必须与业务采样或压测模型对应,否则混合测试只能作为横向比较,不宜直接作为容量结论。

如果业务依赖同步落盘,可以增加一个低并发同步写测试:

sudo fio \
  --name=syncwrite4k \
  --filename="$TEST_DIR/seed" \
  --size=4G \
  --rw=write \
  --bs=4k \
  --direct=1 \
  --ioengine=libaio \
  --iodepth=1 \
  --numjobs=1 \
  --fdatasync=1 \
  --time_based \
  --runtime=300 \
  --ramp_time=30 \
  --group_reporting

同步写测试的数值不能与异步写测试直接比较。它测量的是“提交并等待数据持久化”的路径,通常更能反映事务日志和关键配置文件的落盘延迟。

同步采集 CPU、内存和 I/O 状态

fio 输出应与系统监控同时保存。另开终端执行:

iostat -xmd 1

重点关注:

  • rMB/s、wMB/s:实际读写吞吐;
  • await:设备层平均等待时间;
  • aqu-sz:平均队列长度;
  • %util:设备繁忙比例;
  • 读写请求数与测试参数是否一致。

再采集 CPU、内存和 I/O 等待:

vmstat 1

观察 si、so 是否出现交换分区读写,wa 是否持续升高。若发生 swap,测试结果可能主要反映内存不足,而不是 SSD 性能。

pidstat -dru 1

该命令可以辅助判断 fio 进程的 CPU 消耗、读写速率和等待状态。如果 CPU 使用率接近单核或多个核心上升明显,但设备吞吐没有增加,瓶颈可能在压测进程、文件系统、加密层或虚拟化 CPU 配额。

NVMe 设备还可以在测试前后查看健康状态和温度。必须先确认设备路径,不能直接照抄示例设备名:

sudo nvme list
sudo nvme smart-log /dev/nvme0

如果是 SATA SSD,可使用只读方式查看 SMART 信息:

sudo smartctl -a /dev/sdX

测试过程中温度持续升高、出现降速,或者测试后介质健康信息发生异常变化,都应记录在评测结果中。不要只保留吞吐和延迟两列。

结果解释:看稳定区间和尾延迟变化

下面是一组用于说明报告写法的示例数据,不是韩国服务器或任何具体产品的实测结果。

结果解释:看稳定区间和尾延迟变化配图

场景预热后前段表现稳态吞吐或 IOPSP99延迟CPU/I/O观察可能含义
顺序读取3,100 MB/s3,000 MB/s1.2msCPU 18%,iowait 12%读取较稳定,设备仍有余量
顺序写入2,800 MB/s1,600 MB/s8.7msiowait 35%写入缓存消耗后进入稳态
4K随机读取180,000 IOPS175,000 IOPS2.4msQD32下吞吐提升并行读取能力较强,但需结合应用并发
4K混合读写120,000 IOPS105,000 IOPS6.8ms写入时读延迟上升读写竞争带来排队

这组数据中,顺序写入从 2,800MB/s 降到 1,600MB/s,不能只引用前段峰值。更合理的表述是“短时写入速度较高,持续写入进入约 1,600MB/s 的稳态”,并继续确认这个稳态能否维持,以及 P99 延迟是否继续扩大。

常见的结果模式包括:

  • 吞吐逐步下降,延迟同步升高:可能是 SLC 缓存耗尽、垃圾回收、预留空间不足或温度降速;
  • 平均延迟稳定,但 P99周期性尖峰:可能存在后台回收、阵列同步、云平台邻居负载或定时任务;
  • QD1延迟低、QD32吞吐高但P99明显上升:说明设备具备并发能力,但应用不一定适合使用高队列;
  • CPU和iowait都高、吞吐上不去:需要区分 CPU 配额、文件系统、加密层和存储设备瓶颈;
  • 设备利用率不高但应用延迟高:可能是应用线程、锁、同步提交、网络或虚拟化层限制;
  • 读测试正常、混合写入时读延迟恶化:说明读写竞争需要纳入容量和服务等级判断。

对于 NVMe,%util 接近 100% 不一定单独代表“已经达到极限”,因为一个设备可能拥有多个硬件队列。应结合吞吐是否继续增长、队列长度是否增加、P99 是否恶化以及 CPU 等待状态综合判断。

从本地存储延迟到业务延迟

fio 测到的是服务器本地存储路径的 I/O 延迟,不包含客户端到韩国机房的网络往返时间,也不包含数据库解析、锁等待、连接池排队和应用代码执行时间。

例如:

  • 本地 4K 随机读 P99 为 2ms;
  • 网络往返时间为 40ms;
  • 数据库连接和执行额外耗时 8ms。

那么接口最终 P99 可能接近 50ms,而不是 2ms。此时 SSD 仍然可能不是主要瓶颈。反过来,如果网络只有几毫秒,但数据库事务提交 P99 从 5ms 上升到 80ms,并且同步写测试也出现长尾,就应重点检查存储写入和队列排队。

因此,韩国服务器的评测应分成两层:

从本地存储延迟到业务延迟配图

围绕韩国本地部署,A5idc数据提供首尔物理服务器,涵盖不同CPU、存储配置及优化线路和国际线路方案,可为数据库、日志服务和业务接口提供计算与本地存储资源。面向韩国及周边用户的业务,也可结合服务器存储与网络资源规划部署,让本地I/O表现和端到端访问体验分别对应实际运行环境。

  1. 本地存储层:使用 fio 测吞吐、IOPS和尾延迟;
  2. 业务链路层:从实际访问位置发起数据库或应用压测,记录端到端 P95/P99,并与本地 I/O监控时间对齐。

选择和验收:把结果转换成边界条件

不要先问“这块 SSD 能达到多少 MB/s”,而应先写出业务要求。例如,某个日志服务的测试目标可以定义为:

  • 持续顺序写入不少于 800MB/s;
  • 运行 30 分钟后,稳态吞吐下降不超过 15%;
  • 混合读写场景下 P99 不高于 5ms;
  • 4K同步写入 P99 不高于 10ms;
  • 测试期间不发生 swap、温度降速或明显 I/O错误。

这些数值只是示例,实际阈值应来自应用的超时设置、日志量、数据库提交时间和峰值并发。验收时至少要满足以下条件:

  • 使用相同的 SSD 容量、文件系统、队列深度和并发参数;
  • 排除预热期,只比较稳态窗口;
  • 每个场景至少重复 3 次,报告中位数和波动范围;
  • 同时保留 P95、P99 和 P99.9,而不是只保留平均值;
  • 在空闲环境和接近业务的混合负载下分别测试;
  • 在不同磁盘使用率下复测,例如 50%、80%和接近生产目标的容量状态。

如果相同条件下三次测试的稳态吞吐差异超过约 10%,或者 P99 延迟反复出现数量级变化,应先排查共享存储、后台任务、温度和云平台资源争用,不宜直接取一次较高结果作为产品结论。

持续写入量与 SSD 容量判断

容量判断不能只看“可用空间够不够”。还要估算每天的写入量:

每日主机写入量 = 业务新增数据 + 日志 + 临时文件 + 数据库整理或压缩带来的额外写入

如果每天业务层产生 500GB 写入,数据库和文件系统带来约 1.5 倍写放大,则主机实际写入量约为:

500GB × 1.5 = 750GB/天

若按五年连续运行估算:

750GB × 365 × 5 = 1,368,750GB,约 1,368.75TB

这只是容量和写入耐久性的估算,不等于厂商额定值。应根据具体 SSD 型号核对 TBW、DWPD、保修年限和适用工作负载,并把 RAID 写放大、备份、重建和预留空间纳入计算。

磁盘使用率也应成为复测条件。SSD 在接近满盘时,垃圾回收和预留块管理可能改变写入延迟。生产环境若预计长期使用到 80%或更高,应在相近填充率下重新执行顺序写、随机写和混合读写测试,而不是只使用全新空盘结果。测试期间同时记录容量、温度、队列深度、CPU、内存和业务负载,才能判断性能变化究竟来自 SSD 本身,还是来自韩国服务器的共享资源和运行环境。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/7722.html

相关推荐