美国服务器磁盘性能测试要看哪些指标,结果如何判断?

发布人:A5数据发布时间:2026-10-18 16:25阅读量:126

美国服务器的磁盘性能不能只看厂商标注的“SSD”“NVMe”或一组最高读写速度。真正影响应用体验的,通常是请求延迟、随机 I/O 能力、并发队列、持续写入稳定性,以及 CPU、内存和虚拟化环境对测试结果的干扰。一次顺序读取跑出较高 MB/s,并不代表数据库、小文件网站或日志系统一定运行得快。

测试时应至少区分低并发随机 I/O、高并发随机 I/O、顺序读写和同步写入,并同时观察 p95/p99 延迟、IOPS、吞吐量、CPU 使用率、内存缓存、磁盘队列和 I/O 等待。结果不能脱离业务负载判断:数据库更关注低队列深度下的延迟和同步写入,备份与视频处理更关注持续吞吐,网站和文件服务则要看小文件随机访问与高峰期尾延迟。

针对美国服务器在随机读写、持续吞吐和多任务运行中的不同需求,A5数据提供常规Xeon、AMD EPYC、GPU及多IP物理服务器,配置覆盖NVMe存储、大容量内存与CN2 GIA线路。AMD系列包含EPYC 4584PX搭配64GB DDR5和960GB NVMe、EPYC 7713搭配128GB内存及两块1.92TB NVMe等方案,可为面向美国用户的网站、数据库、容器、数据处理及计算型业务提供相应的存储与整机资源基础。

一、先确定测试目标:测磁盘,还是测业务瓶颈

服务器磁盘测试通常有三个目标,测试方法和判断标准并不完全相同。

1. 比较不同美国服务器的存储能力

如果需要比较美国不同机房、不同配置或不同服务商的服务器,重点是控制变量:

  • CPU 型号和核心数尽量接近;
  • 内存容量一致,避免一台服务器大量使用页缓存;
  • 操作系统、文件系统和挂载参数保持一致;
  • 测试目录位于明确的目标磁盘;
  • 使用相同的 fio 版本、块大小、队列深度和运行时间;
  • 尽量在相近时间段重复测试,减少共享存储和邻居实例带来的波动。

美国服务器的机房位置主要影响网络往返延迟,不会直接改变本地磁盘的物理寻道时间。如果磁盘是网络块存储、远程文件系统或通过网络连接的存储,则网络路径、带宽和拥塞会进入磁盘延迟,此时需要把网络因素一并记录。

2. 判断磁盘是否适合某类业务

同一块磁盘在不同负载下可能得出完全不同的结果:

一、先确定测试目标:测磁盘,还是测业务瓶颈配图

  • 静态网站、CMS:常见访问模式是小文件随机读,低队列深度延迟更有参考价值;
  • MySQL、PostgreSQL 等数据库:应关注随机读写、同步写入、fsync 延迟和 p99;
  • 日志、备份、视频转码:更看重持续顺序写入和长时间吞吐;
  • 搜索、分析和批处理:需要观察多并发顺序读写,以及 CPU 是否成为瓶颈;
  • 虚拟化或多租户服务:要测试混合读写和高并发队列下的尾延迟。

3. 验收供应商承诺的存储类型

“NVMe”“SSD”“独立磁盘”等描述不能替代测试。还需要确认:

  • 是本地盘、虚拟块存储还是网络盘;
  • 是否具备持久化能力;
  • 是否存在 IOPS、吞吐量或容量上限;
  • 测试数据是否会受到宿主机缓存影响;
  • 磁盘满载后性能是否下降;
  • 重启、迁移或实例释放后数据是否保留。

本地 NVMe 的测试重点、网络块存储的测试重点,以及传统 SATA SSD 或 HDD 的测试重点,应分别制定,不宜用一组顺序读写数据概括所有类型。

二、需要重点观察哪些指标

1. 延迟:比平均值更值得关注尾部

磁盘延迟表示一次 I/O 请求从提交到完成所需的时间,通常使用毫秒表示。建议同时记录:

  • 平均延迟;
  • p50,也就是中位数;
  • p95;
  • p99;
  • 最大延迟。

平均延迟容易掩盖偶发的长时间阻塞。例如某次测试平均延迟为 0.8 ms,但 p99 达到 25 ms,说明绝大多数请求很快,仍有一小部分请求会明显卡顿。对数据库提交、订单写入、会话保存等同步操作而言,这种尾部延迟往往比平均值更影响响应时间。

一个适合业务验收的判断方式是先确定目标,而不是套用固定标准:

  • 如果业务要求磁盘 p99 不超过 5 ms,测试结果为 3 ms 才算满足;
  • 如果批处理允许几十毫秒的单次延迟,则应把重点转向持续吞吐;
  • 如果数据库写入偶尔出现 100 ms 以上延迟,即使平均 IOPS 较高,也可能造成请求堆积。

2. IOPS:适合描述小块随机 I/O 能力

IOPS 表示每秒完成的 I/O 操作次数。4K 随机读写测试中,IOPS通常比 MB/s 更能反映数据库和小文件业务的处理能力。

IOPS 不能脱离块大小解释。一个简单换算是:

吞吐量 = IOPS × 每次 I/O 的块大小

例如,300,000 IOPS、每次 4 KiB 的理论数据量为:

  • 300,000 × 4,096 字节;
  • 等于每秒 1,228,800,000 字节;
  • 按十进制约为 1.23 GB/s,按二进制约为 1,172 MiB/s。

如果把 4K 随机测试换成 1M 顺序测试,单次请求变大,即使 IOPS 数值下降,吞吐量也可能明显上升。因此不能直接比较“4K IOPS”和“1M IOPS”,更不能把随机 I/O 的 IOPS当作所有场景的综合性能。

3. 吞吐量:判断连续数据传输能力

吞吐量通常以 MB/s、GB/s 或 MiB/s 表示,主要用于备份、媒体文件、日志归档和批量导入导出。

测试时需要说明单位口径:

  • MB、GB通常按十进制计算,1 GB = 1,000,000,000 字节;
  • MiB、GiB按二进制计算,1 GiB = 1,073,741,824 字节;
  • Mbps、Gbps是网络速率单位,1 Byte = 8 bit,不能与 MB/s直接混用。

例如,500 GB的备份任务需要在30分钟内完成,理论最低持续写入速度为:

  • 500 GB ÷ 1,800秒;
  • 约等于 0.2778 GB/s;
  • 按十进制换算约为 277.8 MB/s。

实际还要留出文件系统、校验、压缩、并发读写和业务运行的余量,测试结果接近理论最低值并不代表一定能够稳定完成任务。

4. 并发数、队列深度与队列延迟

队列深度(iodepth)表示设备同时等待处理的 I/O 数量,numjobs则用于模拟多个并发工作线程。低队列深度通常更接近单个应用请求的实时体验,高队列深度更容易测出设备的最大吞吐。

常见测试组合可以这样理解:

测试条件主要反映的问题适用场景
QD1、1个线程单请求响应速度网站、小型数据库、系统盘
QD4至QD8中等并发下的延迟与吞吐平衡常规业务服务器
QD32或更高设备并发处理能力批处理、分析、并发文件服务
多线程混合读写高峰期资源争用数据库、日志与业务混合负载

如果把队列深度从 1 提升到 32,IOPS 从 20,000 增长到 150,000,但 p99 延迟从 2 ms升到 40 ms,说明设备通过排队换取了吞吐,未必适合对响应时间敏感的应用。

二、需要重点观察哪些指标配图

5. CPU、内存和 I/O 等待

磁盘测试不是只看磁盘。需要结合以下系统指标:

指标可能说明的问题
%util设备忙碌程度,持续接近满载时需要结合延迟判断
awaitI/O平均等待时间,包含排队与设备处理时间
r_await、w_await读、写请求分别等待多久
avgqu-sz平均队列长度,判断请求是否堆积
%iowaitCPU等待 I/O 的比例,不能单独等同于磁盘故障
CPU %sys内核处理、文件系统、I/O调度等消耗
内存可用量与缓存判断结果是否受到页缓存影响
上下文切换和软中断判断高并发 I/O是否消耗过多CPU

例如,测试中磁盘吞吐只有 200 MB/s,但CPU已经接近100%,可能是压缩、加密、校验或虚拟化开销限制了结果。相反,如果CPU很空闲、内存充足,但 await和队列长度持续升高,则更像是存储设备或共享存储出现排队。

三、测试前要统一条件,避免得到虚高结果

1. 确认目标设备和挂载路径

先确认测试目录到底位于哪块磁盘,避免把系统盘、临时盘或另一块数据盘混在一起。

lsblk -o NAME,ROTA,TYPE,SIZE,MODEL,MOUNTPOINT
findmnt -T /data/bench
fio --version
free -h
lscpu

ROTA通常可以辅助判断设备是否被系统识别为旋转介质,但虚拟化环境中不一定完全准确。云服务器可能无法看到真实型号,也可能无法读取 SMART 信息,不能仅凭型号字段判断是否为独享 NVMe。

测试目录应位于专用路径,并提前确认:

  • 有足够可用空间;
  • 目录不承载正在运行的数据库或网站文件;
  • 测试文件不会覆盖生产数据;
  • 测试期间不会触发自动备份、迁移或扩容任务。

不要直接把原始块设备作为 fio 的写入目标。对原始设备写入可能覆盖分区、文件系统和业务数据;如确需做裸盘测试,必须先完成数据备份、明确影响范围,并准备从备份恢复的回滚方案。一般产品验收使用专用测试文件已经足够。

2. 统一缓存和测试文件大小

使用普通文件进行基准测试时,页缓存可能让结果虚高。常见做法是使用 --direct=1,让 I/O尽量绕过操作系统页缓存。它不能完全绕过磁盘控制器缓存,也不能消除虚拟化平台缓存,因此仍应结合长时间测试和重复结果判断。

测试文件不宜小到可以完全放入内存。若磁盘空间允许,随机 I/O测试文件可设置为内存容量的1至2倍,并保证不同候选服务器采用相同大小。空间有限时,应明确记录测试文件大小,不要把小文件结果直接外推到大型数据库。

3. 使用预热、持续测试和多轮采样

短时间测试容易受到初始化、缓存和突发性能影响。建议每个测试项目包含:

  1. 预热阶段,持续30至60秒;
  2. 正式采样阶段,持续120秒或更长;
  3. 至少重复3轮;
  4. 记录平均值、p50、p95、p99和最大值;
  5. 比较各轮结果的波动,而不是只取最高一轮。

对连续写入场景,还应进行更长时间测试。部分 SSD或虚拟块存储在缓存耗尽后会明显降速,前两分钟的结果不能代表一小时备份任务的持续能力。

四、建议采用的测试矩阵

以下是一组适合美国服务器初步评估的测试组合,参数应在候选服务器之间保持一致。

测试项目建议参数主要观察指标适合判断
4K随机读randread、4K、QD1p99、IOPS、CPU网站、小型数据库读请求
4K随机写randwrite、4K、QD1和QD4延迟、IOPS、队列小文件和普通写入
混合随机读写randrw、4K、读写比例70/30p95/p99、读写分别延迟数据库和混合业务
1M顺序读read、1M、QD4至QD16MB/s、CPU文件读取、批处理
1M顺序写write、1M、持续5至15分钟持续MB/s、波动备份、日志、视频
同步小块写4K、QD1、启用fsyncfsync延迟、p99事务提交、日志落盘

一个代表性的 fio 示例可以写成:

fio --name=randread4k \
  --filename=/data/bench/fio-testfile \
  --size=16G \
  --time_based \
  --runtime=120s \
  --ramp_time=30s \
  --rw=randread \
  --bs=4k \
  --ioengine=libaio \
  --direct=1 \
  --iodepth=1 \
  --numjobs=1 \
  --group_reporting \
  --output-format=json \
  --output=/data/bench/randread4k.json

这里的 /data/bench只是示例路径,应替换为已经确认的专用测试目录。不同服务器应使用相同测试文件大小和参数。如果系统中的 fio不支持 libaio,先使用以下命令查看可用引擎,并在所有候选服务器上统一调整,不要一台使用一种引擎后直接比较。

fio --enghelp

观察设备状态时,可以同步执行:

iostat -xmd 1

需要特别关注测试期间的 await、r_await、w_await、avgqu-sz、%util和读写吞吐。若系统没有 iostat,应先按当前发行版安装对应的系统监控工具,避免用不兼容的命令替代。

同步写入测试的核心不是单纯增加队列深度,而是模拟每次提交都要求数据落盘的情况。示例参数如下:

fio --name=syncwrite4k \
  --filename=/data/bench/fio-syncfile \
  --size=8G \
  --time_based \
  --runtime=120s \
  --ramp_time=30s \
  --rw=randwrite \
  --bs=4k \
  --ioengine=libaio \
  --direct=1 \
  --iodepth=1 \
  --numjobs=1 \
  --fsync=1 \
  --group_reporting

该测试会对指定测试文件产生持续写入和同步刷盘压力,不应在生产数据目录运行。测试前应完成备份,并确认业务不会使用同一块磁盘;测试结束后按照服务器的正常文件管理流程处理测试文件,不要误删其他数据。

五、结果如何判断:不要只比较一列最高数值

1. 先区分低队列和高队列结果

低队列深度结果更接近应用请求的即时体验,高队列深度结果更接近设备的并发上限。可以使用下面这组示例数据理解判断方法。数据仅用于说明分析过程,不代表某个美国服务器的实测结果。

五、结果如何判断:不要只比较一列最高数值配图

项目节点A节点B解释
4K随机读,QD1 IOPS18,50015,200A的单请求处理能力更高
4K随机读,QD1 p992.1 ms5.8 msB的尾延迟更明显
4K随机读,QD32 IOPS165,000205,000B的高并发吞吐更高
1M顺序读1,080 MB/s1,420 MB/sB更适合批量读取
4K同步写,p994.2 ms12.7 ms数据库事务提交更偏向A

如果业务是小型网站或事务型数据库,节点A可能更合适;如果业务是批量文件读取,节点B的顺序吞吐优势可能更有价值。不能因为节点B的QD32 IOPS更高,就直接判断它全面优于节点A。

2. 看p99是否随并发快速恶化

把队列深度从QD1、QD4、QD16逐步提高,观察延迟曲线:

  • IOPS上升、p99小幅增加:说明并发扩展较平稳;
  • IOPS基本不再增长、p99持续上升:设备已经接近饱和;
  • 吞吐下降、队列快速堆积:可能存在共享存储争用、限速或热降速;
  • 读延迟稳定、写延迟突然升高:可能受到写缓存耗尽、垃圾回收或后台刷新影响;
  • 多轮结果差异很大:可能是邻居实例、宿主机调度、网络存储或测试时间段造成。

对响应时间敏感的业务,应把“达到目标p99时可提供多少IOPS”作为关键结果,而不是取设备在高队列下的最大IOPS。

3. 结合CPU、内存和系统等待定位瓶颈

常见现象与判断方向如下:

现象可能原因下一步核对
IOPS低、CPU接近满载加密、压缩、文件系统或虚拟化开销查看系统态CPU、进程CPU和中断
吞吐很高、磁盘等待低可能是页缓存命中使用相同的direct=1和更大测试文件复测
%util高但p99稳定设备接近忙碌,但仍可能满足业务对照业务延迟目标,不只看利用率
p99突然升高、队列变长存储饱和或共享资源争用降低并发并重复测试,比较不同时段
写入前几分钟快,随后明显降速写缓存耗尽或持续写入能力不足延长测试到15至60分钟
内存不足、系统频繁回收测试被内存压力干扰记录free -h和系统日志后重新测试

%iowait高并不等于磁盘一定损坏,它只说明CPU有时间在等待 I/O。需要结合设备的 await、队列长度和实际吞吐,判断是存储慢、请求过多,还是其他进程制造了大量 I/O。

六、不同存储类型的适用边界

本地 NVMe

本地 NVMe通常适合高并发随机读写和低延迟数据库,但需要核对数据持久化、重启后的数据保留、实例迁移策略和容量扩展方式。测试时应重点关注:

  • 4K随机读写QD1;
  • 混合读写下的p95/p99;
  • 同步写入;
  • 长时间写入后的降速;
  • 磁盘使用率达到业务预期后的性能。

本地盘的顺序吞吐可能很高,但如果实例释放后数据不保留,就不应直接作为唯一的数据存储位置。

SATA SSD

SATA SSD的随机访问延迟和并发上限通常低于高规格 NVMe,但对于普通网站、控制面板、轻量数据库和中小型文件服务仍可能够用。判断时应以业务目标为准,重点看QD1延迟、混合负载和同步写入,而不是只看顺序读取速度。

HDD

HDD适合对成本和容量更敏感、以顺序读写为主的归档或备份场景。随机小块读写的寻道延迟通常较高,数据库、频繁更新的小文件和高并发网站不应只依据顺序吞吐结果选择HDD。

网络块存储

网络块存储必须同时看存储延迟、主机网络、带宽上限和共享资源争用。测试时要记录服务器所在美国机房、网络接口速率、测试时间和并发度,并单独验证高峰期是否触发 IOPS 或吞吐限制。网络块存储的优势可能是容量扩展和持久化,但其延迟波动通常比本地盘更需要关注。

七、从测试结果推导容量和采购边界

容量规划可以先从业务 I/O 量估算,再用测试结果留出余量。

例如,一个事务系统每秒处理800次事务,每个事务平均产生6次磁盘 I/O,则理论需求为:

  • 800 × 6 = 4,800 IOPS;
  • 如果希望长期使用率控制在约60%,目标能力应至少为 4,800 ÷ 0.6;
  • 约为8,000 IOPS。

但如果其中包含同步写入,不能只看8,000 IOPS,还要确认在QD1和 fsync 条件下的p99是否满足事务延迟要求。

顺序任务则按数据量和完成时间计算。例如每小时需要写入120 GB:

  • 120 GB ÷ 3,600秒;
  • 约为0.0333 GB/s;
  • 按十进制约为33.3 MB/s。

如果任务要求30分钟完成500 GB,则需要约277.8 MB/s的持续写入能力。实际规划还应扣除压缩、校验、并发业务、文件系统开销和性能波动,不能把测试中的峰值速度直接当作可用容量。

最终的采购边界应至少包含四项:

  1. 目标负载下的p95/p99延迟;
  2. 目标并发下可持续的IOPS或MB/s;
  3. 磁盘使用率升高后的性能变化;
  4. 持久化、扩容、迁移和故障恢复条件。

复测条件与容量判断

出现以下情况时,应在同一美国服务器上复测,而不是直接更换测试结论:

复测条件与容量判断配图

  • 测试文件小于内存,且没有使用直接 I/O;
  • 只测试了几十秒,没有观察持续写入;
  • 候选服务器的文件系统、块大小或 fio参数不同;
  • 测试期间运行了备份、更新、数据库恢复等任务;
  • 只记录了平均延迟,没有保存p95/p99;
  • 磁盘使用率与生产环境差异明显;
  • 一台使用本地盘,另一台使用网络块存储,却直接比较峰值IOPS;
  • 同一节点不同时间段的结果波动超过约20%。

更可靠的做法是保存每轮 JSON结果和系统监控数据,在相同的磁盘容量使用率、相同测试文件大小、相同并发参数下复测。对网站和数据库优先确认低队列延迟与同步写入;对备份和视频类业务优先确认长时间持续吞吐;对网络块存储则把尾延迟、带宽上限和高峰期波动一起纳入验收。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/4467.html

相关推荐