美国服务器磁盘性能测试要看哪些指标,结果如何判断?
美国服务器的磁盘性能不能只看厂商标注的“SSD”“NVMe”或一组最高读写速度。真正影响应用体验的,通常是请求延迟、随机 I/O 能力、并发队列、持续写入稳定性,以及 CPU、内存和虚拟化环境对测试结果的干扰。一次顺序读取跑出较高 MB/s,并不代表数据库、小文件网站或日志系统一定运行得快。
测试时应至少区分低并发随机 I/O、高并发随机 I/O、顺序读写和同步写入,并同时观察 p95/p99 延迟、IOPS、吞吐量、CPU 使用率、内存缓存、磁盘队列和 I/O 等待。结果不能脱离业务负载判断:数据库更关注低队列深度下的延迟和同步写入,备份与视频处理更关注持续吞吐,网站和文件服务则要看小文件随机访问与高峰期尾延迟。
针对美国服务器在随机读写、持续吞吐和多任务运行中的不同需求,A5数据提供常规Xeon、AMD EPYC、GPU及多IP物理服务器,配置覆盖NVMe存储、大容量内存与CN2 GIA线路。AMD系列包含EPYC 4584PX搭配64GB DDR5和960GB NVMe、EPYC 7713搭配128GB内存及两块1.92TB NVMe等方案,可为面向美国用户的网站、数据库、容器、数据处理及计算型业务提供相应的存储与整机资源基础。
一、先确定测试目标:测磁盘,还是测业务瓶颈
服务器磁盘测试通常有三个目标,测试方法和判断标准并不完全相同。
1. 比较不同美国服务器的存储能力
如果需要比较美国不同机房、不同配置或不同服务商的服务器,重点是控制变量:
- CPU 型号和核心数尽量接近;
- 内存容量一致,避免一台服务器大量使用页缓存;
- 操作系统、文件系统和挂载参数保持一致;
- 测试目录位于明确的目标磁盘;
- 使用相同的
fio版本、块大小、队列深度和运行时间; - 尽量在相近时间段重复测试,减少共享存储和邻居实例带来的波动。
美国服务器的机房位置主要影响网络往返延迟,不会直接改变本地磁盘的物理寻道时间。如果磁盘是网络块存储、远程文件系统或通过网络连接的存储,则网络路径、带宽和拥塞会进入磁盘延迟,此时需要把网络因素一并记录。
2. 判断磁盘是否适合某类业务
同一块磁盘在不同负载下可能得出完全不同的结果:

- 静态网站、CMS:常见访问模式是小文件随机读,低队列深度延迟更有参考价值;
- MySQL、PostgreSQL 等数据库:应关注随机读写、同步写入、fsync 延迟和 p99;
- 日志、备份、视频转码:更看重持续顺序写入和长时间吞吐;
- 搜索、分析和批处理:需要观察多并发顺序读写,以及 CPU 是否成为瓶颈;
- 虚拟化或多租户服务:要测试混合读写和高并发队列下的尾延迟。
3. 验收供应商承诺的存储类型
“NVMe”“SSD”“独立磁盘”等描述不能替代测试。还需要确认:
- 是本地盘、虚拟块存储还是网络盘;
- 是否具备持久化能力;
- 是否存在 IOPS、吞吐量或容量上限;
- 测试数据是否会受到宿主机缓存影响;
- 磁盘满载后性能是否下降;
- 重启、迁移或实例释放后数据是否保留。
本地 NVMe 的测试重点、网络块存储的测试重点,以及传统 SATA SSD 或 HDD 的测试重点,应分别制定,不宜用一组顺序读写数据概括所有类型。
二、需要重点观察哪些指标
1. 延迟:比平均值更值得关注尾部
磁盘延迟表示一次 I/O 请求从提交到完成所需的时间,通常使用毫秒表示。建议同时记录:
- 平均延迟;
- p50,也就是中位数;
- p95;
- p99;
- 最大延迟。
平均延迟容易掩盖偶发的长时间阻塞。例如某次测试平均延迟为 0.8 ms,但 p99 达到 25 ms,说明绝大多数请求很快,仍有一小部分请求会明显卡顿。对数据库提交、订单写入、会话保存等同步操作而言,这种尾部延迟往往比平均值更影响响应时间。
一个适合业务验收的判断方式是先确定目标,而不是套用固定标准:
- 如果业务要求磁盘 p99 不超过 5 ms,测试结果为 3 ms 才算满足;
- 如果批处理允许几十毫秒的单次延迟,则应把重点转向持续吞吐;
- 如果数据库写入偶尔出现 100 ms 以上延迟,即使平均 IOPS 较高,也可能造成请求堆积。
2. IOPS:适合描述小块随机 I/O 能力
IOPS 表示每秒完成的 I/O 操作次数。4K 随机读写测试中,IOPS通常比 MB/s 更能反映数据库和小文件业务的处理能力。
IOPS 不能脱离块大小解释。一个简单换算是:
吞吐量 = IOPS × 每次 I/O 的块大小
例如,300,000 IOPS、每次 4 KiB 的理论数据量为:
- 300,000 × 4,096 字节;
- 等于每秒 1,228,800,000 字节;
- 按十进制约为 1.23 GB/s,按二进制约为 1,172 MiB/s。
如果把 4K 随机测试换成 1M 顺序测试,单次请求变大,即使 IOPS 数值下降,吞吐量也可能明显上升。因此不能直接比较“4K IOPS”和“1M IOPS”,更不能把随机 I/O 的 IOPS当作所有场景的综合性能。
3. 吞吐量:判断连续数据传输能力
吞吐量通常以 MB/s、GB/s 或 MiB/s 表示,主要用于备份、媒体文件、日志归档和批量导入导出。
测试时需要说明单位口径:
- MB、GB通常按十进制计算,1 GB = 1,000,000,000 字节;
- MiB、GiB按二进制计算,1 GiB = 1,073,741,824 字节;
- Mbps、Gbps是网络速率单位,1 Byte = 8 bit,不能与 MB/s直接混用。
例如,500 GB的备份任务需要在30分钟内完成,理论最低持续写入速度为:
- 500 GB ÷ 1,800秒;
- 约等于 0.2778 GB/s;
- 按十进制换算约为 277.8 MB/s。
实际还要留出文件系统、校验、压缩、并发读写和业务运行的余量,测试结果接近理论最低值并不代表一定能够稳定完成任务。
4. 并发数、队列深度与队列延迟
队列深度(iodepth)表示设备同时等待处理的 I/O 数量,numjobs则用于模拟多个并发工作线程。低队列深度通常更接近单个应用请求的实时体验,高队列深度更容易测出设备的最大吞吐。
常见测试组合可以这样理解:
| 测试条件 | 主要反映的问题 | 适用场景 |
|---|---|---|
| QD1、1个线程 | 单请求响应速度 | 网站、小型数据库、系统盘 |
| QD4至QD8 | 中等并发下的延迟与吞吐平衡 | 常规业务服务器 |
| QD32或更高 | 设备并发处理能力 | 批处理、分析、并发文件服务 |
| 多线程混合读写 | 高峰期资源争用 | 数据库、日志与业务混合负载 |
如果把队列深度从 1 提升到 32,IOPS 从 20,000 增长到 150,000,但 p99 延迟从 2 ms升到 40 ms,说明设备通过排队换取了吞吐,未必适合对响应时间敏感的应用。

5. CPU、内存和 I/O 等待
磁盘测试不是只看磁盘。需要结合以下系统指标:
| 指标 | 可能说明的问题 |
|---|---|
%util | 设备忙碌程度,持续接近满载时需要结合延迟判断 |
await | I/O平均等待时间,包含排队与设备处理时间 |
r_await、w_await | 读、写请求分别等待多久 |
avgqu-sz | 平均队列长度,判断请求是否堆积 |
%iowait | CPU等待 I/O 的比例,不能单独等同于磁盘故障 |
CPU %sys | 内核处理、文件系统、I/O调度等消耗 |
| 内存可用量与缓存 | 判断结果是否受到页缓存影响 |
| 上下文切换和软中断 | 判断高并发 I/O是否消耗过多CPU |
例如,测试中磁盘吞吐只有 200 MB/s,但CPU已经接近100%,可能是压缩、加密、校验或虚拟化开销限制了结果。相反,如果CPU很空闲、内存充足,但 await和队列长度持续升高,则更像是存储设备或共享存储出现排队。
三、测试前要统一条件,避免得到虚高结果
1. 确认目标设备和挂载路径
先确认测试目录到底位于哪块磁盘,避免把系统盘、临时盘或另一块数据盘混在一起。
lsblk -o NAME,ROTA,TYPE,SIZE,MODEL,MOUNTPOINT
findmnt -T /data/bench
fio --version
free -h
lscpu
ROTA通常可以辅助判断设备是否被系统识别为旋转介质,但虚拟化环境中不一定完全准确。云服务器可能无法看到真实型号,也可能无法读取 SMART 信息,不能仅凭型号字段判断是否为独享 NVMe。
测试目录应位于专用路径,并提前确认:
- 有足够可用空间;
- 目录不承载正在运行的数据库或网站文件;
- 测试文件不会覆盖生产数据;
- 测试期间不会触发自动备份、迁移或扩容任务。
不要直接把原始块设备作为 fio 的写入目标。对原始设备写入可能覆盖分区、文件系统和业务数据;如确需做裸盘测试,必须先完成数据备份、明确影响范围,并准备从备份恢复的回滚方案。一般产品验收使用专用测试文件已经足够。
2. 统一缓存和测试文件大小
使用普通文件进行基准测试时,页缓存可能让结果虚高。常见做法是使用 --direct=1,让 I/O尽量绕过操作系统页缓存。它不能完全绕过磁盘控制器缓存,也不能消除虚拟化平台缓存,因此仍应结合长时间测试和重复结果判断。
测试文件不宜小到可以完全放入内存。若磁盘空间允许,随机 I/O测试文件可设置为内存容量的1至2倍,并保证不同候选服务器采用相同大小。空间有限时,应明确记录测试文件大小,不要把小文件结果直接外推到大型数据库。
3. 使用预热、持续测试和多轮采样
短时间测试容易受到初始化、缓存和突发性能影响。建议每个测试项目包含:
- 预热阶段,持续30至60秒;
- 正式采样阶段,持续120秒或更长;
- 至少重复3轮;
- 记录平均值、p50、p95、p99和最大值;
- 比较各轮结果的波动,而不是只取最高一轮。
对连续写入场景,还应进行更长时间测试。部分 SSD或虚拟块存储在缓存耗尽后会明显降速,前两分钟的结果不能代表一小时备份任务的持续能力。
四、建议采用的测试矩阵
以下是一组适合美国服务器初步评估的测试组合,参数应在候选服务器之间保持一致。
| 测试项目 | 建议参数 | 主要观察指标 | 适合判断 |
|---|---|---|---|
| 4K随机读 | randread、4K、QD1 | p99、IOPS、CPU | 网站、小型数据库读请求 |
| 4K随机写 | randwrite、4K、QD1和QD4 | 延迟、IOPS、队列 | 小文件和普通写入 |
| 混合随机读写 | randrw、4K、读写比例70/30 | p95/p99、读写分别延迟 | 数据库和混合业务 |
| 1M顺序读 | read、1M、QD4至QD16 | MB/s、CPU | 文件读取、批处理 |
| 1M顺序写 | write、1M、持续5至15分钟 | 持续MB/s、波动 | 备份、日志、视频 |
| 同步小块写 | 4K、QD1、启用fsync | fsync延迟、p99 | 事务提交、日志落盘 |
一个代表性的 fio 示例可以写成:
fio --name=randread4k \
--filename=/data/bench/fio-testfile \
--size=16G \
--time_based \
--runtime=120s \
--ramp_time=30s \
--rw=randread \
--bs=4k \
--ioengine=libaio \
--direct=1 \
--iodepth=1 \
--numjobs=1 \
--group_reporting \
--output-format=json \
--output=/data/bench/randread4k.json
这里的 /data/bench只是示例路径,应替换为已经确认的专用测试目录。不同服务器应使用相同测试文件大小和参数。如果系统中的 fio不支持 libaio,先使用以下命令查看可用引擎,并在所有候选服务器上统一调整,不要一台使用一种引擎后直接比较。
fio --enghelp
观察设备状态时,可以同步执行:
iostat -xmd 1
需要特别关注测试期间的 await、r_await、w_await、avgqu-sz、%util和读写吞吐。若系统没有 iostat,应先按当前发行版安装对应的系统监控工具,避免用不兼容的命令替代。
同步写入测试的核心不是单纯增加队列深度,而是模拟每次提交都要求数据落盘的情况。示例参数如下:
fio --name=syncwrite4k \
--filename=/data/bench/fio-syncfile \
--size=8G \
--time_based \
--runtime=120s \
--ramp_time=30s \
--rw=randwrite \
--bs=4k \
--ioengine=libaio \
--direct=1 \
--iodepth=1 \
--numjobs=1 \
--fsync=1 \
--group_reporting
该测试会对指定测试文件产生持续写入和同步刷盘压力,不应在生产数据目录运行。测试前应完成备份,并确认业务不会使用同一块磁盘;测试结束后按照服务器的正常文件管理流程处理测试文件,不要误删其他数据。
五、结果如何判断:不要只比较一列最高数值
1. 先区分低队列和高队列结果
低队列深度结果更接近应用请求的即时体验,高队列深度结果更接近设备的并发上限。可以使用下面这组示例数据理解判断方法。数据仅用于说明分析过程,不代表某个美国服务器的实测结果。

| 项目 | 节点A | 节点B | 解释 |
|---|---|---|---|
| 4K随机读,QD1 IOPS | 18,500 | 15,200 | A的单请求处理能力更高 |
| 4K随机读,QD1 p99 | 2.1 ms | 5.8 ms | B的尾延迟更明显 |
| 4K随机读,QD32 IOPS | 165,000 | 205,000 | B的高并发吞吐更高 |
| 1M顺序读 | 1,080 MB/s | 1,420 MB/s | B更适合批量读取 |
| 4K同步写,p99 | 4.2 ms | 12.7 ms | 数据库事务提交更偏向A |
如果业务是小型网站或事务型数据库,节点A可能更合适;如果业务是批量文件读取,节点B的顺序吞吐优势可能更有价值。不能因为节点B的QD32 IOPS更高,就直接判断它全面优于节点A。
2. 看p99是否随并发快速恶化
把队列深度从QD1、QD4、QD16逐步提高,观察延迟曲线:
- IOPS上升、p99小幅增加:说明并发扩展较平稳;
- IOPS基本不再增长、p99持续上升:设备已经接近饱和;
- 吞吐下降、队列快速堆积:可能存在共享存储争用、限速或热降速;
- 读延迟稳定、写延迟突然升高:可能受到写缓存耗尽、垃圾回收或后台刷新影响;
- 多轮结果差异很大:可能是邻居实例、宿主机调度、网络存储或测试时间段造成。
对响应时间敏感的业务,应把“达到目标p99时可提供多少IOPS”作为关键结果,而不是取设备在高队列下的最大IOPS。
3. 结合CPU、内存和系统等待定位瓶颈
常见现象与判断方向如下:
| 现象 | 可能原因 | 下一步核对 |
|---|---|---|
| IOPS低、CPU接近满载 | 加密、压缩、文件系统或虚拟化开销 | 查看系统态CPU、进程CPU和中断 |
| 吞吐很高、磁盘等待低 | 可能是页缓存命中 | 使用相同的direct=1和更大测试文件复测 |
%util高但p99稳定 | 设备接近忙碌,但仍可能满足业务 | 对照业务延迟目标,不只看利用率 |
| p99突然升高、队列变长 | 存储饱和或共享资源争用 | 降低并发并重复测试,比较不同时段 |
| 写入前几分钟快,随后明显降速 | 写缓存耗尽或持续写入能力不足 | 延长测试到15至60分钟 |
| 内存不足、系统频繁回收 | 测试被内存压力干扰 | 记录free -h和系统日志后重新测试 |
%iowait高并不等于磁盘一定损坏,它只说明CPU有时间在等待 I/O。需要结合设备的 await、队列长度和实际吞吐,判断是存储慢、请求过多,还是其他进程制造了大量 I/O。
六、不同存储类型的适用边界
本地 NVMe
本地 NVMe通常适合高并发随机读写和低延迟数据库,但需要核对数据持久化、重启后的数据保留、实例迁移策略和容量扩展方式。测试时应重点关注:
- 4K随机读写QD1;
- 混合读写下的p95/p99;
- 同步写入;
- 长时间写入后的降速;
- 磁盘使用率达到业务预期后的性能。
本地盘的顺序吞吐可能很高,但如果实例释放后数据不保留,就不应直接作为唯一的数据存储位置。
SATA SSD
SATA SSD的随机访问延迟和并发上限通常低于高规格 NVMe,但对于普通网站、控制面板、轻量数据库和中小型文件服务仍可能够用。判断时应以业务目标为准,重点看QD1延迟、混合负载和同步写入,而不是只看顺序读取速度。
HDD
HDD适合对成本和容量更敏感、以顺序读写为主的归档或备份场景。随机小块读写的寻道延迟通常较高,数据库、频繁更新的小文件和高并发网站不应只依据顺序吞吐结果选择HDD。
网络块存储
网络块存储必须同时看存储延迟、主机网络、带宽上限和共享资源争用。测试时要记录服务器所在美国机房、网络接口速率、测试时间和并发度,并单独验证高峰期是否触发 IOPS 或吞吐限制。网络块存储的优势可能是容量扩展和持久化,但其延迟波动通常比本地盘更需要关注。
七、从测试结果推导容量和采购边界
容量规划可以先从业务 I/O 量估算,再用测试结果留出余量。
例如,一个事务系统每秒处理800次事务,每个事务平均产生6次磁盘 I/O,则理论需求为:
- 800 × 6 = 4,800 IOPS;
- 如果希望长期使用率控制在约60%,目标能力应至少为 4,800 ÷ 0.6;
- 约为8,000 IOPS。
但如果其中包含同步写入,不能只看8,000 IOPS,还要确认在QD1和 fsync 条件下的p99是否满足事务延迟要求。
顺序任务则按数据量和完成时间计算。例如每小时需要写入120 GB:
- 120 GB ÷ 3,600秒;
- 约为0.0333 GB/s;
- 按十进制约为33.3 MB/s。
如果任务要求30分钟完成500 GB,则需要约277.8 MB/s的持续写入能力。实际规划还应扣除压缩、校验、并发业务、文件系统开销和性能波动,不能把测试中的峰值速度直接当作可用容量。
最终的采购边界应至少包含四项:
- 目标负载下的p95/p99延迟;
- 目标并发下可持续的IOPS或MB/s;
- 磁盘使用率升高后的性能变化;
- 持久化、扩容、迁移和故障恢复条件。
复测条件与容量判断
出现以下情况时,应在同一美国服务器上复测,而不是直接更换测试结论:

- 测试文件小于内存,且没有使用直接 I/O;
- 只测试了几十秒,没有观察持续写入;
- 候选服务器的文件系统、块大小或
fio参数不同; - 测试期间运行了备份、更新、数据库恢复等任务;
- 只记录了平均延迟,没有保存p95/p99;
- 磁盘使用率与生产环境差异明显;
- 一台使用本地盘,另一台使用网络块存储,却直接比较峰值IOPS;
- 同一节点不同时间段的结果波动超过约20%。
更可靠的做法是保存每轮 JSON结果和系统监控数据,在相同的磁盘容量使用率、相同测试文件大小、相同并发参数下复测。对网站和数据库优先确认低队列延迟与同步写入;对备份和视频类业务优先确认长时间持续吞吐;对网络块存储则把尾延迟、带宽上限和高峰期波动一起纳入验收。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/4467.html
