美国服务器Linux磁盘性能测试该测什么,结果如何判断

发布人:A5数据发布时间:2026-11-08 14:20阅读量:100

单看“读写速度”很容易误判美国服务器的磁盘性能:顺序读取达到数GB/s,并不代表数据库的4KiB随机写入延迟就低;平均延迟只有几毫秒,也不能说明高并发时的p99延迟不会突然升高。Linux磁盘测试应当把吞吐、IOPS、延迟、并发深度、CPU占用和I/O队列放在同一组数据中解释。

实际评估时,至少要覆盖顺序读写、4KiB或8KiB随机读写、混合读写,以及需要持久化确认的同步写入。结果不能脱离业务负载直接套用“达标”或“不达标”,还要确认测试的是本地SSD、NVMe,还是网络块存储,并结合美国服务器所在机房、实例规格、磁盘使用率和测试时段进行判断。

先确定测试要回答的问题

测的是本地磁盘还是网络存储

美国服务器的地理位置主要影响访问者到服务器之间的网络时延,不会直接决定服务器本地磁盘的随机读写速度。磁盘测试应先确认数据目录对应的存储类型:

测的是本地磁盘还是网络存储配图

  • 本地SATA SSD或NVMe,性能通常受宿主机磁盘、虚拟化层、实例规格和共享资源影响。
  • 网络块存储,结果除了受存储介质影响,还会受到存储网络、服务端队列、IOPS上限和突发额度影响。
  • NFS、SMB等网络文件系统,测试结果同时包含网络往返、协议处理、服务端缓存和文件系统开销,不能直接与本地NVMe结果比较。
  • 虚拟服务器中的MODEL、ROTA等信息可能是虚拟化后的结果,不能仅凭设备名称断定宿主机使用的具体硬件。

可以先检查磁盘、挂载点和系统资源:

uname -a
lsblk -o NAME,MODEL,SIZE,ROTA,TYPE,FSTYPE,MOUNTPOINTS
findmnt -T /data
df -hT /data
lscpu | egrep 'Model name|CPU\(s\)|Thread|Core'
free -h

其中ROTA=0通常表示系统将设备识别为非旋转介质,但在虚拟化环境中只能作为参考。验收或采购时,还应向服务商确认磁盘是本地盘还是网络盘,是否存在IOPS、吞吐、突发性能或实例级别的限制。

把业务动作映射成测试负载

不同业务需要的磁盘能力并不相同:

业务类型更应该关注的测试主要判断指标
文件下载、备份、镜像分发1MiB或更大的顺序读写持续吞吐、长时间稳定性
MySQL、PostgreSQL等数据库4KiB或8KiB随机读写、混合读写p95/p99延迟、IOPS、同步写
日志采集和审计写入顺序追加、小块写入、同步写写入延迟、队列长度、落盘稳定性
Web应用和缓存小块随机读写、读写混合QD1至QD8延迟、并发下的尾延迟
容器镜像、代码构建和大量小文件随机读写、元数据操作小块IOPS、系统调用延迟、CPU占用

例如,数据库提交事务往往更接近“低队列深度、4KiB同步写”,而视频文件读取更接近“高队列深度、大块顺序读”。如果只跑一次顺序读取测试,最多只能回答文件连续读取能力,不能代表数据库或日志系统的实际体验。

需要记录的核心指标

吞吐量:适合判断连续数据搬运能力

吞吐量通常以MB/s、MiB/s或GB/s表示,适合描述顺序读写以及大块I/O。测试时必须确认单位:

  • MB/s通常按十进制计算,1MB等于1,000,000字节。
  • MiB/s按二进制计算,1MiB等于1,048,576字节。
  • Gbps和GB/s不是同一单位。将十进制GB/s换算为Gbps时,需要先乘以8。

顺序读写结果高,说明磁盘适合大文件传输,但不代表小块随机操作也快。还要观察持续运行几分钟后的速度,而不是只看刚开始几秒的峰值。一些存储产品会先使用缓存或突发额度,测试时间拉长后吞吐可能下降。

IOPS:适合判断小块操作能力

IOPS表示每秒完成的I/O次数。对于固定块大小,可以将IOPS换算成大致吞吐量:

吞吐量 = IOPS × 每次I/O的字节数

例如,30,000 IOPS、每次4KiB时:

  • 30,000 × 4,096 = 122,880,000字节/秒;
  • 按十进制计算约为122.88MB/s;
  • 按二进制计算约为117.19MiB/s。

因此,不能把“10万IOPS”直接理解为“能稳定读写10万MB/s”。IOPS必须与块大小、读写比例、队列深度和延迟一起查看。

延迟:重点看分位数而非只看平均值

建议至少记录平均延迟、p50、p95、p99和p99.9:

延迟:重点看分位数而非只看平均值配图

  • p50反映大多数请求的典型体验;
  • p95表示95%的请求不超过该延迟;
  • p99表示99%的请求不超过该延迟,剩余1%可能更慢;
  • p99.9更容易暴露偶发卡顿、后台回收或共享存储抖动。

平均延迟可能只有0.5ms,但如果p99达到30ms,数据库事务或交互式应用仍可能出现明显抖动。对在线业务,尾延迟往往比峰值吞吐更有参考价值。

并发深度:说明结果是在什么压力下取得

Linux磁盘测试中的队列深度通常写作QD,多个任务并行时还要考虑numjobs。有效并发量可以粗略理解为:

有效并发量 ≈ iodepth × numjobs

同一块盘在QD1和QD32下可能得到完全不同的结果:

  • QD1接近单个请求连续到达时的响应能力;
  • QD4至QD8更接近很多Web应用或数据库的中低并发;
  • QD32及以上更容易测出设备的并行处理能力和吞吐上限。

如果QD32下吞吐很高,但QD1延迟已经偏高,这类存储适合批处理,不一定适合对响应时间敏感的业务。

CPU、iowait和设备队列:用来定位瓶颈

磁盘慢不一定是磁盘本身慢。测试期间建议同时观察:

iostat -x 1 10
vmstat 1 10

重点查看:

  • await:设备请求从排队到完成的平均时间,通常以毫秒显示;
  • aqu-sz:平均队列长度;
  • r/s、w/s:每秒读写请求数;
  • rMB/s、wMB/s:读写吞吐;
  • %util:设备忙碌程度;
  • si、so:是否发生交换分区读写;
  • wa:CPU等待I/O的比例。

如果CPU占用高、wa不高、设备队列也不长,瓶颈可能在压缩、加密、文件系统或测试工具本身。如果await、队列长度和wa同时升高,则更像是存储已经排队。对NVMe和多队列设备,%util接近100%不一定意味着所有能力都被完全用尽,仍应结合延迟和吞吐判断。

测试前固定影响变量

确定测试目录和容量

测试文件应放在实际业务使用的挂载点,例如/data,不要默认在根目录执行。测试文件大小要同时满足两个条件:

  • 不影响系统和业务剩余空间;
  • 足以覆盖目标业务的工作集,避免只测到极小缓存。

下面的命令以/data/fio-testfile为示例,8G只是演示值。正式测试时,应根据剩余容量和业务工作集调整,不能覆盖已有数据文件。

df -hT /data
test -w /data && echo "directory is writable"

不要把--filename改成生产数据库文件、系统分区或原始块设备。直接对块设备进行写测试会覆盖数据;如确有必要,必须先完成备份和恢复验证,卸载目标文件系统,安排维护窗口,并确认测试后能够通过回滚或恢复操作复原。多数美国服务器验收场景使用独立测试目录已经足够。

固定文件系统和测试参数

比较两台服务器时,至少保持以下条件一致:

  • Linux发行版和内核大版本;
  • 文件系统类型及挂载参数;
  • 测试文件大小和所在挂载点;
  • 块大小、读写比例、队列深度和并发任务数;
  • 测试持续时间和预热时间;
  • 测试时的磁盘使用率、快照、备份和其他后台任务。

如果一台服务器使用ext4,另一台使用XFS,或者一台磁盘使用率为20%、另一台已经接近90%,即使测试命令完全相同,结果也不适合直接归因于硬件差异。

一套可复用的Linux磁盘测试方法

先做短时基线

fio是Linux环境中常用的I/O测试工具。先确认工具和版本:

command -v fio
fio --version
command -v iostat

以下示例使用直接I/O,尽量减少Linux页缓存对结果的影响。测试只针对指定的测试文件,运行前要确认/data/fio-testfile不是业务文件,并保证有足够空间。

顺序写:

fio --name=seqwrite \
  --filename=/data/fio-testfile \
  --size=8G \
  --rw=write \
  --bs=1M \
  --direct=1 \
  --ioengine=libaio \
  --iodepth=16 \
  --numjobs=1 \
  --time_based \
  --runtime=60 \
  --ramp_time=10 \
  --group_reporting \
  --percentile_list=50:95:99:99.9

顺序读:

fio --name=seqread \
  --filename=/data/fio-testfile \
  --size=8G \
  --rw=read \
  --bs=1M \
  --direct=1 \
  --ioengine=libaio \
  --iodepth=16 \
  --numjobs=1 \
  --time_based \
  --runtime=60 \
  --ramp_time=10 \
  --group_reporting \
  --percentile_list=50:95:99:99.9

随机读写要拆分测试,先观察单一方向,再观察混合负载:

fio --name=randread4k \
  --filename=/data/fio-testfile \
  --size=8G \
  --rw=randread \
  --bs=4k \
  --direct=1 \
  --ioengine=libaio \
  --iodepth=1 \
  --numjobs=1 \
  --time_based \
  --runtime=60 \
  --ramp_time=10 \
  --group_reporting \
  --percentile_list=50:95:99:99.9
fio --name=randrw4k \
  --filename=/data/fio-testfile \
  --size=8G \
  --rw=randrw \
  --rwmixread=70 \
  --bs=4k \
  --direct=1 \
  --ioengine=libaio \
  --iodepth=16 \
  --numjobs=2 \
  --time_based \
  --runtime=60 \
  --ramp_time=10 \
  --group_reporting \
  --percentile_list=50:95:99:99.9

若系统的libaio不可用,应先查看fio支持的I/O引擎,而不是直接猜测参数:

fio --enghelp

增加不同队列深度的对照

建议至少做QD1、QD4、QD16和QD32四组随机测试。不要只提升iodepth,还要记录实际输出中的平均延迟、p99延迟、IOPS和CPU占用。

一组典型的示例数据如下,数字仅用于说明判断方法,并非某台美国服务器的实测结果:

负载QD及并发IOPS或吞吐平均延迟p99延迟可能说明
1MiB顺序读QD16×11,850MiB/s8.6ms2.4ms大块读取吞吐较高,适合连续文件处理
4KiB随机读QD1×118,000IOPS0.052ms0.21ms单请求响应较快
4KiB随机读QD32×192,000IOPS0.34ms1.8ms并发能力较强,但尾延迟已明显上升
4KiB随机写QD1×18,000IOPS0.125ms0.9ms单线程写入能力一般,需结合业务写入量判断
4KiB混合读写QD16×2,读占70%34,000IOPS1.7ms3.8ms更接近混合型应用,延迟仍受并发影响

第一行中平均延迟高于p99是因为示例数值不符合分位数定义,实际报告中不应出现这种情况。正常情况下,p50不高于p95,p95不高于p99;采集数据时要检查工具输出和单位,避免将不同测试轮次或不同指标列在同一行。

单独测试同步写入

fsync或等效持久化操作会改变写入路径。只看异步随机写,不能代表数据库提交事务或日志落盘的延迟。可以在独立测试文件上做低并发同步写:

fio --name=syncwrite4k \
  --filename=/data/fio-testfile \
  --size=1G \
  --rw=write \
  --bs=4k \
  --direct=1 \
  --ioengine=sync \
  --iodepth=1 \
  --numjobs=1 \
  --fsync=1 \
  --time_based \
  --runtime=60 \
  --ramp_time=10 \
  --group_reporting \
  --percentile_list=50:95:99:99.9

这个测试主要观察每次写入并要求同步后的完成时间。它可以反映操作系统到存储设备的确认路径,但不能单凭测试证明服务器在突然断电时一定具备硬件级数据保护能力。是否有持久化写缓存保护、写入排序保证或平台级断电保护,还需要服务商提供相应说明。

按时间采样而不是只取一次峰值

较稳妥的采样方式是:

  1. 预热10至30秒,让缓存和文件分配状态进入相对稳定阶段;
  2. 正式运行60至180秒,记录完整的吞吐、IOPS和延迟分位数;
  3. 在相同参数下重复3次,报告中位数、最大最小范围和异常情况;
  4. 分别在低负载时段与业务高峰时段测试,观察共享存储的时间波动;
  5. 测试期间同步保存iostat、vmstat和CPU数据;
  6. 测试结束后确认文件路径,再清理测试文件,避免误删业务数据。

如果三次测试分别得到1,900MiB/s、1,850MiB/s和1,100MiB/s,不能只引用前两次。应继续确认是否触发了突发额度、后台快照、宿主机争用、温度降速或磁盘空间不足。

结果如何解释

吞吐高但小块延迟高

顺序读写达到1,800MiB/s,而4KiB QD1的p99达到8ms,说明设备更擅长批量传输,不代表交互式请求响应快。文件分发、备份和大文件处理可能仍然合适;数据库索引、事务提交和小文件密集型应用则需要继续看随机与同步测试。

QD1很好,QD32迅速恶化

如果QD1的p99为0.3ms,QD32升到12ms,同时队列长度和await明显增加,说明并发压力已经接近设备或存储服务的处理边界。此时不能只宣传高并发下的IOPS,应根据应用实际并发量决定是否可用。

对低延迟数据库,QD1至QD8的稳定性通常比QD32的峰值更重要;对备份、批量压缩或镜像制作,则可以接受更高队列深度下的延迟,只要持续吞吐稳定。

IOPS不高,但CPU已经成为瓶颈

如果测试时CPU使用率接近满载,而磁盘await不高、设备队列也不长,问题可能在:

  • fio任务数过多或I/O引擎不适合当前内核;
  • 虚拟机分配的vCPU较少;
  • 文件系统、加密或压缩消耗CPU;
  • 同时运行了校验、备份或日志压缩任务。

这种情况不能简单归类为“磁盘性能差”。应降低并发、换用兼容的I/O引擎,并将CPU占用纳入服务器规格评估。

p99偶发升高而平均值正常

平均延迟稳定、p99和p99.9周期性出现尖峰,常见于共享存储争用、后台快照、垃圾回收、缓存耗尽、磁盘接近满载或宿主机资源调度。可以延长测试时间,并在不同时间段重复。

如果只在高峰时段出现尖峰,应把它视为容量和稳定性问题,而不是用低负载时的平均值掩盖。美国服务器的机房位置本身不能解释本地盘的周期性抖动,更需要检查实例所在存储类型和服务商的性能限制。

direct=1和direct=0结果差异很大

direct=1更接近绕过页缓存后的设备路径,适合观察存储本身;direct=0则可能受Linux页缓存、内存大小和重复数据影响。两者差异很大时,说明应用可能从缓存中受益,但也说明缓存命中率会决定实际表现。

评估数据库或文件服务时,不应把缓存命中的direct=0结果直接当成物理磁盘能力。需要根据应用是否主动使用缓存、工作集是否能放入内存来决定采用哪组数据。

用业务阈值和容量曲线做最终判断

先定义可接受的业务边界

不存在适用于所有美国服务器的统一“合格IOPS”或“合格吞吐”。应先写出业务约束,再将其转换成测试条件。例如:

  • 事务提交p99不高于5ms;
  • 峰值需要持续完成20,000次4KiB随机写;
  • 日志连续写入需要稳定达到150MB/s;
  • 数据库所在磁盘在高峰期仍需保留至少30%的并发余量。

这些数值是示例阈值,实际值应来自应用监控、压测或上线验收要求。测试报告至少要同时写出块大小、读写比例、队列深度、测试持续时间和延迟分位数,否则“达到多少IOPS”缺少可比性。

用负载递增寻找性能拐点

可以从较低并发开始,每轮增加约25%的并发或请求量,记录吞吐、p99、CPU和队列长度。当负载增加后吞吐增长很小,但p99和队列长度突然上升,就到达了性能拐点。

例如:

用负载递增寻找性能拐点配图

并发负载吞吐p99延迟设备队列判断
25%18,000IOPS1.2ms1.1仍有余量
50%34,000IOPS2.4ms3.0适合继续观察
75%41,000IOPS8.9ms11.6延迟开始非线性上升
100%43,000IOPS26ms28.4接近饱和,不宜作为常态负载

这组数据中,75%附近已经出现明显拐点。即使100%负载的IOPS更高,也不代表适合作为长期运行点。生产容量应留出余量,尤其是同步写、备份、快照和日志突发会共同抬高队列。

把磁盘空间和写入量纳入判断

磁盘接近满载时,文件分配、垃圾回收和写放大可能改变性能。建议至少在当前容量状态和预计上线后的容量状态各测一次,例如使用率约30%、70%和85%时对比随机写和同步写结果。

容量估算也要保持单位一致。若每天产生200GB十进制日志,平均写入量为:

  • 200GB × 1,000MB/GB ÷ 86,400秒;
  • 约等于2.31MB/s;
  • 若业务高峰是平均值的6倍,峰值约为13.89MB/s。

这只是原始日志量,实际磁盘写入还可能包含索引、WAL、复制、文件系统元数据和写放大。最终应将这些额外写入计入测试负载,而不是只按原始日志大小选择磁盘。

需要复测的条件

以下情况发生后,原有测试结果不应继续视为当前能力:

  • 更换美国服务器实例规格、宿主机或磁盘类型;
  • 磁盘使用率明显上升;
  • 增加快照、备份、加密或压缩任务;
  • 更换Linux内核、文件系统或挂载参数;
  • 服务商调整网络块存储的IOPS、吞吐或突发策略;
  • 应用从单一读负载变成混合读写或同步写;
  • 业务并发量、数据库大小或日志峰值发生明显变化。

最终验收时,建议保留原始fio输出、iostat采样、系统资源信息和测试参数,形成同口径基线。后续复测只要保持文件系统、测试位置、块大小、并发深度和时间窗口一致,就能判断性能变化来自磁盘容量、业务负载,还是服务器平台本身。

A5idc数据提供美国物理服务器租用,涵盖常规Xeon、AMD EPYC和存储型配置,可为网站、数据库及跨境业务提供不同的CPU、内存与磁盘资源组合。部分美国AMD方案搭配NVMe存储,例如EPYC 4584PX配置配备64GB DDR5内存和960GB NVMe,另有EPYC 7713搭配128GB内存及两块1.92TB NVMe的方案,适用于关注随机I/O、同步写入或数据容量的业务部署。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/8328.html

相关推荐