新加坡服务器测试Linux磁盘性能,fio参数与结果该怎么解读

发布人:A5数据发布时间:2026-11-09 10:28阅读量:104

fio测出的不是“新加坡服务器的完整体验”,而是特定磁盘、文件系统、队列深度和并发模型下的本地I/O能力。要回答一台服务器是否适合数据库、日志、文件服务或备份任务,不能只看一个连续读写的MB/s,而应同时观察业务对应的IOPS、平均延迟、P95/P99尾延迟、并发度、CPU占用和设备队列是否已经饱和。

测试时建议先把业务负载拆成几类:4KiB或8KiB随机读写用于观察数据库和小文件场景,1MiB或更大的顺序读写用于文件传输和备份,低队列深度用于接近单请求响应时间,高队列深度用于观察批量并发能力。下面的命令和结果均是可复用的示例,不代表某个新加坡机房或某个具体产品的实测结论;最终判断应以相同条件下的多轮采样为准。

先确定测试要回答的问题

同一块盘在不同参数下可能同时表现出很高的吞吐和很差的业务延迟。因此,开始测试前应先写清楚目标,而不是先挑一个看起来漂亮的fio命令。

常见目标可以分为三类:

  • 响应型负载:关心单个请求多久完成,重点看4KiB或8KiB随机读写、QD1到QD4,以及P95、P99延迟。在线数据库、配置读取和部分Web应用更接近这一类。
  • 并行型负载:关心多个线程同时访问时能否维持吞吐,重点看numjobs、iodepth、总IOPS和尾延迟。分析任务、对象处理和并发下载可能属于这一类。
  • 流式负载:关心连续传输速度和稳定性,重点看512KiB、1MiB或更大的顺序读写、长时间运行结果及CPU占用。备份、镜像生成和大文件处理更适合用这一类指标评估。

新加坡服务器这个地域信息主要影响客户端到服务器的网络往返时间、跨地域访问延迟和网络吞吐;fio在服务器本机运行,通常不包含客户端到机房的网络路径。因此,fio可以回答本地存储是否满足要求,但不能单独证明从中国大陆、东南亚或其他地区访问业务时的整体响应速度。网络链路应另行测试,并与本地磁盘结果关联分析。

指标之间应该怎样对应

IOPS、吞吐与块大小

IOPS表示每秒完成的I/O操作数,吞吐表示每秒传输的数据量。二者的基本关系是:

吞吐量 = IOPS × 单次I/O大小

例如,4KiB随机读达到85,000 IOPS时,理论吞吐量为:

85,000 × 4,096 bytes ÷ 1,048,576 = 332.03 MiB/s

因此,4KiB下的85,000 IOPS和1MiB下的85,000 IOPS不是同一个量级的工作量。后者理论上会达到约81.06GiB/s,现实中通常会先受到设备、总线或存储后端限制。看到BW=332MiB/s时,也不能把它理解成332MB/s以外的同一单位:MiB是2的20次方字节,十进制MB是1,000,000字节,二者相差约4.86%。

数据库小块随机I/O应优先看IOPS和延迟;大文件读写应优先看吞吐及持续时间。只拿连续读的MiB/s去推断数据库性能,或者只拿随机读的IOPS去推断备份速度,都会产生偏差。

延迟不应只看平均值

fio常见的延迟字段包括:

  • slat是提交I/O前的提交延迟,受到用户态和内核提交路径影响。
  • clat是I/O从提交到完成的完成延迟,异步I/O测试中通常是主要观察对象。
  • lat是更完整的总延迟,通常包含提交和完成阶段。
  • p50代表一半请求不超过的延迟,p95、p99和p99.9分别反映更靠后的尾部请求。

平均延迟可能被大量快速请求拉低。比如一组测试的平均延迟为0.6ms,但P99为8ms,说明少量请求已经明显变慢。在线交易、数据库提交和接口请求通常更受P99影响,而不是受平均值影响。最大延迟适合用于发现偶发卡顿,但它容易受单次调度、监控采样或后台任务影响,不宜单独作为验收标准。

并发度、队列深度与CPU

numjobs表示fio工作线程或进程的数量,iodepth表示每个工作单元尝试维持的未完成I/O数量。总并发量可以近似理解为两者的乘积,但实际值还会受到ioengine、文件系统和设备响应速度影响。ioengine=sync通常不能提供与异步引擎相同的深队列效果;使用libaio或兼容的io_uring时,才更适合观察较高队列深度。

高队列深度下吞吐增加,并不一定意味着业务体验更好。如果QD从1提高到32后,IOPS只增加少量而P99迅速上升,通常说明设备或虚拟化存储后端接近饱和。CPU也可能成为瓶颈:用户态和内核态占用升高、fio线程接近单核满载,可能代表测试工具或I/O路径已经消耗了计算资源。

%iowait只能说明CPU有一段时间处于等待I/O完成的状态,不能直接等同于磁盘利用率。应结合iostat -x中的设备利用率、平均队列、等待时间以及fio自身的延迟分布一起判断。

变量控制比单次跑分更重要

记录服务器和存储环境

在新加坡不同云厂商、不同套餐甚至同一套餐的不同磁盘配置中,存储后端可能不同。测试记录至少应包括以下信息:

  • CPU核数、内存容量、操作系统和内核版本;
  • 磁盘容量、云盘或本地盘类型、挂载点、文件系统和挂载参数;
  • 测试文件所在设备,是否经过LVM、加密层、RAID或其他设备映射;
  • fio版本、ioengine、块大小、读写比例、队列深度、线程数和测试时长;
  • 测试时磁盘已用空间、快照或备份任务、突发性能额度及其他后台I/O。

可以先用以下命令核对环境。命令只读取系统信息,不会改变磁盘内容:

fio --version
findmnt -no TARGET,SOURCE,FSTYPE,OPTIONS /var/lib/fio-test
df -h /var/lib/fio-test
lsblk -o NAME,TYPE,SIZE,FSTYPE,MOUNTPOINTS

如果测试目录尚未建立,应将它放在专用测试盘或明确的测试文件系统中。不要把写测试的filename指向生产数据库文件、业务挂载点中的现有文件或没有备份的数据。写入测试会覆盖指定测试文件、消耗存储空间,并可能引入后台写回;出现误指定路径时,回滚不能依靠“重新测试”,只能从备份或快照恢复。因此,开始前要确认路径、剩余空间、备份和影响范围,并在测试结束后按运维流程清理已确认的测试文件。

文件大小、缓存和预热

测试文件太小,可能主要命中内存、控制器缓存或文件系统缓存;文件太大,又可能无谓地占用整块盘。对于直接I/O测试,可以让工作集明显大于应用可能使用的缓存,或至少大于可用页缓存的一部分;对于研究真实应用缓存效果,则应另做一组不使用直接I/O的测试,不能把两组结果混为一谈。

--direct=1通常用于绕过Linux页缓存,更接近底层设备能力,但它并不等于绕过所有存储控制器缓存,也不代表数据库一定采用相同路径。测试时间建议包含10秒左右的预热,再采集60秒到300秒的稳定数据。带有突发性能、缓存或后台回收机制的云盘,短时间结果可能高于长时间稳定水平。

读写方向与队列矩阵

建议至少覆盖以下组合,而不是只执行一个默认参数:

场景常用块大小并发设置主要观察指标
随机读响应4KiB或8KiBQD1、QD4IOPS、P99延迟
随机写响应4KiB或8KiBQD1、QD4P99延迟、写入稳定性
并发随机读4KiB或8KiBQD16、QD32及以上总IOPS、尾延迟、CPU
顺序读写512KiB或1MiB单线程和少量并发MiB/s、持续时间、设备利用率
混合读写按应用实际情况业务对应的QD读写分别的延迟和比例

若应用是读多写少,可以用--rw=randrw --rwmixread=70构造读写比例为70%的混合负载;但70/30不是通用标准,应以应用监控或数据库统计得到的比例替换。日志写入、数据库提交等场景还应单独关注同步持久化,不要用普通异步顺序写结果代替fsync或持久化提交能力。

一组安全的fio示例

以下示例假定/var/lib/fio-test是专用测试目录,并且至少有约10GiB可用空间。fio中的G在常见版本中按二进制容量后缀使用,具体行为仍应以当前版本帮助信息为准。示例会在该目录中创建或覆盖dataset.bin,执行前必须再次核对目录和备份状态。

先生成用于读取的测试文件:

mkdir -p /var/lib/fio-test
fio --name=prepare --directory=/var/lib/fio-test --filename=dataset.bin --rw=write --bs=1M --size=8G --ioengine=libaio --direct=1 --iodepth=16 --numjobs=1 --group_reporting

测试低队列深度的4KiB随机读,适合观察单请求响应:

fio --name=randread-q1 --directory=/var/lib/fio-test --filename=dataset.bin --rw=randread --bs=4k --size=8G --time_based --runtime=60s --ramp_time=10s --ioengine=libaio --direct=1 --iodepth=1 --numjobs=1 --randrepeat=0 --group_reporting --output-format=json

测试更高并发的4KiB随机读:

fio --name=randread-q128 --directory=/var/lib/fio-test --filename=dataset.bin --rw=randread --bs=4k --size=8G --time_based --runtime=60s --ramp_time=10s --ioengine=libaio --direct=1 --iodepth=32 --numjobs=4 --randrepeat=0 --group_reporting --output-format=json

测试1MiB顺序读:

fio --name=seqread-1m --directory=/var/lib/fio-test --filename=dataset.bin --rw=read --bs=1M --size=8G --time_based --runtime=60s --ramp_time=10s --ioengine=libaio --direct=1 --iodepth=16 --numjobs=1 --group_reporting --output-format=json

随机写命令应只在专用测试文件上执行,因为它会改变测试文件内容:

fio --name=randwrite-q1 --directory=/var/lib/fio-test --filename=dataset.bin --rw=randwrite --bs=4k --size=8G --time_based --runtime=60s --ramp_time=10s --ioengine=libaio --direct=1 --iodepth=1 --numjobs=1 --randrepeat=0 --group_reporting --output-format=json

如果当前内核、fio版本或存储驱动不支持libaio,不要直接猜测替换参数。可以先执行fio --enghelp检查可用引擎,再选择系统支持的异步引擎。使用不同ioengine后,结果不能与原测试直接横向比较。

测试期间建议同时记录设备和系统状态:

iostat -x 1
vmstat 1
mpstat -P ALL 1

这些命令通常由sysstat或相应系统软件包提供。如果命令不存在,应先确认发行版的软件包来源,不要为了跑测试随意替换生产环境的监控组件。

怎样读一段fio结果

下面是一段用于解释方法的模拟结果,并非新加坡服务器实测:

read: IOPS=85.0k, BW=332MiB/s
clat percentiles (usec):
 | 50.00th=[  380], 95.00th=[  720], 99.00th=[ 1400], 99.90th=[ 4800]
clat min=210, max=30200, avg=610.5
cpu: usr=8.2%, sys=17.6%, idle=67.4%, iowait=6.8%

这段结果可以这样拆解:

  1. 85.0k IOPS与4KiB块大小对应约332MiB/s,二者在单位换算上相互一致。
  2. P50为380微秒,说明中位请求较快;P99为1.4ms,表示每100个请求中靠后的一个大约达到这个量级;P99.9为4.8ms,说明尾部仍比中位数高很多。
  3. 最大值30.2ms不能直接代表常态,但应结合iostat查看该时刻是否出现队列增长、快照、写回或其他后台任务。
  4. 用户态和内核态合计约25.8%,说明当前示例中CPU尚未明显耗尽,但不能据此推断换成更高并发后仍然有相同余量。

再看一个队列对照更容易判断是否接近饱和:

测试IOPS平均延迟P99延迟设备队列现象
4KiB随机读,QD111,8000.08ms0.16ms队列短,设备未明显排队
4KiB随机读,QD3282,0001.21ms2.30ms吞吐明显增加,尾延迟可接受
4KiB随机读,QD12886,0008.70ms18.40msIOPS增幅很小,排队明显

这里不能简单说QD128的IOPS最高,所以它就是最佳结果。对于要求P99低于5ms的业务,QD128已经越过延迟边界;QD32虽然总IOPS略低,却可能更符合服务质量目标。若业务本身可以异步批量处理,QD128仍可能有价值,但它不能代表低延迟在线请求的能力。

异常结果应怎样定位配图

异常结果应怎样定位

结果模式常见解释方向下一步核对
顺序读高,随机读低设备更适合流式访问,或随机访问受到后端延迟影响增加QD1、QD4和QD32对照,检查P99
不加并发时很慢,加到高QD才变快存储后端需要并行请求才能发挥能力判断业务是否能容忍更高排队延迟
IOPS增加但P99陡升已接近设备、虚拟化后端或CPU瓶颈看aqu-sz、%util、CPU和尾延迟
第一次运行特别快,随后下降缓存、突发额度或写回机制影响延长测试,等待系统稳定后重复
读结果异常高且接近内存带宽数据命中页缓存或控制器缓存使用--direct=1,扩大工作集并核对测试文件
fio吞吐不高但CPU接近满载ioengine、加密层、文件系统或虚拟CPU成为瓶颈更换已确认支持的引擎并分层测试
多次结果波动很大共享存储、后台任务、突发策略或邻居干扰分时段复测并记录系统状态

如果iostat -x显示设备利用率接近100%,同时平均队列和等待时间持续增加,通常可以认为该测试条件下设备已经接近饱和。但虚拟块设备的利用率字段并不总能完整反映云存储后端状态,仍要结合fio的延迟曲线和多轮结果判断。

还要注意读写测试之间的相互影响。顺序写可能触发文件系统或存储后端的延迟写回,随后立即进行随机读会得到不同于空闲状态的结果。更稳妥的做法是把读、写、混合读写分成独立轮次,并在每轮之间记录系统状态;不要把一次连续运行中的后半段结果当成另一种负载的独立基线。

从测试结果到容量判断

容量规划应先把业务峰值转成与测试一致的单位,再加入余量。例如业务峰值为3,000次4KiB随机读每秒,服务目标要求P99不超过5ms,可以按1.5倍余量把测试目标设为至少4,500 IOPS,并要求在对应并发度下仍满足P99边界。若测试在QD1只有3,800 IOPS,而在QD32达到20,000 IOPS,不能直接用20,000 IOPS宣称满足低并发业务;应继续验证应用是否真的能维持QD32,以及高并发下的尾延迟。

顺序吞吐也要先统一单位。若需要在30分钟内传输500GB十进制数据,理论平均速率为:

  • 500GB × 8 × 1,000 ÷ 1,800秒 = 2,222.22Mb/s;
  • 换算为十进制MB/s:2,222.22 ÷ 8 = 277.78MB/s;
  • 换算为MiB/s:277.78 ÷ 1.048576 ≈ 264.95MiB/s。

因此,fio若显示约265MiB/s,只能说明本地磁盘顺序读取的量级接近这一要求。备份还会受到压缩、加密、网络出口、远端存储写入速度和协议开销影响;若备份要离开新加坡服务器,网络测试必须另行满足至少相应的有效吞吐,并为波动留出余量。

验收时可采用以下边界:

  • 先用业务峰值和余量计算目标IOPS、吞吐及最大允许P99;
  • 在相同块大小、读写比例、QD、文件系统和数据规模下重复至少三轮;
  • 用中位数或稳定轮次的P95/P99判断,而不是用一次偶然峰值;
  • 同时确认CPU、内存、交换分区、设备队列和后台任务没有成为隐藏瓶颈;
  • 如果两种方案的差异小于多轮测试本身的波动,就不应仅凭这一差异做产品选择,可增加测试时长或改用应用级基准。

例如,某方案连续三轮4KiB随机读QD1的P99为1.2ms、1.3ms和1.4ms,且目标为5ms;另一方案为1.1ms、3.8ms和7.2ms。即使后一方案某一轮平均IOPS更高,前者在延迟稳定性方面也更容易满足响应型业务。这个结论只适用于该测试条件,不能扩展为两个产品在所有负载下的排名。

fio之外仍需验证的边界

fio适合测块I/O和文件读写能力,但它不能完整代替数据库或应用基准。以下情况需要补充专门测试:

  • 数据库的事务提交、锁竞争、日志同步和缓存命中率;
  • 大量创建、删除、改名文件时的目录和元数据性能;
  • fsync、fdatasync或写入持久化要求;
  • 多个租户同时访问共享存储时的隔离和抖动;
  • 客户端到新加坡机房的网络往返、丢包和有效吞吐;
  • 存储容量接近已用上限、快照存在或磁盘扩容后的性能变化。

特别是同步写场景,普通randwrite主要说明写入路径的吞吐与延迟,不能自动代表每次提交都已经持久化。需要按照应用实际使用的同步方式设计独立测试,并确认测试文件、文件系统和存储后端的持久化语义。

复测条件和最终选择

当服务器更换CPU或内存规格、调整云盘容量或类型、修改文件系统与挂载参数、升级内核或fio、启用快照备份、改变数据库缓存大小,或者业务读写比例发生变化时,都应重新测试。磁盘已用空间从低位增长到接近业务目标容量时,也应在接近真实容量的条件下复测,因为空间分配、碎片和云存储性能策略可能改变结果。

建议保存每轮fio的JSON输出、iostat和vmstat时间序列,并在记录中标注测试开始时间、实例规格、磁盘标识、测试文件大小和后台任务。这样才能区分“产品本身差异”和“本轮恰好处于突发额度、写回或共享存储抖动”。

最终选择不应是寻找一个脱离场景的最高分,而是确认目标工作负载在足够余量下能否同时满足吞吐、IOPS和尾延迟要求。对新加坡服务器而言,本地fio结果负责回答存储层是否够用;网络路径、应用级事务和长期稳定性则需要在实际部署条件下继续验证。

A5idc数据提供新加坡物理服务器资源,覆盖不同CPU、内存、磁盘与国际线路配置,可承载数据库、业务后台、文件服务及多任务计算等场景。结合SSD、NVMe及大容量存储方案,A5idc数据也能为需要区分随机I/O、顺序吞吐和容量规模的部署提供相应硬件基础,并支持香港、日本、美国等地区的服务器资源布局。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/8390.html

相关推荐