测试香港服务器磁盘性能,如何控制读写模式并判断延迟变化?

发布人:A5数据发布时间:2026-10-15 14:02阅读量:89

把随机读改成顺序写、把队列深度从1提高到32,同时换到另一台香港服务器,即使测试结果明显变快,也无法判断究竟是磁盘介质、读写模式,还是并发程度造成了差异。磁盘性能测试的首要任务不是跑出一个较大的数字,而是让每一次比较都有明确的解释对象。

要控制读写模式,应分别固定访问方式、读写比例、块大小、队列深度和任务数;要判断延迟变化,应同时观察IOPS、吞吐量、平均延迟与P95、P99等尾部延迟,并把测试时间窗口与系统监控对齐。以下以Linux香港服务器上的fio测试为例,先建立基线,再一次只改变一个关键变量,不预设任何产品的实测结论。

一、建立基线:先明确测的是哪一层性能

本地磁盘延迟与访问香港服务器的网络延迟要分开

在香港服务器内部运行fio,测试的是操作系统、文件系统、虚拟磁盘及其后端存储共同形成的I/O路径。SSH连接只是用于下发命令;只要fio在服务器本地执行、结果写到本地文件,终端响应快慢通常不会改变磁盘测试结果。

从其他地区发起网站请求,测到的则是网络往返、服务排队、应用处理和存储访问共同形成的响应时间。跨区域访问变慢,不能直接归因于香港服务器磁盘变慢。

两者可分别建立基线:

测试对象主要指标应固定的条件可以回答的问题
服务器本地文件I/OIOPS、吞吐量、I/O延迟分位数测试目录、文件系统、读写模式、并发参数当前存储路径在指定负载下表现如何
应用访问存储请求延迟、事务吞吐、同步提交耗时应用版本、数据集、缓存状态、请求比例存储变化是否影响业务
跨区域访问应用网络往返、请求总耗时、错误率请求内容、客户端位置、并发量、应用状态线路与服务共同作用下的访问体验

如果服务器挂载的是远程存储,网络也可能属于存储路径的一部分。但它与用户访问网站的公网线路不是同一个变量,应分别记录。

基线要包含环境,而不只是一个fio分数

测试前应记录操作系统、内核、fio版本、CPU和内存配置,以及测试文件所在的挂载点、文件系统、容量占用和磁盘类型。对于云服务器或虚拟化服务器,还应核对套餐是否存在IOPS、吞吐量或突发性能限制。

在Linux环境中,可先运行以下只读检查:

uname -r
fio --version
lsblk -o NAME,TYPE,SIZE,FSTYPE,MOUNTPOINT
findmnt -T /mnt/testdisk
df -h /mnt/testdisk

其中,/mnt/testdisk是示例路径,必须替换为实际用于测试的挂载目录。fio --version应确认调用的是磁盘测试工具fio,而不是同名程序。本文命令面向支持相应选项的fio 3.x及Linux libaio环境;若工具缺失或选项不被识别,应先按实际发行版核验,不要直接沿用其他系统的安装方式。

虚拟机显示的设备名称、型号或旋转属性,不一定等于底层物理介质。判断产品配置时,应以交付说明和实际可验证的限额为准,不能仅凭设备名认定其使用某种存储介质。

先定义观察指标

磁盘性能必须写成“某种负载条件下的性能”,不能脱离块大小、并发和读写模式单独引用IOPS或延迟。

指标含义判断时的注意事项
IOPS每秒完成的I/O次数必须同时标明块大小、读写方向和并发条件
吞吐量每秒传输的数据量顺序大块I/O更适合用它比较
平均延迟所有请求延迟的平均水平可能掩盖少量但严重的慢请求
P95、P99延迟约95%、99%的请求不超过的延迟适合观察尾部抖动,但需要足够样本
时间序列各采样窗口内的性能变化用于识别周期性下降、突发耗尽和短时停顿
错误与超时请求是否正常完成有错误时,不能只比较成功请求的速度

fio中的slat是提交延迟,clat是完成延迟,lat是总延迟。报告时必须写清楚使用哪一项。对异步I/O而言,clat包含请求提交后的排队与完成过程,并不等于物理介质内部的服务时间。

单位也要统一。本文块大小采用KiB、MiB口径:1 MiB=1024 KiB,1 KiB=1024字节。例如,4 KiB请求达到10,000 IOPS时,吞吐量约为39.1 MiB/s;不能把它直接写成10,000 MB/s,也不能将MB/s与网络带宽的Mb/s混用。

二、选择变量:一次只改变一个读写条件

先选一个可重复的起点

用于比较低并发随机读取的示例基线,可以设为:

  • 随机读:rw=randread。
  • 块大小:bs=4k。
  • 队列深度:iodepth=1。
  • 任务数:numjobs=1。
  • 直接I/O:direct=1。
  • 计入结果的运行时间:60秒。
  • 预热时间:10秒,不计入正式统计。

这套参数不是所有业务的代表,也不是磁盘能力上限。它主要回答:单任务、低队列深度、4 KiB随机读取时,请求延迟处于什么水平。

读写模式的后续实验应从同一基线分支出来,而不是不断叠加修改:

实验相对基线只改变什么主要观察项
随机读改随机写rw=randread改为randwrite写入IOPS、写入延迟、持续写入后的变化
随机读改顺序读rw=randread改为read访问顺序带来的差异
4 KiB改64 KiB只改bsIOPS下降与吞吐增加是否同时发生
队列深度1改8或32只改iodepth吞吐增加是否伴随排队延迟增加
单任务改多任务只改numjobs并发任务对总体性能和公平性的影响
混合读写比例变化固定rw=randrw,只改rwmixread读写相互影响与各自尾部延迟

常见的“4 KiB随机读”与“1 MiB顺序写”对比,同时改变了块大小、访问方式和方向。它们可以作为两类负载画像展示,但不能据此认定某一个变量导致性能变化。

队列深度不是业务连接数

iodepth表示每个任务期望维持的未完成I/O数量,numjobs表示任务数量。在异步引擎能够达到目标深度时,两者相乘可作为配置层面的总未完成请求上限,但实际深度仍要查看fio输出。

一个任务、队列深度32,与32个任务、每个深度1,并不等价。两者的调度开销、访问分布和CPU使用可能不同,因此应拆成两个实验。

使用libaio时,Linux下通常需要直接I/O才能较好地实现异步行为。即便配置了较高深度,也应核对实际深度分布,不能把配置值直接当作已经实现的并发量。

混合负载要分别观察读与写

rw=randrw配合rwmixread=70,表示目标读请求比例为70%,其余为写请求。它不等于业务中70%的事务是读取,更不等于70%的响应时间用于读取。

如果要验证写入干扰,应先建立一组固定参数的混合负载基线,再分别测试90%、70%、50%的读比例。其他参数不变,并分别提取读IOPS、写IOPS、读P99和写P99。

混合负载不能只报告合计IOPS,也不能把读P99与写P99简单平均成一个“总P99”。 分位数不是可以直接相加或平均的数值。

三、控制条件:让测试可复现且不覆盖业务数据

只使用隔离测试文件

以下示例会创建并写入一个8 GiB测试文件,并持续产生磁盘负载。它适用于已确认允许压测的独立测试环境或维护窗口,不应直接用于繁忙生产盘。

执行前应确认:

  1. 业务数据已有可用备份,测试目录内不放业务文件。
  2. 所选挂载点留有足够空间;本例建议至少预留12 GiB可用空间,并同时检查配额及服务商容量限制。
  3. 已确认持续I/O不会影响其他租户、应用或远程存储费用。
  4. 测试目标是普通文件,不能替换成/dev/...裸设备。
  5. 如出现业务延迟、空间告警或异常负载,应停止fio,等待积压I/O排空。

示例通过mktemp创建独立目录,避免复用已有文件。停止测试不会自动撤销已写入的数据;恢复方式是停止负载、确认进程退出后,仅清理本次新建的测试目录。它不涉及磁盘格式化或业务文件修改。

初始化文件,再执行固定基线

# 必须替换为已核验的测试挂载目录
TEST_ROOT=/mnt/testdisk

# 创建独立目录,并确认它位于预期文件系统
TESTDIR=$(mktemp -d "$TEST_ROOT/a5-fio.XXXXXX")
printf '测试目录:%s\n' "$TESTDIR"
findmnt -T "$TESTDIR"
df -h "$TESTDIR"

# 初始化8 GiB测试文件;会产生写入负载
fio --name=prepare \
  --filename="$TESTDIR/testfile.bin" \
  --ioengine=libaio \
  --direct=1 \
  --rw=write \
  --bs=1m \
  --iodepth=16 \
  --numjobs=1 \
  --size=8G \
  --end_fsync=1 \
  --output="$TESTDIR/prepare.txt"

# 建立随机读基线
cat > "$TESTDIR/baseline.fio" <<EOF
[global]
ioengine=libaio
direct=1
filename=$TESTDIR/testfile.bin
size=8G
rw=randread
bs=4k
iodepth=1
numjobs=1
time_based=1
runtime=60
ramp_time=10
randrepeat=1
randseed=2026
group_reporting=1
lat_percentiles=1
percentile_list=50:95:99:99.9
log_avg_msec=1000

[baseline]
EOF

RUN=$(date +%Y%m%d-%H%M%S)
fio "$TESTDIR/baseline.fio" \
  --output-format=json \
  --output="$TESTDIR/baseline-$RUN.json" \
  --write_bw_log="$TESTDIR/baseline-$RUN" \
  --write_iops_log="$TESTDIR/baseline-$RUN"

必须先检查初始化结果中的错误状态,再进入正式测试。end_fsync=1用于初始化结束时发出同步请求,不代表后续每次写入都按同步持久化方式执行。

8 GiB只是便于演示的工作集,不保证能绕过控制器缓存,也不保证覆盖业务数据规模。direct=1通常用于绕过操作系统页缓存,但不会关闭设备缓存、存储后端缓存或所有文件系统机制。

因此,“直接I/O测试”与“完整业务读写测试”不能互相替代。小工作集得到的结果,也不能直接外推到数百GiB数据的长期随机访问。

从同一基线生成单变量测试

例如,只将队列深度从1改成8:

sed 's/^iodepth=1$/iodepth=8/' \
  "$TESTDIR/baseline.fio" > "$TESTDIR/qd8.fio"

RUN=$(date +%Y%m%d-%H%M%S)
fio "$TESTDIR/qd8.fio" \
  --output-format=json \
  --output="$TESTDIR/qd8-$RUN.json" \
  --write_bw_log="$TESTDIR/qd8-$RUN" \
  --write_iops_log="$TESTDIR/qd8-$RUN"

测试随机写时,则从原始基线生成新配置,只替换rw。不要拿已经修改过深度的配置继续改成写入,再将结果与原始随机读基线作单变量解释。

三、控制条件:让测试可复现且不覆盖业务数据/从同一基线生成单变量测试配图

随机写会改变测试文件内容,并可能改变后端存储状态。只读实验与写入实验宜分阶段执行;涉及不同写入模式的比较,应安排一致的预处理和恢复间隔。不能一组刚经历长时间写入,另一组却在长时间空闲后开始。

固定采样时长、重复次数与测试顺序

60秒正式采样可用于初筛,10秒预热也只是示例,不足以证明设备进入稳态。涉及持续写入、突发额度或长期性能时,应根据允许的测试窗口延长观察,避免只测到短时缓存能力。

每个条件至少独立运行3次,保留每次结果,而不是只挑最好的一次。可以采用A—B—A顺序:先测基线A,再测变量B,最后回到A。

如果最后一次A也明显变差,应优先考虑环境漂移、存储状态变化或后台负载,而不是立即把全部差异归因于B。多组条件还可交替或随机安排顺序,降低“后测的一组总是更慢”的顺序偏差。

不要为了“统一缓存”在生产服务器上随意清空系统缓存。冷缓存测试与热缓存测试是两类独立实验,应在可控环境中分别建立基线。

四、观察结果:先看时间序列,再解释延迟变化

同步采集系统状态

fio运行时,可在另一个终端采样:

# 需要系统中已安装sysstat
iostat -x -y 1

# 也可在独立终端观察CPU、内存及系统活动
vmstat 1

重点关注目标设备的吞吐、队列、await和利用率,以及CPU、内存压力、交换活动和虚拟机的CPU争用情况。

iostat的设备级统计与fio的请求级统计,不一定具有相同的聚合边界。设备可能同时承载其他进程的I/O,虚拟磁盘也可能隐藏后端细节。因此,二者适合相互印证,不宜要求数值完全一致。

同样,设备利用率接近100%并不总意味着所有并行处理能力都已耗尽;对某些多队列设备或虚拟存储,单个利用率数字不足以定位瓶颈。

用一组示例理解队列与延迟

下表仅用于演示判断方法,不代表A5IDC或任何香港服务器产品的实测表现。条件为4 KiB随机读、单任务、直接I/O,仅改变队列深度。

队列深度IOPS平均总延迟总延迟P99可作出的判断
110,0000.100 ms0.45 ms低并发基线
838,0000.211 ms0.95 ms并发提升了吞吐,同时增加了等待
3244,0000.727 ms5.80 ms吞吐增幅收窄,尾部延迟明显扩大

从深度8到32,IOPS增加约15.8%,P99却增至原来的约6.1倍。这里不能简单说“深度32性能更好”:对批量任务,更高吞吐可能有价值;对交互业务,明显增加的尾部延迟可能不可接受。

四、观察结果:先看时间序列,再解释延迟变化/用一组示例理解队列与延迟配图

在稳定负载下,平均未完成请求数大致等于IOPS乘以平均停留时间。例如,38,000 IOPS乘以0.000211秒,约为8。这个关系可用于检查数据是否大体合理,但必须统一统计边界,不能用P99替代平均延迟,也不能无条件把配置深度当成实际未完成请求数。

区分四种常见变化

观察到的变化优先验证的解释不应直接得出的判断
IOPS上升,平均和P99延迟也上升更多并发带来了排队与吞吐增益磁盘单次访问变快了
吞吐基本不变,延迟随深度持续上升当前条件下可能接近某个处理或限速边界一定是物理磁盘损坏
平均延迟变化不大,P99明显变差少量长尾、后台活动或短时争用整体请求都按同样幅度变慢
运行开始较快,随后持续下降缓存、突发额度、预处理状态或持续写入影响产品始终具有开头阶段的性能

这些是排查方向,不是仅凭一张表就能确认的原因。尤其是持续写入下降,可能来自多种机制,需要结合产品限制、时间曲线及重复实验判断。

分位数必须保留统计口径

完整运行的P99反映整个统计区间的请求分布,可能掩盖某几秒的严重停顿。反过来,1秒窗口的IOPS下降也不能自动证明该秒P99上升。

上面的命令记录了1秒粒度的带宽和IOPS,但没有记录每秒延迟分布。若需要窗口级P99,可增加fio延迟直方图日志,例如write_hist_log和log_hist_msec=1000,先核验版本支持,再用能识别该版本桶结构的分析工具处理。

多个运行的P99不能直接平均成“全部请求的P99”。可以报告“3次独立运行的P99中位数及范围”,但它描述的是多次运行的稳定性,不是合并样本后的分位数。各秒P99的平均值,同样不等于整场测试P99。

如何判断差异值得关注

没有通用的“延迟增加10%就不合格”规则。应先看基线波动,再看业务允许的变化。

例如,基线3次P99分别为0.42、0.46、0.44 ms,变更后的3次分别为0.80、0.85、0.82 ms,变化明显超出了这几次基线的离散范围,值得进一步验证。若两组都在0.40~0.55 ms之间交错,则不能仅凭一次较小差异宣称升级有效。

三次重复适合初筛,不足以证明严格统计显著性。验收或采购比较应增加独立运行,并检查结果是否在不同时段仍保持同方向变化。

五、让结果对应交付条件,并保留复测边界

磁盘测试怎样用于香港服务器产品比较

比较不同香港服务器配置时,应先确保口径一致:相同系统与文件系统、相同工作集、相同读写模式、相同并发参数,以及相近的后台负载条件。若CPU、内存、存储和套餐限额同时变化,得到的是整套配置的差异,不能称为单独验证了磁盘差异。

交付验收可按实际用途选择指标:

  • 小块随机访问较多的应用,重点比较目标并发下的读写P99,而不是只看高深度IOPS。
  • 文件处理、备份和批量扫描,重点比较持续吞吐及其时间曲线。
  • 混合读写应用,重点观察写入比例增加后,读取尾部延迟是否被明显拉长。
  • 数据库提交、消息持久化等场景,应额外建立同步写入实验,并区分普通写入完成与持久化请求完成。

同步写实验可采用同步I/O引擎并设置每次写入后的同步请求,但它属于新的基线。不能同时改变I/O引擎和同步语义后,又声称只验证了“随机写与随机读”的差别。同步请求是否对应断电后仍可保留的数据,还取决于完整存储链路是否正确实现持久化语义,fio延迟本身不能证明这一点。

成本比较也应绑定这些条件。更高配置若只在远超业务实际并发的队列深度下占优,不一定值得付出额外成本;若在目标负载下能持续满足延迟要求,则具有更直接的选型意义。

围绕数据库、业务后台与接口服务的读写需求,A5数据提供香港物理服务器,涵盖Xeon Gold、AMD EPYC等平台及SSD、NVMe存储配置,结合不同容量的内存,为数据缓存、随机读写和多任务运行提供资源基础。面向文件留存、备份与归档,香港存储系列另有企业级大容量机械硬盘方案;不同套餐配备CN2或国际带宽,兼顾本地数据处理与业务访问的部署需求。

时段、线路与应用验证应分别开展

验证时段差异时,保持实例和测试配置不变,在约定时段重复执行。时段不是可控开关,需要跨多个日期复测,才能减少偶发后台活动的影响。

验证访问线路时,应固定服务器、应用和请求数据,改变客户端位置或网络路径。只要本地fio结果基本稳定,而远端请求变慢,就应继续分析网络与应用链路,不应先调整磁盘参数。

验证应用效果时,则应固定数据集、缓存状态、请求比例和并发。磁盘P99改善但应用响应没有改善,可能意味着主要瓶颈不在存储,也可能是应用访问模式与fio模型不一致。

复测时必须保留什么

一份可复用的结果记录,应至少包含配置文件、fio版本、测试时间、完整JSON、时间序列、系统监控、错误状态、工作集大小、预处理方法和重复次数。写入测试还应注明此前负载及两次测试之间的间隔。

更换实例、调整磁盘容量或规格、迁移存储、更换内核或文件系统、显著提高容量占用率后,都应重新建立基线;原有结果不能自动继承。

最终可引用的表述应类似:“在指定香港服务器、8 GiB工作集、4 KiB随机读、单任务和队列深度8的条件下,记录到对应IOPS与延迟分布。”它不应被扩大成“该产品所有场景都具有相同延迟”,也不能凭短时测试承诺长期稳定性。将条件、原始记录和复测规则一起保留,才能让下一次变化仍有可验证的比较基础。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/3878.html