测试香港服务器磁盘性能,如何控制读写模式并判断延迟变化?
把随机读改成顺序写、把队列深度从1提高到32,同时换到另一台香港服务器,即使测试结果明显变快,也无法判断究竟是磁盘介质、读写模式,还是并发程度造成了差异。磁盘性能测试的首要任务不是跑出一个较大的数字,而是让每一次比较都有明确的解释对象。
要控制读写模式,应分别固定访问方式、读写比例、块大小、队列深度和任务数;要判断延迟变化,应同时观察IOPS、吞吐量、平均延迟与P95、P99等尾部延迟,并把测试时间窗口与系统监控对齐。以下以Linux香港服务器上的fio测试为例,先建立基线,再一次只改变一个关键变量,不预设任何产品的实测结论。
一、建立基线:先明确测的是哪一层性能
本地磁盘延迟与访问香港服务器的网络延迟要分开
在香港服务器内部运行fio,测试的是操作系统、文件系统、虚拟磁盘及其后端存储共同形成的I/O路径。SSH连接只是用于下发命令;只要fio在服务器本地执行、结果写到本地文件,终端响应快慢通常不会改变磁盘测试结果。
从其他地区发起网站请求,测到的则是网络往返、服务排队、应用处理和存储访问共同形成的响应时间。跨区域访问变慢,不能直接归因于香港服务器磁盘变慢。
两者可分别建立基线:
| 测试对象 | 主要指标 | 应固定的条件 | 可以回答的问题 |
|---|---|---|---|
| 服务器本地文件I/O | IOPS、吞吐量、I/O延迟分位数 | 测试目录、文件系统、读写模式、并发参数 | 当前存储路径在指定负载下表现如何 |
| 应用访问存储 | 请求延迟、事务吞吐、同步提交耗时 | 应用版本、数据集、缓存状态、请求比例 | 存储变化是否影响业务 |
| 跨区域访问应用 | 网络往返、请求总耗时、错误率 | 请求内容、客户端位置、并发量、应用状态 | 线路与服务共同作用下的访问体验 |
如果服务器挂载的是远程存储,网络也可能属于存储路径的一部分。但它与用户访问网站的公网线路不是同一个变量,应分别记录。
基线要包含环境,而不只是一个fio分数
测试前应记录操作系统、内核、fio版本、CPU和内存配置,以及测试文件所在的挂载点、文件系统、容量占用和磁盘类型。对于云服务器或虚拟化服务器,还应核对套餐是否存在IOPS、吞吐量或突发性能限制。
在Linux环境中,可先运行以下只读检查:
uname -r
fio --version
lsblk -o NAME,TYPE,SIZE,FSTYPE,MOUNTPOINT
findmnt -T /mnt/testdisk
df -h /mnt/testdisk
其中,/mnt/testdisk是示例路径,必须替换为实际用于测试的挂载目录。fio --version应确认调用的是磁盘测试工具fio,而不是同名程序。本文命令面向支持相应选项的fio 3.x及Linux libaio环境;若工具缺失或选项不被识别,应先按实际发行版核验,不要直接沿用其他系统的安装方式。
虚拟机显示的设备名称、型号或旋转属性,不一定等于底层物理介质。判断产品配置时,应以交付说明和实际可验证的限额为准,不能仅凭设备名认定其使用某种存储介质。
先定义观察指标
磁盘性能必须写成“某种负载条件下的性能”,不能脱离块大小、并发和读写模式单独引用IOPS或延迟。
| 指标 | 含义 | 判断时的注意事项 |
|---|---|---|
| IOPS | 每秒完成的I/O次数 | 必须同时标明块大小、读写方向和并发条件 |
| 吞吐量 | 每秒传输的数据量 | 顺序大块I/O更适合用它比较 |
| 平均延迟 | 所有请求延迟的平均水平 | 可能掩盖少量但严重的慢请求 |
| P95、P99延迟 | 约95%、99%的请求不超过的延迟 | 适合观察尾部抖动,但需要足够样本 |
| 时间序列 | 各采样窗口内的性能变化 | 用于识别周期性下降、突发耗尽和短时停顿 |
| 错误与超时 | 请求是否正常完成 | 有错误时,不能只比较成功请求的速度 |
fio中的slat是提交延迟,clat是完成延迟,lat是总延迟。报告时必须写清楚使用哪一项。对异步I/O而言,clat包含请求提交后的排队与完成过程,并不等于物理介质内部的服务时间。
单位也要统一。本文块大小采用KiB、MiB口径:1 MiB=1024 KiB,1 KiB=1024字节。例如,4 KiB请求达到10,000 IOPS时,吞吐量约为39.1 MiB/s;不能把它直接写成10,000 MB/s,也不能将MB/s与网络带宽的Mb/s混用。
二、选择变量:一次只改变一个读写条件
先选一个可重复的起点
用于比较低并发随机读取的示例基线,可以设为:
- 随机读:
rw=randread。 - 块大小:
bs=4k。 - 队列深度:
iodepth=1。 - 任务数:
numjobs=1。 - 直接I/O:
direct=1。 - 计入结果的运行时间:60秒。
- 预热时间:10秒,不计入正式统计。
这套参数不是所有业务的代表,也不是磁盘能力上限。它主要回答:单任务、低队列深度、4 KiB随机读取时,请求延迟处于什么水平。
读写模式的后续实验应从同一基线分支出来,而不是不断叠加修改:
| 实验 | 相对基线只改变什么 | 主要观察项 |
|---|---|---|
| 随机读改随机写 | rw=randread改为randwrite | 写入IOPS、写入延迟、持续写入后的变化 |
| 随机读改顺序读 | rw=randread改为read | 访问顺序带来的差异 |
| 4 KiB改64 KiB | 只改bs | IOPS下降与吞吐增加是否同时发生 |
| 队列深度1改8或32 | 只改iodepth | 吞吐增加是否伴随排队延迟增加 |
| 单任务改多任务 | 只改numjobs | 并发任务对总体性能和公平性的影响 |
| 混合读写比例变化 | 固定rw=randrw,只改rwmixread | 读写相互影响与各自尾部延迟 |
常见的“4 KiB随机读”与“1 MiB顺序写”对比,同时改变了块大小、访问方式和方向。它们可以作为两类负载画像展示,但不能据此认定某一个变量导致性能变化。
队列深度不是业务连接数
iodepth表示每个任务期望维持的未完成I/O数量,numjobs表示任务数量。在异步引擎能够达到目标深度时,两者相乘可作为配置层面的总未完成请求上限,但实际深度仍要查看fio输出。
一个任务、队列深度32,与32个任务、每个深度1,并不等价。两者的调度开销、访问分布和CPU使用可能不同,因此应拆成两个实验。
使用libaio时,Linux下通常需要直接I/O才能较好地实现异步行为。即便配置了较高深度,也应核对实际深度分布,不能把配置值直接当作已经实现的并发量。
混合负载要分别观察读与写
rw=randrw配合rwmixread=70,表示目标读请求比例为70%,其余为写请求。它不等于业务中70%的事务是读取,更不等于70%的响应时间用于读取。
如果要验证写入干扰,应先建立一组固定参数的混合负载基线,再分别测试90%、70%、50%的读比例。其他参数不变,并分别提取读IOPS、写IOPS、读P99和写P99。
混合负载不能只报告合计IOPS,也不能把读P99与写P99简单平均成一个“总P99”。 分位数不是可以直接相加或平均的数值。
三、控制条件:让测试可复现且不覆盖业务数据
只使用隔离测试文件
以下示例会创建并写入一个8 GiB测试文件,并持续产生磁盘负载。它适用于已确认允许压测的独立测试环境或维护窗口,不应直接用于繁忙生产盘。
执行前应确认:
- 业务数据已有可用备份,测试目录内不放业务文件。
- 所选挂载点留有足够空间;本例建议至少预留12 GiB可用空间,并同时检查配额及服务商容量限制。
- 已确认持续I/O不会影响其他租户、应用或远程存储费用。
- 测试目标是普通文件,不能替换成
/dev/...裸设备。 - 如出现业务延迟、空间告警或异常负载,应停止fio,等待积压I/O排空。
示例通过mktemp创建独立目录,避免复用已有文件。停止测试不会自动撤销已写入的数据;恢复方式是停止负载、确认进程退出后,仅清理本次新建的测试目录。它不涉及磁盘格式化或业务文件修改。
初始化文件,再执行固定基线
# 必须替换为已核验的测试挂载目录
TEST_ROOT=/mnt/testdisk
# 创建独立目录,并确认它位于预期文件系统
TESTDIR=$(mktemp -d "$TEST_ROOT/a5-fio.XXXXXX")
printf '测试目录:%s\n' "$TESTDIR"
findmnt -T "$TESTDIR"
df -h "$TESTDIR"
# 初始化8 GiB测试文件;会产生写入负载
fio --name=prepare \
--filename="$TESTDIR/testfile.bin" \
--ioengine=libaio \
--direct=1 \
--rw=write \
--bs=1m \
--iodepth=16 \
--numjobs=1 \
--size=8G \
--end_fsync=1 \
--output="$TESTDIR/prepare.txt"
# 建立随机读基线
cat > "$TESTDIR/baseline.fio" <<EOF
[global]
ioengine=libaio
direct=1
filename=$TESTDIR/testfile.bin
size=8G
rw=randread
bs=4k
iodepth=1
numjobs=1
time_based=1
runtime=60
ramp_time=10
randrepeat=1
randseed=2026
group_reporting=1
lat_percentiles=1
percentile_list=50:95:99:99.9
log_avg_msec=1000
[baseline]
EOF
RUN=$(date +%Y%m%d-%H%M%S)
fio "$TESTDIR/baseline.fio" \
--output-format=json \
--output="$TESTDIR/baseline-$RUN.json" \
--write_bw_log="$TESTDIR/baseline-$RUN" \
--write_iops_log="$TESTDIR/baseline-$RUN"
必须先检查初始化结果中的错误状态,再进入正式测试。end_fsync=1用于初始化结束时发出同步请求,不代表后续每次写入都按同步持久化方式执行。
8 GiB只是便于演示的工作集,不保证能绕过控制器缓存,也不保证覆盖业务数据规模。direct=1通常用于绕过操作系统页缓存,但不会关闭设备缓存、存储后端缓存或所有文件系统机制。
因此,“直接I/O测试”与“完整业务读写测试”不能互相替代。小工作集得到的结果,也不能直接外推到数百GiB数据的长期随机访问。
从同一基线生成单变量测试
例如,只将队列深度从1改成8:
sed 's/^iodepth=1$/iodepth=8/' \
"$TESTDIR/baseline.fio" > "$TESTDIR/qd8.fio"
RUN=$(date +%Y%m%d-%H%M%S)
fio "$TESTDIR/qd8.fio" \
--output-format=json \
--output="$TESTDIR/qd8-$RUN.json" \
--write_bw_log="$TESTDIR/qd8-$RUN" \
--write_iops_log="$TESTDIR/qd8-$RUN"
测试随机写时,则从原始基线生成新配置,只替换rw。不要拿已经修改过深度的配置继续改成写入,再将结果与原始随机读基线作单变量解释。

随机写会改变测试文件内容,并可能改变后端存储状态。只读实验与写入实验宜分阶段执行;涉及不同写入模式的比较,应安排一致的预处理和恢复间隔。不能一组刚经历长时间写入,另一组却在长时间空闲后开始。
固定采样时长、重复次数与测试顺序
60秒正式采样可用于初筛,10秒预热也只是示例,不足以证明设备进入稳态。涉及持续写入、突发额度或长期性能时,应根据允许的测试窗口延长观察,避免只测到短时缓存能力。
每个条件至少独立运行3次,保留每次结果,而不是只挑最好的一次。可以采用A—B—A顺序:先测基线A,再测变量B,最后回到A。
如果最后一次A也明显变差,应优先考虑环境漂移、存储状态变化或后台负载,而不是立即把全部差异归因于B。多组条件还可交替或随机安排顺序,降低“后测的一组总是更慢”的顺序偏差。
不要为了“统一缓存”在生产服务器上随意清空系统缓存。冷缓存测试与热缓存测试是两类独立实验,应在可控环境中分别建立基线。
四、观察结果:先看时间序列,再解释延迟变化
同步采集系统状态
fio运行时,可在另一个终端采样:
# 需要系统中已安装sysstat
iostat -x -y 1
# 也可在独立终端观察CPU、内存及系统活动
vmstat 1
重点关注目标设备的吞吐、队列、await和利用率,以及CPU、内存压力、交换活动和虚拟机的CPU争用情况。
iostat的设备级统计与fio的请求级统计,不一定具有相同的聚合边界。设备可能同时承载其他进程的I/O,虚拟磁盘也可能隐藏后端细节。因此,二者适合相互印证,不宜要求数值完全一致。
同样,设备利用率接近100%并不总意味着所有并行处理能力都已耗尽;对某些多队列设备或虚拟存储,单个利用率数字不足以定位瓶颈。
用一组示例理解队列与延迟
下表仅用于演示判断方法,不代表A5IDC或任何香港服务器产品的实测表现。条件为4 KiB随机读、单任务、直接I/O,仅改变队列深度。
| 队列深度 | IOPS | 平均总延迟 | 总延迟P99 | 可作出的判断 |
|---|---|---|---|---|
| 1 | 10,000 | 0.100 ms | 0.45 ms | 低并发基线 |
| 8 | 38,000 | 0.211 ms | 0.95 ms | 并发提升了吞吐,同时增加了等待 |
| 32 | 44,000 | 0.727 ms | 5.80 ms | 吞吐增幅收窄,尾部延迟明显扩大 |
从深度8到32,IOPS增加约15.8%,P99却增至原来的约6.1倍。这里不能简单说“深度32性能更好”:对批量任务,更高吞吐可能有价值;对交互业务,明显增加的尾部延迟可能不可接受。

在稳定负载下,平均未完成请求数大致等于IOPS乘以平均停留时间。例如,38,000 IOPS乘以0.000211秒,约为8。这个关系可用于检查数据是否大体合理,但必须统一统计边界,不能用P99替代平均延迟,也不能无条件把配置深度当成实际未完成请求数。
区分四种常见变化
| 观察到的变化 | 优先验证的解释 | 不应直接得出的判断 |
|---|---|---|
| IOPS上升,平均和P99延迟也上升 | 更多并发带来了排队与吞吐增益 | 磁盘单次访问变快了 |
| 吞吐基本不变,延迟随深度持续上升 | 当前条件下可能接近某个处理或限速边界 | 一定是物理磁盘损坏 |
| 平均延迟变化不大,P99明显变差 | 少量长尾、后台活动或短时争用 | 整体请求都按同样幅度变慢 |
| 运行开始较快,随后持续下降 | 缓存、突发额度、预处理状态或持续写入影响 | 产品始终具有开头阶段的性能 |
这些是排查方向,不是仅凭一张表就能确认的原因。尤其是持续写入下降,可能来自多种机制,需要结合产品限制、时间曲线及重复实验判断。
分位数必须保留统计口径
完整运行的P99反映整个统计区间的请求分布,可能掩盖某几秒的严重停顿。反过来,1秒窗口的IOPS下降也不能自动证明该秒P99上升。
上面的命令记录了1秒粒度的带宽和IOPS,但没有记录每秒延迟分布。若需要窗口级P99,可增加fio延迟直方图日志,例如write_hist_log和log_hist_msec=1000,先核验版本支持,再用能识别该版本桶结构的分析工具处理。
多个运行的P99不能直接平均成“全部请求的P99”。可以报告“3次独立运行的P99中位数及范围”,但它描述的是多次运行的稳定性,不是合并样本后的分位数。各秒P99的平均值,同样不等于整场测试P99。
如何判断差异值得关注
没有通用的“延迟增加10%就不合格”规则。应先看基线波动,再看业务允许的变化。
例如,基线3次P99分别为0.42、0.46、0.44 ms,变更后的3次分别为0.80、0.85、0.82 ms,变化明显超出了这几次基线的离散范围,值得进一步验证。若两组都在0.40~0.55 ms之间交错,则不能仅凭一次较小差异宣称升级有效。
三次重复适合初筛,不足以证明严格统计显著性。验收或采购比较应增加独立运行,并检查结果是否在不同时段仍保持同方向变化。
五、让结果对应交付条件,并保留复测边界
磁盘测试怎样用于香港服务器产品比较
比较不同香港服务器配置时,应先确保口径一致:相同系统与文件系统、相同工作集、相同读写模式、相同并发参数,以及相近的后台负载条件。若CPU、内存、存储和套餐限额同时变化,得到的是整套配置的差异,不能称为单独验证了磁盘差异。
交付验收可按实际用途选择指标:
- 小块随机访问较多的应用,重点比较目标并发下的读写P99,而不是只看高深度IOPS。
- 文件处理、备份和批量扫描,重点比较持续吞吐及其时间曲线。
- 混合读写应用,重点观察写入比例增加后,读取尾部延迟是否被明显拉长。
- 数据库提交、消息持久化等场景,应额外建立同步写入实验,并区分普通写入完成与持久化请求完成。
同步写实验可采用同步I/O引擎并设置每次写入后的同步请求,但它属于新的基线。不能同时改变I/O引擎和同步语义后,又声称只验证了“随机写与随机读”的差别。同步请求是否对应断电后仍可保留的数据,还取决于完整存储链路是否正确实现持久化语义,fio延迟本身不能证明这一点。
成本比较也应绑定这些条件。更高配置若只在远超业务实际并发的队列深度下占优,不一定值得付出额外成本;若在目标负载下能持续满足延迟要求,则具有更直接的选型意义。
围绕数据库、业务后台与接口服务的读写需求,A5数据提供香港物理服务器,涵盖Xeon Gold、AMD EPYC等平台及SSD、NVMe存储配置,结合不同容量的内存,为数据缓存、随机读写和多任务运行提供资源基础。面向文件留存、备份与归档,香港存储系列另有企业级大容量机械硬盘方案;不同套餐配备CN2或国际带宽,兼顾本地数据处理与业务访问的部署需求。
时段、线路与应用验证应分别开展
验证时段差异时,保持实例和测试配置不变,在约定时段重复执行。时段不是可控开关,需要跨多个日期复测,才能减少偶发后台活动的影响。
验证访问线路时,应固定服务器、应用和请求数据,改变客户端位置或网络路径。只要本地fio结果基本稳定,而远端请求变慢,就应继续分析网络与应用链路,不应先调整磁盘参数。
验证应用效果时,则应固定数据集、缓存状态、请求比例和并发。磁盘P99改善但应用响应没有改善,可能意味着主要瓶颈不在存储,也可能是应用访问模式与fio模型不一致。
复测时必须保留什么
一份可复用的结果记录,应至少包含配置文件、fio版本、测试时间、完整JSON、时间序列、系统监控、错误状态、工作集大小、预处理方法和重复次数。写入测试还应注明此前负载及两次测试之间的间隔。
更换实例、调整磁盘容量或规格、迁移存储、更换内核或文件系统、显著提高容量占用率后,都应重新建立基线;原有结果不能自动继承。
最终可引用的表述应类似:“在指定香港服务器、8 GiB工作集、4 KiB随机读、单任务和队列深度8的条件下,记录到对应IOPS与延迟分布。”它不应被扩大成“该产品所有场景都具有相同延迟”,也不能凭短时测试承诺长期稳定性。将条件、原始记录和复测规则一起保留,才能让下一次变化仍有可验证的比较基础。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/3878.html