物理服务器存储I/O块大小如何选择?怎样按读写负载验证效果
物理服务器的存储 I/O 块大小没有适用于所有业务的固定答案。小块随机读写通常应从应用实际发出的 4 KiB、8 KiB 或数据库页大小等候选值开始;大块顺序读写则可测试 64 KiB、128 KiB 等尺寸。最终选择要同时看应用负载下的 IOPS、吞吐量和 p95/p99 延迟,并以业务的延迟与吞吐目标为准,不能只挑峰值最高的一项。
另一个常见误区是把应用请求大小、文件系统块大小、设备扇区大小和 RAID 条带大小当成同一个参数。它们处于存储链路的不同层次,改变其中一项,不代表其他层也随之改变;有些参数甚至需要在创建文件系统或配置阵列时确定,不适合事后直接调整。
一、先区分不同层次的“块大小”
| 层次 | 含义 | 对选择的影响 |
|---|---|---|
| 应用 I/O 大小 | 应用一次提交的读写请求大小,例如 4 KiB 随机读或 128 KiB 顺序写 | 最直接决定基准测试应模拟什么负载 |
| 文件系统块大小 | 文件系统分配或管理数据空间时使用的单位 | 影响空间管理和对齐;不等于应用每次读写的大小 |
| 设备逻辑/物理扇区 | 操作系统看到的逻辑扇区,以及设备实际使用的物理扇区单位 | 未对齐的小写入在部分设备上可能增加内部处理开销 |
| RAID 条带或控制器参数 | 阵列一次分条写入所涉及的数据布局等参数 | 可能影响大块顺序写、跨盘访问及小写入代价 |
| 介质内部单元 | SSD 控制器管理闪存的内部结构 | 通常由控制器处理,不能简单等同于操作系统的 I/O 大小 |
因此,“把服务器磁盘块大小改成 64 KiB”不是一个足够明确的操作目标。要先问清楚:是想改变应用请求大小、文件系统创建参数、阵列条带设置,还是只想验证不同请求尺寸的性能。
二、块大小为什么会改变结果
块大小会影响每秒请求数、传输量和单次请求的等待时间。对于相同带宽,较大的请求往往意味着较少的 I/O 次数;但如果业务只需要读取很小一段数据,大请求也可能多传无用数据,并增加单次请求的完成时间。
可用以下关系检查结果是否合理:
吞吐量 ≈ IOPS × 单次 I/O 大小
例如,4 KiB 请求达到约 70,000 IOPS,对应吞吐量约为 273 MiB/s:70,000 × 4 KiB ÷ 1,048,576 ≈ 273.4 MiB/s。这里的 MiB 按 1,048,576 字节计算。IOPS 与吞吐量不能互相替代:随机小读写常受请求处理能力影响,顺序大读写则更容易受带宽上限影响。
请求大小之外,以下因素也会改变测试结果:
- 并发与队列深度: 相同队列深度下,块越大,设备同时处理的在途数据量越多。例如 16 个 4 KiB 请求约为 64 KiB 在途数据,16 个 128 KiB 请求则约为 2 MiB。不能只固定队列深度,就认为不同块大小承受了相同压力。
- 读写比例与访问模式: 随机读、随机写、顺序读、顺序写以及混合读写应分开观察。数据库页、日志和备份文件的访问方式可能差别很大。
- 同步与持久化要求: 是否等待写入落盘、是否使用
fsync等行为,会显著影响写入延迟。测试若未模拟应用的持久化要求,结果不一定能代表真实业务。 - 文件系统、阵列和控制器: 缓存策略、对齐、RAID 配置和设备固件都可能影响性能;在单盘上的结果不能直接推断整套阵列的表现。
三、按负载挑选候选值
下表中的尺寸是测试起点,不是固定配置建议。优先采用应用自身的请求大小;只有应用请求确实能够调整时,才考虑把测试中表现较好的尺寸用于业务配置。
| 负载类型 | 建议测试的起点 | 重点观察 |
|---|---|---|
| 小块随机读写,如索引或虚拟机随机访问 | 4 KiB、8 KiB,以及应用实际请求大小 | IOPS、p99 延迟、写入延迟 |
| 数据库页读写 | 对照数据库的页大小与实际读写方式 | 应用延迟、读写比例、同步写影响 |
| 大文件顺序读取或写入 | 64 KiB、128 KiB,可按应用缓冲区继续测试 | 吞吐量、CPU 占用、持续写入表现 |
| 读写混合负载 | 采用生产环境观察到的读写比例和请求大小 | p95/p99 延迟、吞吐量以及尾延迟是否恶化 |
| 小文件与元数据操作 | 先保留应用和文件系统的实际行为 | 元数据访问延迟、IOPS;不要仅用大块顺序测试代替 |
如果数据库页大小是 8 KiB,而应用请求也主要是 8 KiB,单独把存储基准中的块大小改成 128 KiB,并不能证明数据库会变快。反过来,大文件顺序备份若受吞吐量限制,只有 4 KiB 随机测试也无法说明 128 KiB 写入是否合适。
四、用实际负载验证,而不是只看峰值
1. 先记录业务当前的 I/O 特征
在 Linux 上可使用 iostat 查看设备层面的请求量、吞吐量、等待时间和队列情况:
iostat -x 1
重点关注读写 IOPS、读写吞吐量、await 和队列深度等字段;字段名称会随 sysstat 版本略有差异。若设备同时经过逻辑卷、软件 RAID 或硬件阵列,应确认观察的是哪一层,避免重复计数或只看到了虚拟设备。
可粗略用读吞吐量除以读 IOPS,估算平均读请求大小;写请求也可用同样方法估算。这个平均值只能描述观察窗口内的整体情况,无法单独区分随机与顺序访问,也可能掩盖不同应用之间的差异。
确认测试目录实际位于预期文件系统和设备上,可以先检查挂载关系与设备信息:
findmnt -T /mnt/bench
lsblk -o NAME,TYPE,LOG-SEC,PHY-SEC,MIN-IO,OPT-IO,MOUNTPOINTS
2. 在专用测试文件上比较请求大小
下面是 Linux 下用 fio 进行顺序写和随机读的示例。请先确认 /mnt/bench 是专用测试卷或允许承受测试负载的位置,并将文件名换成一个尚不存在的专用测试文件。--size=8G 需按可用空间和测试目标调整;写测试会实际写入该文件,可能占用空间、影响同一设备上的业务并增加 SSD 写入量。
fio --name=seqwrite-128k \
--filename=/mnt/bench/fio-test-unique.bin \
--size=8G --rw=write --bs=128k \
--ioengine=libaio --direct=1 \
--iodepth=16 --numjobs=1 \
--runtime=90 --time_based \
--percentile_list=95:99:99.9 \
--group_reporting
完成写入后,可在同一个测试文件上运行随机读;测试其他请求大小时,替换 --bs 的值,例如 4k、8k、16k 或 64k。
fio --name=randread-4k \
--filename=/mnt/bench/fio-test-unique.bin \
--size=8G --rw=randread --bs=4k \
--ioengine=libaio --direct=1 \
--iodepth=16 --numjobs=1 \
--runtime=90 --time_based \
--percentile_list=95:99:99.9 \
--group_reporting
--direct=1 通常用于绕过操作系统页缓存,但不代表绕过控制器缓存,也不等同于所有应用的访问方式。若业务使用缓存 I/O、同步写或不同并发,应另行模拟对应条件。libaio 若不可用,可先确认当前 fio 构建支持的 I/O 引擎,不要把换成缓存模式后的结果当成同一组测试。
严禁将测试文件路径改成业务文件或原始块设备路径。测试目录必须有足够空间,且不能与生产负载争抢资源;在生产设备上执行写测试前,应先评估影响并安排合适窗口。测试后确认目标文件确为专用测试文件,再按本机存储管理流程清理;不要直接对设备执行覆盖操作。
3. 用一致的条件比较结果
每轮测试应记录请求大小、读写类型、读写比例、队列深度、作业数、测试时长和文件系统位置。比较不同块大小时,先使用贴近业务的并发设置,再视需要测试不同队列深度;只用一个固定队列深度,可能因为在途数据量不同而造成偏差。
建议至少重复测试三轮,观察各轮差异,并同时记录:
- IOPS: 判断随机小请求的处理能力。
- 吞吐量: 判断顺序读写或大规模传输是否达到业务目标。
- p95/p99 延迟: 判断慢请求是否影响应用体验;平均延迟不能代替尾延迟。
以下是用于说明判断方法的假设结果,并非特定设备的实测数据:

| 请求大小 | 随机读 IOPS | 吞吐量 | p99 延迟 |
|---|---|---|---|
| 4 KiB | 68,000 | 约 266 MiB/s | 约 2.1 ms |
| 16 KiB | 35,000 | 约 547 MiB/s | 约 3.6 ms |
| 64 KiB | 12,000 | 约 750 MiB/s | 约 8.4 ms |
若应用以小块随机访问为主,且 p99 延迟是主要目标,4 KiB 的结果可能更合适;若任务关注传输总量,较大的请求可能更有价值。但这组数据不能用于推断另一台服务器或另一种访问模式。应先检查候选值是否满足业务延迟目标,再看吞吐量或 IOPS 是否有足够收益,同时确认关键指标没有不可接受的退化。若各轮波动已接近候选方案之间的差距,测试结果不足以支持调整。
五、结果的适用边界
基准测试里的 --bs 只改变测试程序提交的请求大小,不会自动修改文件系统、设备扇区、RAID 条带或应用参数。要让配置产生实际影响,必须确认应用本身能够使用相应请求大小,并评估该设置是否会影响其他工作负载。
此外,测试结果受缓存、队列深度、设备温度、后台任务和并发业务影响。短时间峰值不等于长期稳定吞吐;单独测顺序读也不能代表混合读写或同步写。文件系统块大小和阵列参数有各自的适用条件,不应仅凭一轮 IOPS 测试贸然更改,某些参数还涉及重新创建文件系统或调整阵列布局。
可执行的判断路径是:先采集业务真实 I/O 尺寸与读写模式,再用专用测试文件按相同负载比较候选值,最后以业务的吞吐目标和 p95/p99 延迟门槛验收。若测试负载与生产请求不一致,或延迟、IOPS、吞吐量的变化无法稳定复现,就应把结果视为参考,而不是直接调整线上配置。
围绕数据库、业务后台及大容量文件等不同存储负载,A5数据提供多地区物理服务器方案,存储配置涵盖SSD、NVMe和企业级机械硬盘。香港、美国等地区的部分机型配备NVMe存储;香港存储系列提供四块14TB企业级硬盘,日本部分CTG方案则提供多块HDD或SSD,可用于文件存储、备份与归档等场景。不同存储形态与CPU、内存资源组合,为多样化的业务I/O需求提供硬件基础。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5317.html