物理服务器RAID写惩罚是什么?不同阵列如何影响随机写入
同样是六块硬盘,RAID 5 的可用容量比 RAID 10 大,随机写入却可能更慢。原因不只是“校验计算耗 CPU”:一次小块覆写在 RAID 5 中通常还要读取旧数据和旧校验,再写入新数据与新校验。前台看起来只有一次写入,阵列内部却可能发生四次磁盘 I/O,这就是常说的 RAID 写惩罚。
写惩罚描述的是一次逻辑写入引发多少次底层磁盘读写,不是“写入速度必定下降几倍”。对于典型的小块、未命中缓存的覆写,RAID 0 约为 1 次、双副本 RAID 1 和 RAID 10 约为 2 次、RAID 5 约为 4 次、RAID 6 约为 6 次磁盘 I/O。它适合解释随机写入的性能差异,但实际结果还取决于写入大小、缓存、硬盘类型和队列延迟。
先界定:哪些写入会遇到写惩罚
讨论 RAID 写惩罚时,关键是区分服务器向阵列发出的逻辑写入,以及阵列对成员盘执行的物理读写。例如,数据库更新一个 4 KiB 数据页,应用侧只看到一次写请求;阵列若需要同步更新校验信息,成员盘承担的操作就不止一次。
这里的“4 次”或“6 次”,主要针对未被缓存合并的小块覆写。它不能直接套用到所有写入:
- 连续、大块且覆盖完整条带的写入,可以直接计算并写入新数据和校验,通常不必先读取旧数据与旧校验。
- 写入被控制器缓存暂存、合并后,前台观察到的延迟可能低于成员盘当时完成全部操作所需的时间。
- 一次文件写入可能伴随文件系统元数据、日志或写时复制操作;应用写入量与 RAID 收到的逻辑写入量未必相同。
因此,“RAID 5 写惩罚为 4”是一个有明确场景的 I/O 计数模型,不是 RAID 5 的固定性能倍率。
小块覆写为什么会放大磁盘 I/O
以 RAID 5 为例,一个条带包含数据块和一个校验块。若只改动其中一个数据块,控制器可以采用常见的“读—改—写”方式:读取旧数据、读取旧校验,根据新旧数据的差异生成新校验,然后写入新数据和新校验。结果是 2 次读、2 次写,共 4 次成员盘 I/O。
RAID 6 需要维护两组校验信息。以同类小块覆写的典型路径计算,需要读取旧数据及两组旧校验,再写入新数据和两组新校验,即 3 次读、3 次写,共 6 次成员盘 I/O。控制器也可能选择读取条带内其他数据、重新计算校验;具体路径会随条带宽度、写入形态和实现而变,但“小块覆写需要额外操作”这一点不会消失。
镜像阵列的机制不同。双副本 RAID 1 将新数据分别写入两块成员盘,通常不需要为了更新校验而读取旧内容;RAID 10 也是写入目标镜像组的两份副本。RAID 0 则只向对应成员盘写入数据,不过它没有冗余,不能因为写入开销较低就把它视作需要容错业务的替代方案。
| 阵列 | 典型小块覆写的成员盘 I/O | 六块等容量盘时的可用容量示意 | 随机写入判断 |
|---|---|---|---|
| RAID 0 | 约 1 次写 | 约 6 块盘容量 | 无冗余;仅比较 I/O 开销时较低 |
| RAID 10 | 约 2 次写 | 约 3 块盘容量 | 写入分散到镜像组,适合关注写延迟的场景 |
| RAID 5 | 约 2 次读+2 次写 | 约 5 块盘容量 | 小块覆写有校验更新开销 |
| RAID 6 | 约 3 次读+3 次写 | 约 4 块盘容量 | 多一组校验,小块覆写开销通常更高 |
表中的 RAID 10、RAID 5 和 RAID 6 使用相同的六盘数量,便于观察容量与写入开销的取舍;RAID 1 若为双盘双副本,典型写入同样约为 2 次成员盘写操作,但不能直接拿它的总吞吐量与六盘阵列比较。
完整条带写入是一个重要例外。六盘 RAID 5 的一个条带可写入五个数据块及一个校验块,相当于每五个逻辑数据块产生六个成员盘写操作;六盘 RAID 6 则是每四个数据块加两个校验块。它们与“每个小块覆写分别执行 4 次或 6 次 I/O”不是同一种工作负载。这也解释了为什么同一组阵列在顺序写测试中表现尚可,到了数据库随机更新时却出现明显差异。

针对数据库、业务后台及文件存储等对随机写入和持续 I/O 有要求的场景,A5数据提供香港、美国、日本等地区的物理服务器资源,覆盖 Xeon、AMD EPYC、SSD、NVMe 及大容量企业级硬盘方案。部分存储型配置搭配 H730 控制器,结合不同磁盘组合承载数据存储、备份与归档业务;NVMe 服务器则可作为高频读写和多任务运行的硬件基础,为 RAID 阵列部署提供从计算、内存到本地存储的资源选择。
真正决定结果的几个指标
第一是随机写入占比和写入颗粒度。 日志顺序追加、批量备份与大量 4 KiB、8 KiB 数据页更新,对阵列的压力不同。即使应用报告的平均写入大小相同,写入位置是否集中、是否跨越条带边界,也会影响缓存合并和校验更新的机会。判断阵列前,应先确认业务高峰期有多少写入是小块、离散的覆写。
第二是成员盘可持续 IOPS,而不只是接口速率。 用一个简化例子看量级:六块盘每块可持续处理约 150 次随机 I/O/秒,合计约 900 次成员盘 I/O/秒。按前述写惩罚粗略相除,RAID 10、RAID 5、RAID 6 分别得到约 450、225、150 次逻辑随机写入/秒。这个计算适合做初筛,不能作为交付性能:读与写的耗时不同,成员盘不一定均匀受压,队列竞争、控制器和业务混合负载也没有包含在内。对 SSD 阵列同样应使用其实际可持续能力,而不是把标称峰值 IOPS 直接代入。
第三是延迟,尤其是高峰期尾部延迟。 两套阵列都完成了每秒 500 次写入,不代表业务体验一样。如果其中一套阵列的写入长时间排队,数据库提交或请求响应仍可能变慢。吞吐达到平台上限后,增加并发常常先推高延迟,而不是线性提高 IOPS。因此要同时看业务侧写入 IOPS、平均延迟和 P99 延迟,并对照业务允许的延迟范围。
第四是缓存能否安全、持续地发挥作用。 带有受保护写缓存的控制器,可以先接收写入,再安排合并和落盘;这可能降低前台延迟,也可能改善部分随机写入的成员盘利用率。但应核对缓存保护状态、写策略以及业务是否要求写入确认后具备持久性。不能为了让测试数字好看,就在缺乏掉电保护时启用不安全的回写策略。短时间突发写入被缓存吸收,也不代表长期写入能力提高了。
第五是阵列所处状态。 重建、巡检及成员盘异常会与业务争用磁盘和控制器资源。正常状态下测得的随机写入能力,不能直接代表降级或重建期间的能力。若业务在这段时间也必须维持明确的延迟目标,就应把降级状态纳入容量余量和测试计划。
怎样把计算模型变成可验证的判断
先从业务监控中确定目标,而不是先跑一个孤立的跑分。至少记录高峰期的随机写入 IOPS、读写比例、主要请求大小,以及业务能接受的写入延迟。例如,业务需要持续完成每秒 800 次 4 KiB 随机写入,并要求写入 P99 延迟不超过 20 毫秒,这比“希望磁盘很快”更适合作为验收条件。这里的 800 次乘以 4 KiB,只相当于每秒 3200 KiB 的逻辑数据量;吞吐量数字不大,不代表随机 I/O 压力小。
接着在相同成员盘数量、盘型、控制器和测试条件下比较阵列。可按以下顺序核对:
- 确认阵列级别、条带单元大小、缓存及掉电保护状态,同时记录阵列是否正常、是否正在重建。
- 使用与业务接近的请求大小、读写比例和并发度,分别观察稳定运行阶段的 IOPS、平均延迟、P99 延迟;不要只取启动后的短时峰值。
- 对照成员盘的读写 IOPS、忙碌程度及控制器缓存状态。如果前台写入量不高,成员盘却已持续繁忙,或写入延迟随并发快速上升,就要检查校验更新和排队是否已成为限制。
- 若业务要求重建期间维持服务,再在可控环境中评估重建影响;不要在生产阵列上为测试而主动制造磁盘故障。
需要自行生成测试负载时,应只对已备份、可丢弃数据的独立测试卷操作。随机写测试会创建并覆写测试文件,占用空间和写入寿命;路径选错则可能覆盖已有文件。生产业务卷应优先用现有监控判断,确需压测时安排维护窗口,并确认恢复方式。
Linux 环境中,确认测试目录已位于目标测试卷、目录内不存在同名文件且空间充足后,可用 fio 做一个初步对照:
fio --name=raid-randwrite \
--filename=/mnt/raid-test/raid-randwrite.bin \
--size=4G \
--rw=randwrite \
--bs=4k \
--ioengine=libaio \
--direct=1 \
--iodepth=16 \
--numjobs=1 \
--ramp_time=10 \
--runtime=120 \
--time_based \
--end_fsync=1 \
--group_reporting
这组参数用于观察 4 KiB、队列深度 16 下的随机写入表现,不是所有业务的通用基准。direct=1 主要绕过操作系统页缓存,不等于绕过 RAID 控制器缓存;end_fsync=1 也不等于每次写入都同步提交。若业务逐笔要求持久化,应另设与其同步语义一致的测试,而不能用上述结果代替。测试前核对挂载点和文件名;若同名文件已存在,不要执行。测试后确认数据不再需要,再按测试卷的数据管理流程清理;若误写了已有数据,应停止操作并从事先准备的备份恢复。

比较结果时,重点不是要求实测 IOPS 严格等于“总盘 IOPS ÷ 写惩罚”。更有用的判断是:在相同负载下,哪种阵列能持续满足目标 IOPS,同时让 P99 延迟留有余量;当测试时间延长、缓存趋于稳定或阵列进入重建状态,结果是否仍在可接受范围内。
阵列取舍不能只看写惩罚数字
小块随机覆写密集、延迟要求严格,并且可以接受约一半原始容量用于镜像时,RAID 10 通常值得优先比较。若写入以连续、大块操作为主,或业务需要更多可用容量,RAID 5、RAID 6 的校验开销未必会成为首要瓶颈。RAID 6 还提供比 RAID 5 更多的成员盘故障容忍度,但需要同时评估其容量、重建过程和小块写入成本。RAID 0 没有冗余,不应仅凭随机写入数字把它用于需要阵列容错的关键数据。
最终可用一条边界判断:写惩罚用于预估小块覆写会放大多少成员盘操作;选阵列则以实际负载下的持续 IOPS、P99 延迟、缓存持久性和降级期间余量为准。 先用机制排除明显不合适的配置,再用同条件测试验证,才能解释“为什么会慢”,也才能判断这种差异是否真的影响当前业务。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5545.html


