Linux mdadm阵列重建卡住或速度很慢,先检查哪些状态
终端上看到 recovery 或 resync 百分比长时间不变、预计完成时间不断跳变,或者重建速度只有几 MB/s,并不一定代表 mdadm 进程已经死锁。先确认阵列当前是在正常推进、被 I/O 拖慢、等待故障盘,还是同步动作已经暂停,再决定是否调整速度或处理磁盘。
运维排查时,优先查看 /proc/mdstat、mdadm --detail、sync_action 和内核日志。这几项可以分别回答“阵列是否在重建”“哪些成员有效”“同步动作是否活跃”“底层磁盘是否在报错”。容量、inode、文件系统和日志增长需要继续检查,但它们与阵列重建的关系不同,不能看到磁盘空间不足就直接判断为 mdadm 故障。
先确认看到的到底是什么状态
区分 recovery、resync、check 和 repair
先执行只读检查:
cat /proc/mdstat
sudo mdadm --detail /dev/md0
将 /dev/md0 替换为实际阵列设备。若不确定阵列名称,可以先查看:
lsblk -o NAME,TYPE,SIZE,FSTYPE,MOUNTPOINTS
/proc/mdstat 中常见的状态类似下面这样:
md0 : active raid1 sdb1[2] sda1[0]
3906885440 blocks super 1.2 [2/1] [U_]
[=====>...............] recovery = 27.8% (1085440000/3906885440)
finish=148.2min speed=31680K/sec
这里需要重点看:

active raid1:阵列已加载,后面的raid1是阵列级别。[2/1]:期望有 2 个成员,当前有 1 个工作成员。[U_]:第一个成员在线,第二个成员缺失或不可用;如果是[UU],表示两个成员都在线。recovery:通常表示故障成员替换或重新加入后的恢复过程。resync:可能是创建阵列后的首次同步,也可能是阵列内部重新同步。check:一致性检查,主要读取并比较数据和校验信息。repair:在检查基础上写回修复内容,风险和影响都高于check。
finish 是根据当前速度估算的,不是承诺时间。重建期间业务 I/O、磁盘缓存、温度、重试和速度限制都会使它反复变化。阵列百分比在几分钟内没有明显变化,也不能仅凭一次观察就判定卡住,建议连续采样。
watch -n 5 'cat /proc/mdstat'
如果百分比在增长,只是速度较低,通常属于“推进缓慢”;如果百分比、速度和已完成数量长期都不变化,才需要继续确认同步动作和底层 I/O。
查看 mdadm 的成员和状态描述
sudo mdadm --detail /dev/md0
重点记录以下字段:
Raid LevelArray SizeUsed Dev SizeRaid DeviceTotal DevicesActive DevicesWorking DevicesFailed DevicesSpare DevicesStateRebuild Status
可以先保存一次现场输出,后续调整前后进行比较:
date
cat /proc/mdstat
sudo mdadm --detail /dev/md0
如果 Working Devices 少于预期,或者 Failed Devices 大于 0,重建可能并不是单纯“速度慢”,而是阵列仍在降级,甚至存在第二块成员异常的风险。RAID5、RAID6、RAID10 等级的容错边界不同,必须先确认 Raid Level,不要用 RAID1 的判断方式处理所有阵列。
查看同步动作是否真的在运行
Linux md 通常会在 sysfs 中提供同步状态:
for f in sync_action degraded sync_completed sync_speed_min sync_speed_max mismatch_cnt; do
p="/sys/block/md0/md/$f"
if [ -f "$p" ]; then
printf '%-18s ' "$f"
cat "$p"
fi
done
可能看到的 sync_action 包括:
recover:正在恢复缺失或替换的成员。resync:正在重新同步。check:一致性检查。repair:一致性修复。idle:当前没有同步动作。frozen:同步动作被冻结,需要结合内核日志和阵列状态判断原因。
sync_completed 用于观察已处理范围是否变化。若 sync_action 显示为 recover,但连续多次采样 sync_completed 不变,同时磁盘日志中出现超时或 I/O 错误,应优先排查设备和链路,而不是直接强行写入 recover 或 resync。手工写入同步控制项可能改变阵列行为,尤其是在阵列已经异常或存在多个故障成员时。

按由外到内的顺序排查
1. 先核对成员、分区和容量
重建对象通常是磁盘分区,而不是整块磁盘。先建立“阵列成员—分区—物理设备”的对应关系:
lsblk -e 7 -o NAME,PATH,TYPE,SIZE,MODEL,SERIAL,PKNAME,FSTYPE,MOUNTPOINTS
sudo mdadm --detail /dev/md0
如果涉及替换盘,还应比较实际组件大小:
sudo blockdev --getsize64 /dev/sda1
sudo blockdev --getsize64 /dev/sdb1
替换成员通常需要不小于阵列要求的 Used Dev Size。例如,整盘容量看起来更大,但新盘的分区比旧成员少几个扇区,仍可能无法加入阵列。此类问题通常表现为 mdadm --add 失败,或者设备被加入后很快退出,不应简单理解为“重建速度慢”。
检查时要特别注意:
- 是否把错误的分区识别成了阵列成员。
- 新盘是否有同样的分区表和对齐方式。
- HBA、背板或硬件 RAID 是否改变了设备名称。
/dev/sdX名称是否因重启或热插拔发生变化。- 是否存在多套 md 阵列,命令查看的不是目标阵列。
不确认设备序列号和路径前,不要执行 mdadm --fail、mdadm --remove 或 mdadm --add。这些操作会改变阵列元数据和冗余状态,选错设备可能进一步降低容错能力。若成员已经物理更换,应先完成盘位、序列号和分区的三方核对,并确认业务数据有可用备份。
A5idc数据面向数据库、文件存储与备份归档等场景,提供香港、日本、美国等地区的物理服务器资源,覆盖NVMe、SSD及大容量企业级硬盘方案,并提供不同处理器、内存和网络线路组合。存储型配置可结合控制器与多盘资源承载数据密集型业务,为Linux服务器上的阵列部署、业务运行和数据管理提供硬件基础。
2. 检查内核日志和磁盘链路
阵列重建速度突然降到很低,或者百分比完全不动,常见原因是底层设备在重试。查看当前启动周期的内核日志:
sudo journalctl -k -b --no-pager | \
grep -Ei 'md[0-9]|raid|I/O error|blk_update|ata|reset|timeout|uncorrect|medium error|nvme|ext4|xfs'
也可以只查看最近一段时间:
sudo journalctl -k -b --since "2 hours ago" --no-pager
重点关注这些信息:
I/O error、medium error、uncorrectable:介质错误或不可校正读取。ata link reset、SATA link down、controller reset:链路、背板、控制器或供电问题。blk_update_request、timed out:块设备请求超时。md: recovery ...、md: resync ...:md 层是否仍在推进。EXT4-fs error、XFS错误:文件系统层是否同时存在异常。
如果只有 mdadm 的进度较慢,没有磁盘错误,而业务 I/O 很高,问题更可能是资源竞争。如果日志持续出现同一块物理盘的超时和重试,应先处理磁盘、线缆、背板、控制器或供电,继续重建可能会增加读取压力。
可以对单盘做只读健康信息查询:
sudo smartctl -x /dev/sda
NVMe 设备可使用:
sudo nvme smart-log /dev/nvme0
设备名称和控制器类型不同,SMART 查询参数可能不同。硬件 RAID 或某些 HBA 可能不会直接透传 SMART,此时命令报“不支持”不等于磁盘健康,也不等于磁盘损坏,应使用控制器厂商提供的管理工具。重建期间不要随意启动长时间全盘测试,以免进一步增加 I/O 竞争。
3. 查看 I/O 延迟,而不只看吞吐量
阵列重建速度低,不能只看 MB/s。单盘延迟、队列长度和重试情况往往更能说明原因。安装并确认 sysstat 可用后执行:
iostat -xz 1 5
常见字段含义如下:
r_await、w_await:读写请求平均等待时间,单位通常是毫秒。aqu-sz:平均请求队列长度。%util:设备忙碌时间比例。rkB/s、wkB/s:读写吞吐量。r/s、w/s:每秒请求数。
如果 %util 接近 100%,同时 await 和队列长度较高,说明设备已经饱和,重建会与业务 I/O 竞争。如果吞吐量很低、延迟却突然升高,并伴随内核错误,通常更像设备重试或链路问题。SSD 的 %util 较高并不单独代表故障,需要结合延迟和日志判断。

查看系统是否被 I/O 等待拖慢:
vmstat 1 5
重点看 wa。如果 wa 持续较高,说明 CPU 大量时间等待 I/O。进一步可以定位产生 I/O 的进程:
pidstat -d 1 5
常见竞争来源包括数据库检查点、备份、日志写入、虚拟机磁盘、批量导入、对象存储同步和文件扫描。可以先在业务允许的时间窗口暂停或限速这些任务,再观察重建速度是否恢复。暂停业务任务比直接修改 mdadm 参数风险更低,也更容易回滚。
4. 核对 md 的速度限制
Linux md 有全局速度限制参数:
cat /proc/sys/dev/raid/speed_limit_min
cat /proc/sys/dev/raid/speed_limit_max
某些内核还提供阵列级参数,可按实际存在的文件查看:
for f in sync_speed_min sync_speed_max; do
p="/sys/block/md0/md/$f"
if [ -f "$p" ]; then
echo "$f=$(cat "$p")"
fi
done
这些参数一般以内核使用的 KB/s 口径表示,不是网络中的 Mb/s。speed_limit_max 只是上限,不代表磁盘一定能达到该速度;如果磁盘、阵列级别或业务 I/O 已经成为瓶颈,提高上限不会带来等比例提升。
调整前先保存旧值。例如,仅在确认没有严重 I/O 错误、业务可以承受额外延迟时,临时提高全局上限:
old_max=$(cat /proc/sys/dev/raid/speed_limit_max)
echo "old speed_limit_max=$old_max"
echo 50000 | sudo tee /proc/sys/dev/raid/speed_limit_max
这里的 50000 只是示例值,不应直接套用于所有服务器。该参数可能影响主机上的多个 md 阵列,并可能增加业务延迟。观察完成后恢复原值:
echo "$old_max" | sudo tee /proc/sys/dev/raid/speed_limit_max
如果调高上限后业务延迟明显增加、I/O 队列变长或错误增多,应立即恢复原值。相反,如果业务高峰期需要保护在线服务,可以临时降低上限,但这会延长阵列处于降级状态的时间,必须评估第二块磁盘发生故障的风险。
5. 分别检查容量、inode 和日志增长
文件系统空间不足、inode 耗尽,通常不会直接让 mdadm 的块级重建停止,但会使业务写入失败、日志不断重试,并间接增加 I/O 压力。先查看所有挂载点:
df -hT
df -ih
两条命令的判断对象不同:
df -hT查看文件系统容量,关注Use%。df -ih查看 inode 使用量,关注 inode 是否接近耗尽。
如果容量不足,定位大目录时应避开跨文件系统扫描:
sudo du -xhd1 /var 2>/dev/null | sort -h
sudo du -xhd1 /var/log 2>/dev/null | sort -h
如果怀疑文件已删除但仍被进程占用:
sudo lsof +L1
这类文件在进程关闭前仍占用空间,单纯删除目录中的文件不会立即释放容量。应先确认进程、日志句柄和业务影响,再通过服务自身的日志轮转机制释放空间。
检查 systemd journal 占用:
sudo journalctl --disk-usage
查看轮转配置是否存在问题:
sudo logrotate -d /etc/logrotate.conf
logrotate -d 是调试模式,不会真正执行轮转。不要在未确认保留策略和审计要求的情况下直接删除日志,也不要对正在写入的日志文件随意执行 rm。如果确实需要清理 journal,应先确认日志已备份且满足保留要求,再使用受控的时间或容量清理方式,并记录变更。
6. 确认文件系统和上层存储链路
先确认 md 设备是否直接挂载,还是经过 LVM、加密层或其他块设备:
lsblk -f
findmnt -rno SOURCE,FSTYPE,TARGET,OPTIONS
sudo pvs
sudo vgs
sudo lvs
这些命令主要用于识别拓扑。比如 /dev/md0 可能只提供给卷组,真正的业务文件系统挂载在逻辑卷上。此时需要同时观察 md、LVM 和文件系统,不要只根据某个挂载点的状态下结论。

若日志出现文件系统错误,先区分“阵列重建”和“文件系统修复”:
- mdadm 负责块设备冗余和同步。
- ext4、XFS 等文件系统负责目录、元数据和文件分配。
- 阵列重建完成,不代表文件系统逻辑一定没有损坏。
- 文件系统报错,也不一定意味着 mdadm 重建失败。
文件系统检查通常需要卸载或进入维护环境。不要对正在使用的挂载点直接运行 fsck 或修复命令。以 ext4 为例,应在备份完成、业务停止并确认设备未挂载后安排离线检查;XFS 的修复也需要按照其工具要求在离线环境中进行。若只想确认是否存在错误,优先查看内核日志和文件系统自身的只读信息,不要在阵列降级期间贸然执行写入型修复。
根据结果选择处理分支
百分比持续增长,但速度很低
这种情况通常不是“卡住”,优先检查:
iostat -xz中是否存在高延迟或长队列。- 是否有备份、数据库、虚拟机等高强度 I/O。
- 阵列是否为 RAID5/RAID6,重建是否涉及校验计算。
- 替换盘是否存在温度过高或介质错误。
speed_limit_max是否被设置得过低。
可以在低业务时段再次采样。比如剩余约 8 TB,重建速度约 80 MB/s,按十进制容量估算:
8 TB = 8,000,000 MB
8,000,000 MB ÷ 80 MB/s = 100,000 秒
100,000 秒 ÷ 3,600 ≈ 27.8 小时
实际时间还会受到业务访问、重试和速度波动影响。这里的 MB/s 与网络带宽中的 Mb/s 不同,后者是 bit/s,不能直接混用。
sync_action 为 idle 或 frozen,进度长时间不变
先保存:
cat /proc/mdstat
sudo mdadm --detail /dev/md0
sudo journalctl -k -b --since "30 minutes ago" --no-pager
如果日志显示设备超时、控制器重置或成员反复离线,先处理底层设备问题。不要在没有确认阵列成员和当前冗余状态的情况下直接写入 recover、resync,也不要用 mdadm --stop 试图“重启重建”。停止阵列可能导致挂载中断、数据不可用,且重新组装需要准确的成员和事件信息。
如果是人为设置了暂停,应由熟悉该阵列拓扑的维护人员在确认备份、冗余和设备身份后恢复,并在恢复后观察 sync_completed 是否继续变化。
阵列显示 [U_]、成员失败或工作设备数量减少
这说明阵列仍处于降级状态。先确认缺失的是哪一个序列号对应的成员:
sudo mdadm --detail /dev/md0
lsblk -o NAME,PATH,SIZE,MODEL,SERIAL,TYPE
如果第二块盘也出现 I/O 错误,不要继续进行高风险的拔插、强制组装或手工标记失败操作。应先保障数据备份,确认阵列级别和剩余成员可读性,再制定更换盘方案。RAID 提供的是故障容错,不是备份;在降级期间尤其不能把重建过程当作数据保护措施。
容量或 inode 满,但 mdadm 仍在推进
这通常是两个同时存在的问题:
- 阵列重建本身仍在进行。
- 业务文件系统因容量或 inode 不足而出现写入失败。
先处理明确可识别的临时文件、缓存和已轮转日志,并遵循业务保留策略。不要为了让 df 恢复就直接删除未知目录,也不要删除数据库文件、阵列成员文件或正在使用的日志。清理后分别验证:
df -hT
df -ih
cat /proc/mdstat
如果空间恢复但重建速度没有变化,说明容量问题可能只是业务故障的并行原因,仍需回到 I/O 和硬件日志继续检查。
出现 mismatch_cnt 或一致性检查异常
mismatch_cnt 非零表示检查发现数据与校验信息存在不一致。它不等同于某一块盘已经物理损坏,也不意味着可以立即执行 repair。应先确认:
- 阵列级别和当前成员是否完整。
- 是否存在掉电、控制器缓存或硬件链路异常。
- 是否有可恢复的备份。
- 业务是否允许执行写入型一致性修复。
repair 会写入阵列,可能改变原有数据状态。执行前应完成风险评估和维护窗口安排,并记录当前 mdadm --detail、日志和 mismatch_cnt。如果只是想了解一致性,优先执行受控的 check,且要接受它会增加读取负载,不能与高峰业务同时进行。
修复后的验证与持续观察
调整参数、降低业务 I/O、处理链路或更换成员后,不要只看一次“Rebuild Status”。至少连续观察以下信息:
watch -n 5 '
date
cat /proc/mdstat
printf "\n-- md detail --\n"
mdadm --detail /dev/md0 | egrep "State|Active Devices|Working Devices|Failed Devices|Rebuild Status"
printf "\n-- sync --\n"
for f in sync_action sync_completed degraded mismatch_cnt; do
p="/sys/block/md0/md/$f"
[ -f "$p" ] && printf "%s=" "$f" && cat "$p"
done
'
验证重点包括:
sync_completed持续增长,而不是只有百分比偶尔跳变。sync_action与预期动作一致。Failed Devices没有继续增加。- 阵列状态最终回到
clean或符合设计的完整状态。 /proc/mdstat中成员标识恢复为预期,例如 RAID1 从[U_]变为[UU]。- 内核日志不再出现新的超时、介质错误和链路重置。
- I/O 延迟、队列长度和业务响应时间回到可接受范围。
- 文件系统容量和 inode 使用率没有再次快速增长。
重建完成后,还应检查监控和告警是否恢复,确认替换盘已纳入 SMART 或硬件监控,核对阵列配置是否持久化,并保留本次故障期间的日志与状态输出。接下来数小时到数天内继续关注 journalctl -k、磁盘错误计数、阵列状态和业务 I/O;如果同一设备再次出现超时或介质错误,即使阵列暂时显示正常,也应将其视为潜在硬件问题处理。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/8376.html



