Linux mdadm阵列重建卡住或速度很慢,先检查哪些状态

发布人:A5数据发布时间:2026-11-09 10:00阅读量:76

终端上看到 recovery 或 resync 百分比长时间不变、预计完成时间不断跳变,或者重建速度只有几 MB/s,并不一定代表 mdadm 进程已经死锁。先确认阵列当前是在正常推进、被 I/O 拖慢、等待故障盘,还是同步动作已经暂停,再决定是否调整速度或处理磁盘。

运维排查时,优先查看 /proc/mdstat、mdadm --detail、sync_action 和内核日志。这几项可以分别回答“阵列是否在重建”“哪些成员有效”“同步动作是否活跃”“底层磁盘是否在报错”。容量、inode、文件系统和日志增长需要继续检查,但它们与阵列重建的关系不同,不能看到磁盘空间不足就直接判断为 mdadm 故障。

先确认看到的到底是什么状态

区分 recovery、resync、check 和 repair

先执行只读检查:

cat /proc/mdstat
sudo mdadm --detail /dev/md0

将 /dev/md0 替换为实际阵列设备。若不确定阵列名称,可以先查看:

lsblk -o NAME,TYPE,SIZE,FSTYPE,MOUNTPOINTS

/proc/mdstat 中常见的状态类似下面这样:

md0 : active raid1 sdb1[2] sda1[0]
      3906885440 blocks super 1.2 [2/1] [U_]
      [=====>...............]  recovery = 27.8% (1085440000/3906885440)
      finish=148.2min speed=31680K/sec

这里需要重点看:

以匿名 Linux 终端输出为主体,展示精简的 md0 active raid1 示例状态行;用克制的编号引线标注 active raid1、 2/1 、 U

  • active raid1:阵列已加载,后面的 raid1 是阵列级别。
  • [2/1]:期望有 2 个成员,当前有 1 个工作成员。
  • [U_]:第一个成员在线,第二个成员缺失或不可用;如果是 [UU],表示两个成员都在线。
  • recovery:通常表示故障成员替换或重新加入后的恢复过程。
  • resync:可能是创建阵列后的首次同步,也可能是阵列内部重新同步。
  • check:一致性检查,主要读取并比较数据和校验信息。
  • repair:在检查基础上写回修复内容,风险和影响都高于 check。

finish 是根据当前速度估算的,不是承诺时间。重建期间业务 I/O、磁盘缓存、温度、重试和速度限制都会使它反复变化。阵列百分比在几分钟内没有明显变化,也不能仅凭一次观察就判定卡住,建议连续采样。

watch -n 5 'cat /proc/mdstat'

如果百分比在增长,只是速度较低,通常属于“推进缓慢”;如果百分比、速度和已完成数量长期都不变化,才需要继续确认同步动作和底层 I/O。

查看 mdadm 的成员和状态描述

sudo mdadm --detail /dev/md0

重点记录以下字段:

  • Raid Level
  • Array Size
  • Used Dev Size
  • Raid Device
  • Total Devices
  • Active Devices
  • Working Devices
  • Failed Devices
  • Spare Devices
  • State
  • Rebuild Status

可以先保存一次现场输出,后续调整前后进行比较:

date
cat /proc/mdstat
sudo mdadm --detail /dev/md0

如果 Working Devices 少于预期,或者 Failed Devices 大于 0,重建可能并不是单纯“速度慢”,而是阵列仍在降级,甚至存在第二块成员异常的风险。RAID5、RAID6、RAID10 等级的容错边界不同,必须先确认 Raid Level,不要用 RAID1 的判断方式处理所有阵列。

查看同步动作是否真的在运行

Linux md 通常会在 sysfs 中提供同步状态:

for f in sync_action degraded sync_completed sync_speed_min sync_speed_max mismatch_cnt; do
    p="/sys/block/md0/md/$f"
    if [ -f "$p" ]; then
        printf '%-18s ' "$f"
        cat "$p"
    fi
done

可能看到的 sync_action 包括:

  • recover:正在恢复缺失或替换的成员。
  • resync:正在重新同步。
  • check:一致性检查。
  • repair:一致性修复。
  • idle:当前没有同步动作。
  • frozen:同步动作被冻结,需要结合内核日志和阵列状态判断原因。

sync_completed 用于观察已处理范围是否变化。若 sync_action 显示为 recover,但连续多次采样 sync_completed 不变,同时磁盘日志中出现超时或 I/O 错误,应优先排查设备和链路,而不是直接强行写入 recover 或 resync。手工写入同步控制项可能改变阵列行为,尤其是在阵列已经异常或存在多个故障成员时。

先确认看到的到底是什么状态 / 查看同步动作是否真的在运行配图

按由外到内的顺序排查

1. 先核对成员、分区和容量

重建对象通常是磁盘分区,而不是整块磁盘。先建立“阵列成员—分区—物理设备”的对应关系:

lsblk -e 7 -o NAME,PATH,TYPE,SIZE,MODEL,SERIAL,PKNAME,FSTYPE,MOUNTPOINTS
sudo mdadm --detail /dev/md0

如果涉及替换盘,还应比较实际组件大小:

sudo blockdev --getsize64 /dev/sda1
sudo blockdev --getsize64 /dev/sdb1

替换成员通常需要不小于阵列要求的 Used Dev Size。例如,整盘容量看起来更大,但新盘的分区比旧成员少几个扇区,仍可能无法加入阵列。此类问题通常表现为 mdadm --add 失败,或者设备被加入后很快退出,不应简单理解为“重建速度慢”。

检查时要特别注意:

  • 是否把错误的分区识别成了阵列成员。
  • 新盘是否有同样的分区表和对齐方式。
  • HBA、背板或硬件 RAID 是否改变了设备名称。
  • /dev/sdX 名称是否因重启或热插拔发生变化。
  • 是否存在多套 md 阵列,命令查看的不是目标阵列。

不确认设备序列号和路径前,不要执行 mdadm --fail、mdadm --remove 或 mdadm --add。这些操作会改变阵列元数据和冗余状态,选错设备可能进一步降低容错能力。若成员已经物理更换,应先完成盘位、序列号和分区的三方核对,并确认业务数据有可用备份。

A5idc数据面向数据库、文件存储与备份归档等场景,提供香港、日本、美国等地区的物理服务器资源,覆盖NVMe、SSD及大容量企业级硬盘方案,并提供不同处理器、内存和网络线路组合。存储型配置可结合控制器与多盘资源承载数据密集型业务,为Linux服务器上的阵列部署、业务运行和数据管理提供硬件基础。

2. 检查内核日志和磁盘链路

阵列重建速度突然降到很低,或者百分比完全不动,常见原因是底层设备在重试。查看当前启动周期的内核日志:

sudo journalctl -k -b --no-pager | \
  grep -Ei 'md[0-9]|raid|I/O error|blk_update|ata|reset|timeout|uncorrect|medium error|nvme|ext4|xfs'

也可以只查看最近一段时间:

sudo journalctl -k -b --since "2 hours ago" --no-pager

重点关注这些信息:

  • I/O error、medium error、uncorrectable:介质错误或不可校正读取。
  • ata link reset、SATA link down、controller reset:链路、背板、控制器或供电问题。
  • blk_update_request、timed out:块设备请求超时。
  • md: recovery ...、md: resync ...:md 层是否仍在推进。
  • EXT4-fs error、XFS 错误:文件系统层是否同时存在异常。

如果只有 mdadm 的进度较慢,没有磁盘错误,而业务 I/O 很高,问题更可能是资源竞争。如果日志持续出现同一块物理盘的超时和重试,应先处理磁盘、线缆、背板、控制器或供电,继续重建可能会增加读取压力。

可以对单盘做只读健康信息查询:

sudo smartctl -x /dev/sda

NVMe 设备可使用:

sudo nvme smart-log /dev/nvme0

设备名称和控制器类型不同,SMART 查询参数可能不同。硬件 RAID 或某些 HBA 可能不会直接透传 SMART,此时命令报“不支持”不等于磁盘健康,也不等于磁盘损坏,应使用控制器厂商提供的管理工具。重建期间不要随意启动长时间全盘测试,以免进一步增加 I/O 竞争。

3. 查看 I/O 延迟,而不只看吞吐量

阵列重建速度低,不能只看 MB/s。单盘延迟、队列长度和重试情况往往更能说明原因。安装并确认 sysstat 可用后执行:

iostat -xz 1 5

常见字段含义如下:

  • r_await、w_await:读写请求平均等待时间,单位通常是毫秒。
  • aqu-sz:平均请求队列长度。
  • %util:设备忙碌时间比例。
  • rkB/s、wkB/s:读写吞吐量。
  • r/s、w/s:每秒请求数。

如果 %util 接近 100%,同时 await 和队列长度较高,说明设备已经饱和,重建会与业务 I/O 竞争。如果吞吐量很低、延迟却突然升高,并伴随内核错误,通常更像设备重试或链路问题。SSD 的 %util 较高并不单独代表故障,需要结合延迟和日志判断。

按由外到内的顺序排查 / 查看 I/O 延迟,而不只看吞吐量配图

查看系统是否被 I/O 等待拖慢:

vmstat 1 5

重点看 wa。如果 wa 持续较高,说明 CPU 大量时间等待 I/O。进一步可以定位产生 I/O 的进程:

pidstat -d 1 5

常见竞争来源包括数据库检查点、备份、日志写入、虚拟机磁盘、批量导入、对象存储同步和文件扫描。可以先在业务允许的时间窗口暂停或限速这些任务,再观察重建速度是否恢复。暂停业务任务比直接修改 mdadm 参数风险更低,也更容易回滚。

4. 核对 md 的速度限制

Linux md 有全局速度限制参数:

cat /proc/sys/dev/raid/speed_limit_min
cat /proc/sys/dev/raid/speed_limit_max

某些内核还提供阵列级参数,可按实际存在的文件查看:

for f in sync_speed_min sync_speed_max; do
    p="/sys/block/md0/md/$f"
    if [ -f "$p" ]; then
        echo "$f=$(cat "$p")"
    fi
done

这些参数一般以内核使用的 KB/s 口径表示,不是网络中的 Mb/s。speed_limit_max 只是上限,不代表磁盘一定能达到该速度;如果磁盘、阵列级别或业务 I/O 已经成为瓶颈,提高上限不会带来等比例提升。

调整前先保存旧值。例如,仅在确认没有严重 I/O 错误、业务可以承受额外延迟时,临时提高全局上限:

old_max=$(cat /proc/sys/dev/raid/speed_limit_max)
echo "old speed_limit_max=$old_max"

echo 50000 | sudo tee /proc/sys/dev/raid/speed_limit_max

这里的 50000 只是示例值,不应直接套用于所有服务器。该参数可能影响主机上的多个 md 阵列,并可能增加业务延迟。观察完成后恢复原值:

echo "$old_max" | sudo tee /proc/sys/dev/raid/speed_limit_max

如果调高上限后业务延迟明显增加、I/O 队列变长或错误增多,应立即恢复原值。相反,如果业务高峰期需要保护在线服务,可以临时降低上限,但这会延长阵列处于降级状态的时间,必须评估第二块磁盘发生故障的风险。

5. 分别检查容量、inode 和日志增长

文件系统空间不足、inode 耗尽,通常不会直接让 mdadm 的块级重建停止,但会使业务写入失败、日志不断重试,并间接增加 I/O 压力。先查看所有挂载点:

df -hT
df -ih

两条命令的判断对象不同:

  • df -hT 查看文件系统容量,关注 Use%。
  • df -ih 查看 inode 使用量,关注 inode 是否接近耗尽。

如果容量不足,定位大目录时应避开跨文件系统扫描:

sudo du -xhd1 /var 2>/dev/null | sort -h
sudo du -xhd1 /var/log 2>/dev/null | sort -h

如果怀疑文件已删除但仍被进程占用:

sudo lsof +L1

这类文件在进程关闭前仍占用空间,单纯删除目录中的文件不会立即释放容量。应先确认进程、日志句柄和业务影响,再通过服务自身的日志轮转机制释放空间。

检查 systemd journal 占用:

sudo journalctl --disk-usage

查看轮转配置是否存在问题:

sudo logrotate -d /etc/logrotate.conf

logrotate -d 是调试模式,不会真正执行轮转。不要在未确认保留策略和审计要求的情况下直接删除日志,也不要对正在写入的日志文件随意执行 rm。如果确实需要清理 journal,应先确认日志已备份且满足保留要求,再使用受控的时间或容量清理方式,并记录变更。

6. 确认文件系统和上层存储链路

先确认 md 设备是否直接挂载,还是经过 LVM、加密层或其他块设备:

lsblk -f
findmnt -rno SOURCE,FSTYPE,TARGET,OPTIONS
sudo pvs
sudo vgs
sudo lvs

这些命令主要用于识别拓扑。比如 /dev/md0 可能只提供给卷组,真正的业务文件系统挂载在逻辑卷上。此时需要同时观察 md、LVM 和文件系统,不要只根据某个挂载点的状态下结论。

按由外到内的顺序排查 / 确认文件系统和上层存储链路配图

若日志出现文件系统错误,先区分“阵列重建”和“文件系统修复”:

  • mdadm 负责块设备冗余和同步。
  • ext4、XFS 等文件系统负责目录、元数据和文件分配。
  • 阵列重建完成,不代表文件系统逻辑一定没有损坏。
  • 文件系统报错,也不一定意味着 mdadm 重建失败。

文件系统检查通常需要卸载或进入维护环境。不要对正在使用的挂载点直接运行 fsck 或修复命令。以 ext4 为例,应在备份完成、业务停止并确认设备未挂载后安排离线检查;XFS 的修复也需要按照其工具要求在离线环境中进行。若只想确认是否存在错误,优先查看内核日志和文件系统自身的只读信息,不要在阵列降级期间贸然执行写入型修复。

根据结果选择处理分支

百分比持续增长,但速度很低

这种情况通常不是“卡住”,优先检查:

  1. iostat -xz 中是否存在高延迟或长队列。
  2. 是否有备份、数据库、虚拟机等高强度 I/O。
  3. 阵列是否为 RAID5/RAID6,重建是否涉及校验计算。
  4. 替换盘是否存在温度过高或介质错误。
  5. speed_limit_max 是否被设置得过低。

可以在低业务时段再次采样。比如剩余约 8 TB,重建速度约 80 MB/s,按十进制容量估算:

8 TB = 8,000,000 MB
8,000,000 MB ÷ 80 MB/s = 100,000 秒
100,000 秒 ÷ 3,600 ≈ 27.8 小时

实际时间还会受到业务访问、重试和速度波动影响。这里的 MB/s 与网络带宽中的 Mb/s 不同,后者是 bit/s,不能直接混用。

sync_action 为 idle 或 frozen,进度长时间不变

先保存:

cat /proc/mdstat
sudo mdadm --detail /dev/md0
sudo journalctl -k -b --since "30 minutes ago" --no-pager

如果日志显示设备超时、控制器重置或成员反复离线,先处理底层设备问题。不要在没有确认阵列成员和当前冗余状态的情况下直接写入 recover、resync,也不要用 mdadm --stop 试图“重启重建”。停止阵列可能导致挂载中断、数据不可用,且重新组装需要准确的成员和事件信息。

如果是人为设置了暂停,应由熟悉该阵列拓扑的维护人员在确认备份、冗余和设备身份后恢复,并在恢复后观察 sync_completed 是否继续变化。

阵列显示 [U_]、成员失败或工作设备数量减少

这说明阵列仍处于降级状态。先确认缺失的是哪一个序列号对应的成员:

sudo mdadm --detail /dev/md0
lsblk -o NAME,PATH,SIZE,MODEL,SERIAL,TYPE

如果第二块盘也出现 I/O 错误,不要继续进行高风险的拔插、强制组装或手工标记失败操作。应先保障数据备份,确认阵列级别和剩余成员可读性,再制定更换盘方案。RAID 提供的是故障容错,不是备份;在降级期间尤其不能把重建过程当作数据保护措施。

容量或 inode 满,但 mdadm 仍在推进

这通常是两个同时存在的问题:

  • 阵列重建本身仍在进行。
  • 业务文件系统因容量或 inode 不足而出现写入失败。

先处理明确可识别的临时文件、缓存和已轮转日志,并遵循业务保留策略。不要为了让 df 恢复就直接删除未知目录,也不要删除数据库文件、阵列成员文件或正在使用的日志。清理后分别验证:

df -hT
df -ih
cat /proc/mdstat

如果空间恢复但重建速度没有变化,说明容量问题可能只是业务故障的并行原因,仍需回到 I/O 和硬件日志继续检查。

出现 mismatch_cnt 或一致性检查异常

mismatch_cnt 非零表示检查发现数据与校验信息存在不一致。它不等同于某一块盘已经物理损坏,也不意味着可以立即执行 repair。应先确认:

  • 阵列级别和当前成员是否完整。
  • 是否存在掉电、控制器缓存或硬件链路异常。
  • 是否有可恢复的备份。
  • 业务是否允许执行写入型一致性修复。

repair 会写入阵列,可能改变原有数据状态。执行前应完成风险评估和维护窗口安排,并记录当前 mdadm --detail、日志和 mismatch_cnt。如果只是想了解一致性,优先执行受控的 check,且要接受它会增加读取负载,不能与高峰业务同时进行。

修复后的验证与持续观察

调整参数、降低业务 I/O、处理链路或更换成员后,不要只看一次“Rebuild Status”。至少连续观察以下信息:

watch -n 5 '
date
cat /proc/mdstat
printf "\n-- md detail --\n"
mdadm --detail /dev/md0 | egrep "State|Active Devices|Working Devices|Failed Devices|Rebuild Status"
printf "\n-- sync --\n"
for f in sync_action sync_completed degraded mismatch_cnt; do
    p="/sys/block/md0/md/$f"
    [ -f "$p" ] && printf "%s=" "$f" && cat "$p"
done
'

验证重点包括:

  • sync_completed 持续增长,而不是只有百分比偶尔跳变。
  • sync_action 与预期动作一致。
  • Failed Devices 没有继续增加。
  • 阵列状态最终回到 clean 或符合设计的完整状态。
  • /proc/mdstat 中成员标识恢复为预期,例如 RAID1 从 [U_] 变为 [UU]。
  • 内核日志不再出现新的超时、介质错误和链路重置。
  • I/O 延迟、队列长度和业务响应时间回到可接受范围。
  • 文件系统容量和 inode 使用率没有再次快速增长。

重建完成后,还应检查监控和告警是否恢复,确认替换盘已纳入 SMART 或硬件监控,核对阵列配置是否持久化,并保留本次故障期间的日志与状态输出。接下来数小时到数天内继续关注 journalctl -k、磁盘错误计数、阵列状态和业务 I/O;如果同一设备再次出现超时或介质错误,即使阵列暂时显示正常,也应将其视为潜在硬件问题处理。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/8376.html

相关推荐