Linux mdadm阵列降级后怎么处理,如何确认故障盘并安全重建
Linux mdadm 阵列出现 degraded、[_U] 或 [_UU] 时,表示阵列当前缺少一个或多个成员,冗余能力已经下降,并不等同于文件系统已经损坏。处理重点不是立即执行 --remove 或更换硬盘,而是先确认 RAID 级别、阵列成员映射、内核错误和物理磁盘状态,再判断故障盘是否真的需要下线。
安全处理通常遵循这条路径:先保存状态并检查容量、inode、I/O 延迟、文件系统和日志增长情况;再使用稳定设备名和磁盘序列号确认故障盘;确认具备冗余的前提后下线故障成员,准备容量不小于原成员的替换盘,重新加入阵列并观察重建;最后验证阵列、文件系统和业务读写是否恢复。RAID0 或同时损坏多个关键成员时,不能按普通降级阵列直接重建。
先确认阵列处于哪一种降级状态
mdadm 管理的是块设备阵列,文件系统可能位于阵列之上,也可能经过 LVM、加密层或其他设备映射。因此,看到应用报错时,不能只根据“磁盘满了”或“阵列降级”其中一个现象下结论。
常见 RAID 级别的处理边界如下:
| RAID级别 | 单个成员故障后的通常状态 | 是否可以按普通流程重建 | 主要风险 |
|---|---|---|---|
| RAID1 | 仍可由剩余成员提供数据 | 可以 | 另一成员在重建前继续出错会失去冗余 |
| RAID5 | 可容忍一个成员故障 | 可以,但重建压力较高 | 重建期间再发生不可读错误可能无法恢复 |
| RAID6 | 通常可容忍两个成员故障 | 可以 | 需要确认没有超出可容忍的故障数量 |
| RAID10 | 取决于故障成员是否位于同一镜像组 | 通常可以 | 同一镜像组的成员同时故障可能导致数据不可用 |
| RAID0 | 没有冗余 | 不能通过添加新盘恢复原数据 | 应优先停止写入并从备份或专业恢复流程处理 |
| linear、JBOD等 | 取决于具体布局 | 不能套用RAID1/5流程 | 需要先确认数据分布和阵列元数据 |
降级阵列仍然可以提供服务,不代表可以忽略故障。此时任何额外的介质错误、控制器异常或误操作,都会扩大数据风险。
1. 低风险收集现场信息
以下命令以 /dev/md0 为例,实际操作前先根据 /proc/mdstat 找到阵列名称。命令主要用于读取状态,不会主动改变阵列。
sudo cat /proc/mdstat
sudo mdadm --detail /dev/md0
sudo lsblk -e7 -o NAME,KNAME,TYPE,SIZE,FSTYPE,MOUNTPOINTS,MODEL,SERIAL
sudo lsblk -f
sudo findmnt
重点查看以下字段:
/proc/mdstat中的active、RAID级别、成员设备和状态标记;[UU]、[U_]、[_U]等成员状态。U表示对应位置存在正常成员,下划线表示缺失或失效;mdadm --detail中的State、Active Devices、Working Devices、Failed Devices;- 阵列是否正在
recovery、resync或reshape; - 成员使用的是整块磁盘,例如
/dev/sda,还是分区,例如/dev/sda1; - 阵列上方是否还有 LVM、加密设备或其他映射层。
可以进一步保存当前状态,便于后续比较:
sudo mdadm --detail /dev/md0 > /root/md0-detail-before.txt
sudo cp /proc/mdstat /root/mdstat-before.txt
sudo journalctl -k -b --no-pager > /root/kernel-log-before.txt
这些文件只是状态记录,不是数据备份。若阵列中仍有重要数据,应先确认现有备份可用,至少将关键业务数据复制到独立存储。不要把正在降级的阵列当成备份使用。
2. 先排除容量、inode和日志增长问题
阵列降级和磁盘空间耗尽可能同时出现,但两者不是同一个问题。文件系统空间或 inode 用尽时,应用可能报“无法写入”“数据库只读”“日志写入失败”,这并不意味着某块盘已经物理损坏。
检查文件系统容量
df -hT
df -ih
sudo du -xhd1 / 2>/dev/null | sort -h
sudo du -xhd1 /var 2>/dev/null | sort -h
结果可以这样理解:
df -hT的Use%接近 100%,说明数据块空间不足;df -ih的 inode 使用率接近 100%,即使还有数十 GB 空间,也可能无法创建新文件;/var、数据库目录、容器目录或日志目录增长明显时,应进一步定位具体子目录;- 如果
df显示空间正常,但应用仍然无法写入,需要检查 inode、权限、只读挂载和上层存储错误。
不要在未确认日志保留策略前直接删除 /var/log 或数据库文件。日志可以先压缩、归档到独立存储,再根据服务的日志轮转配置处理。
检查 systemd 日志和普通日志
sudo journalctl --disk-usage
sudo du -sh /var/log/* 2>/dev/null | sort -h
sudo journalctl -p warning..alert -b --no-pager
如果只是日志增长导致空间耗尽,处理方向是恢复可用空间、修正日志轮转或排查持续报错的服务,而不是更换阵列成员。清理日志属于有影响的操作,执行前应确认日志已经归档,且不会影响审计、故障取证或合规要求。
3. 从I/O延迟和内核日志确认故障性质
阵列降级时,重建、超时重试或坏扇区读取都会增加 I/O 延迟。反过来,控制器、链路或存储后端的短暂异常,也可能让健康磁盘被 mdadm 标记为失效。
检查设备延迟
如果系统没有 iostat,可先安装与发行版匹配的 sysstat 软件包。检查命令如下:
sudo iostat -xz 1 5
sudo vmstat 1 5
iostat 中常见字段含义:
await:请求从提交到完成的平均等待时间,单位通常为毫秒;aqu-sz:平均排队深度;%util:设备忙碌时间占比;r/s、w/s:每秒读写请求数量;rkB/s、wkB/s:每秒读写吞吐量,通常以 KB/s 表示。
例如,某设备持续出现较高 await、队列增长,同时内核日志出现 I/O 超时,比单独看到 %util 接近 100%更能说明设备或链路存在问题。SSD 在高并发下 %util 较高并不必然意味着硬盘损坏,仍需结合延迟、错误计数和 SMART 信息判断。
检查内核和块设备错误
sudo journalctl -k -b --no-pager | grep -Ei \
'md|raid|ata|scsi|sas|blk_update_request|I/O error|timeout|reset|uncorrect|medium error|read-only'
常见线索包括:
UNC、uncorrectable、medium error:可能涉及介质不可读;I/O error、blk_update_request:块设备请求失败,但还不能单独证明磁盘损坏;link reset、hard resetting link、device offlined:可能是线缆、背板、HBA、供电或控制器链路问题;md: disk failure、hot removed:说明 md 层已经记录成员失效;- 文件系统出现
remounting filesystem read-only:需要同时检查文件系统和底层块设备。
如果是云主机或虚拟化环境,宿主机提供的虚拟盘可能不支持完整 SMART 信息。此时应结合云平台事件、虚拟磁盘状态和内核日志判断,不能因为 smartctl 无法读取就认定磁盘正常或异常。
4. 确认故障盘,不要只按 /dev/sdX 判断
/dev/sda、/dev/sdb 这类名称可能因重启、设备枚举顺序或控制器变化而改变。执行下线操作前,必须把 mdadm 成员、操作系统设备、序列号和机箱中的物理盘对应起来。

先查看稳定路径:
sudo ls -l /dev/disk/by-id/
sudo ls -l /dev/disk/by-path/
sudo udevadm info --query=all --name=/dev/sdX | grep -E 'ID_MODEL|ID_SERIAL|ID_WWN|ID_PATH'
将 /dev/sdX 替换为实际成员设备。然后读取硬盘健康信息:
sudo smartctl -x /dev/sdX
如果是 NVMe 设备,可以使用:
sudo nvme list
sudo nvme smart-log /dev/nvme0
重点关注:
- 重新分配扇区、待处理扇区和不可修复扇区;
- 介质错误计数、错误日志和自检失败记录;
- SAS/SCSI 设备的
Medium Error、Hardware Error; - 设备序列号、WWN与机柜标签是否一致。
SMART 健康状态为 PASSED 不能证明设备绝对正常。某些链路故障、控制器问题和间歇性超时不会立即反映为 SMART 失败。相反,如果 SMART、内核日志和 mdadm 状态都指向同一设备,替换该盘的可信度更高。
5. 根据结果选择处理分支
分支一:阵列成员失效,物理盘也有错误
如果 mdadm --detail 显示某成员为 faulty 或 removed,并且该成员对应的序列号设备在 SMART、内核日志中出现介质错误,通常可以按替换盘流程处理。

此时应确认:
- RAID级别具备冗余;
- 只有预期数量的成员失效;
- 备份可以读取;
- 替换盘容量不小于原成员的可用容量;
- 机房或云平台侧已经确认替换对象。
分支二:阵列降级,但磁盘没有介质错误
如果日志主要出现链路重置、控制器复位、SAS路径丢失或短暂超时,而磁盘自检没有明显异常,不要反复执行“失效—移除—重新加入”。
这类问题可能来自:
- SATA/SAS线缆或背板接触不良;
- HBA、RAID控制器固件或驱动;
- 供电不稳定;
- PCIe链路异常;
- 虚拟化或云平台后端短暂不可用。
应先处理链路和控制器问题,再考虑重建。否则新盘加入后仍可能因同一链路问题再次掉盘。
分支三:阵列状态正常,实际问题是空间、inode或日志
如果 mdadm --detail 显示 clean,但 df -h、df -i 或日志目录已经达到阈值,问题不在阵列成员。此时应按文件系统、应用日志和容量规划处理,不能通过更换硬盘解决 inode 耗尽。
分支四:多个成员异常或阵列为RAID0
如果同一阵列有多个关键成员同时失效,或阵列级别为 RAID0,不要执行 mdadm --create、--zero-superblock、格式化或盲目添加新盘。这些操作可能覆盖仍可恢复的数据和元数据。
应立即减少写入,保存当前状态,确认是否存在完整备份。没有可用备份时,优先制作块级副本或交由具备阵列恢复经验的人员处理,不要通过反复重启和重建尝试“碰运气”。
6. 安全下线故障成员
以下命令仅适用于已经确认目标成员,并且阵列具备冗余的情况。示例中的路径必须替换成 mdadm --detail 和序列号核对后的实际成员路径。
如果成员已经是 faulty 或 removed,通常不需要再次执行 --fail,先尝试移除:
sudo mdadm --manage /dev/md0 --remove /dev/disk/by-id/ata-EXAMPLE_DISK-part1
如果成员仍被 mdadm 视为活动成员,但已经确认该盘需要下线,才执行:
sudo mdadm --manage /dev/md0 --fail /dev/disk/by-id/ata-EXAMPLE_DISK-part1
sudo mdadm --manage /dev/md0 --remove /dev/disk/by-id/ata-EXAMPLE_DISK-part1
--fail 会立即降低阵列的可用成员数,--remove 会将其从当前阵列中移除。目标设备一旦选错,可能把健康成员标记为失效,因此不能根据 /dev/sdX 的字母顺序猜测。
执行后检查:
sudo mdadm --detail /dev/md0
sudo cat /proc/mdstat
如果设备已经物理掉线,--remove 可能提示设备不存在;只要 mdadm --detail 已经显示该成员为 removed 或 faulty,就应先核对状态,不要为了“清理提示”执行其他破坏性命令。
7. 准备容量合适的替换盘
替换盘不能只看厂商标称容量。不同批次硬盘即使都标注为 4 TB,实际可用扇区数也可能略有差异。新盘可用容量至少要不小于原阵列成员,建议选择略大于原盘的设备。

查看字节容量和分区布局:
sudo blockdev --getsize64 /dev/sdOLD
sudo blockdev --getsize64 /dev/sdNEW
sudo fdisk -l /dev/sdOLD
sudo fdisk -l /dev/sdNEW
sudo lsblk -b -o NAME,SIZE,TYPE,FSTYPE,MODEL,SERIAL /dev/sdOLD /dev/sdNEW
如果阵列使用分区作为成员,必须为新盘建立与原盘相同或兼容的分区布局。替换盘上的原有数据会在后续操作中被覆盖,确认该盘不包含需要保留的数据。
对于 GPT 磁盘,可以在确认源盘、目标盘无误后复制分区表。下面只是示例,/dev/sdSOURCE 应是健康成员所在磁盘,/dev/sdNEW 应是空的替换盘:
sudo sgdisk --print /dev/sdSOURCE
sudo sgdisk --print /dev/sdNEW
sudo sgdisk --replicate=/dev/sdNEW /dev/sdSOURCE
sudo sgdisk --randomize-guids /dev/sdNEW
sudo partprobe /dev/sdNEW
sudo udevadm settle
sudo lsblk /dev/sdNEW
--replicate 会覆盖目标盘的分区表,--randomize-guids 用于避免整盘复制后出现重复 GUID。源盘和目标盘写反会造成严重后果,执行前应至少通过型号、容量和序列号交叉核对两次。
如果一个物理盘上有多个阵列分区,复制分区表后需要分别将对应分区加入各自阵列。若阵列直接使用整块磁盘而不是分区,则不应凭经验添加 /dev/sdNEW1,应按照 mdadm --detail 显示的成员形式操作。
8. 添加替换盘并观察重建
确认新盘或新分区已经出现,且容量和类型符合要求后,执行添加:
sudo mdadm --manage /dev/md0 --add /dev/disk/by-id/ata-EXAMPLE_NEW_DISK-part1
成功后,mdadm 通常会立即开始恢复或重建。查看进度:
sudo cat /proc/mdstat
sudo mdadm --detail /dev/md0
sudo cat /sys/block/md0/md/sync_action
sudo cat /sys/block/md0/md/degraded
/proc/mdstat 可能出现类似以下状态:
md0 : active raid1 sdb1[2] sda1[0]
976630336 blocks super 1.2 [2/2] [UU]
[=====>...............] recovery = 28.4% ...
这只是示例输出,不代表读者环境中的实际结果。判断重点是:
[UU]或对应 RAID 级别的全部成员标记恢复;recovery百分比持续增加;Failed Devices回到 0;- 重建完成后
State变为clean; - 内核日志没有出现新的 I/O 错误。
重建期间会读取现有成员并写入新成员,可能明显增加磁盘延迟。不要为了追求速度随意把系统级 RAID 重建参数调到很高。先通过 iostat 观察业务延迟,如果生产业务受到影响,再在维护窗口中评估临时调整,并记录原值以便恢复。
如果重建过程中出现新的介质错误、进度长时间不变或其他成员也被标记为异常,应暂停进一步变更,重新检查阵列级别、磁盘健康和备份状态。不要在多个成员异常时继续更换和添加设备。
9. 处理添加失败和重建异常
提示新盘容量不足
通常是新盘的实际扇区数小于原成员,或新盘分区结束位置少了几个扇区。可比较:
sudo blockdev --getsize64 /dev/sdOLD
sudo blockdev --getsize64 /dev/sdNEW
sudo fdisk -l /dev/sdNEW
更换容量更大的磁盘,或在确认分区起始位置、对齐方式和数据安全的前提下重新建立分区。不要为了“凑容量”随意修改正在使用的阵列成员分区。
提示设备仍被占用
先确认添加对象是否误指向了正在使用的文件系统、LVM物理卷或其他阵列:
sudo lsblk -f
sudo findmnt
sudo pvs
sudo vgs
sudo lvs
不要直接强制卸载生产文件系统,也不要对包含业务数据的设备执行 wipefs。mdadm 成员一般不是直接挂载点,但同一物理盘可能承载多个分区和多个上层用途。
新盘存在旧的mdadm元数据
可以先检查目标分区:
sudo mdadm --examine /dev/sdNEW1
如果确认这是可清空的替换盘,且其中没有需要保留的数据,才考虑清除旧的 md 元数据:
sudo mdadm --zero-superblock /dev/sdNEW1
--zero-superblock 会破坏目标设备上的阵列识别信息,通常没有简单回滚方式。只能对已经确认属于替换盘的设备执行,绝不能对现有健康成员或来源不明的磁盘使用。清除后再重新执行 --add。
重建中断或重新启动后阵列未自动组装
先确认阵列 UUID和成员状态:
sudo mdadm --detail /dev/md0
sudo mdadm --detail --scan
sudo cat /proc/mdstat
如果系统依赖 /etc/mdadm/mdadm.conf,应根据发行版更新正确的 ARRAY 配置,并避免重复追加冲突条目。Debian、Ubuntu 常见的 initramfs 更新方式是:
sudo update-initramfs -u
RHEL、Rocky Linux、AlmaLinux 等系统可能使用:
sudo dracut -f
具体配置文件位置和服务名称应以系统现有安装为准。更新启动镜像前,应保留原配置文件,并在维护窗口内验证启动配置。不要把 mdadm --detail --scan 的输出未经检查直接覆盖整个配置文件。
10. 重建完成后的验证
重建完成后,不要只看 [UU] 就结束。应从阵列、块设备、文件系统和业务四个层面复测。

阵列层
sudo mdadm --detail /dev/md0
sudo cat /proc/mdstat
sudo cat /sys/block/md0/md/degraded
预期结果通常包括:
State : clean;Failed Device为 0;Active Devices与阵列设计数量一致;degraded为0;/proc/mdstat中成员状态完整。
磁盘层
sudo smartctl -x /dev/sdNEW
sudo iostat -xz 1 5
sudo journalctl -k -b --no-pager | tail -n 100
确认新盘没有新增介质错误、超时或链路复位。重建期间产生的历史告警要与重建完成后的新告警区分开。
文件系统层
sudo df -hT
sudo df -ih
sudo findmnt
如果文件系统仍然报错,不能认为阵列重建会自动修复文件系统。文件系统检查必须遵循对应类型的要求,通常需要卸载后进行;对已挂载的生产文件系统直接运行修复型 fsck 或 xfs_repair,可能造成进一步损坏。
一致性检查
在阵列已经完成重建、业务负载可控并且具备备份的情况下,可以考虑执行一致性检查:
cat /sys/block/md0/md/sync_action
echo check | sudo tee /sys/block/md0/md/sync_action
watch -n 2 'cat /proc/mdstat; cat /sys/block/md0/md/mismatch_cnt'
一致性检查会读取阵列数据并增加 I/O 负载,不应在阵列仍处于降级或恢复阶段执行。检查结束后,应根据发行版和内核状态确认 sync_action 回到空闲状态。发现 mismatch_cnt 增加时,不要直接将其等同于硬盘损坏,应结合 RAID级别、写入模式、历史检查结果和内核日志分析。
修复后的复测与持续观察
阵列恢复后,建议在接下来的一个或多个业务周期内持续观察 mdadm --detail、/proc/mdstat、SMART、I/O 延迟和内核日志。重点确认没有新的成员掉线、I/O 超时、文件系统只读、inode持续增长或日志异常膨胀。
同时补齐后续运维措施:
- 为
mdadm配置邮件或监控告警,监测降级、恢复失败和成员变化; - 定期检查备份可恢复性,而不是只确认备份任务“成功完成”;
- 记录每块盘的序列号、槽位、阵列成员分区和更换时间;
- 将容量、inode、I/O延迟、文件系统只读状态和日志目录增长纳入同一套监控;
- 记录本次故障是介质错误、链路问题、控制器异常还是空间管理问题;
- 在非生产环境验证阵列启动配置、替换盘流程和恢复操作。
mdadm 阵列重建成功,只能说明阵列冗余状态恢复,不能替代文件系统检查、应用数据校验和备份恢复演练。只有阵列状态、存储延迟、文件系统可写性和业务读写都恢复正常,且经过持续观察没有新的错误,才算完成这次故障处理。
围绕阵列承载的业务与数据负载,A5数据提供香港、美国、日本等地区的物理服务器租用,配置覆盖常规建站、数据库及存储需求,包含SSD或NVMe方案,也有配备多块企业级机械硬盘的大容量存储系列。多地区资源及不同磁盘组合,为网站、业务后台和文件存储等场景提供部署基础。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/6006.html



