Linux mdadm阵列降级后怎么处理,如何确认故障盘并安全重建

发布人:A5数据发布时间:2026-10-27 11:35阅读量:145

Linux mdadm 阵列出现 degraded、[_U] 或 [_UU] 时,表示阵列当前缺少一个或多个成员,冗余能力已经下降,并不等同于文件系统已经损坏。处理重点不是立即执行 --remove 或更换硬盘,而是先确认 RAID 级别、阵列成员映射、内核错误和物理磁盘状态,再判断故障盘是否真的需要下线。

安全处理通常遵循这条路径:先保存状态并检查容量、inode、I/O 延迟、文件系统和日志增长情况;再使用稳定设备名和磁盘序列号确认故障盘;确认具备冗余的前提后下线故障成员,准备容量不小于原成员的替换盘,重新加入阵列并观察重建;最后验证阵列、文件系统和业务读写是否恢复。RAID0 或同时损坏多个关键成员时,不能按普通降级阵列直接重建。

先确认阵列处于哪一种降级状态

mdadm 管理的是块设备阵列,文件系统可能位于阵列之上,也可能经过 LVM、加密层或其他设备映射。因此,看到应用报错时,不能只根据“磁盘满了”或“阵列降级”其中一个现象下结论。

常见 RAID 级别的处理边界如下:

RAID级别单个成员故障后的通常状态是否可以按普通流程重建主要风险
RAID1仍可由剩余成员提供数据可以另一成员在重建前继续出错会失去冗余
RAID5可容忍一个成员故障可以,但重建压力较高重建期间再发生不可读错误可能无法恢复
RAID6通常可容忍两个成员故障可以需要确认没有超出可容忍的故障数量
RAID10取决于故障成员是否位于同一镜像组通常可以同一镜像组的成员同时故障可能导致数据不可用
RAID0没有冗余不能通过添加新盘恢复原数据应优先停止写入并从备份或专业恢复流程处理
linear、JBOD等取决于具体布局不能套用RAID1/5流程需要先确认数据分布和阵列元数据

降级阵列仍然可以提供服务,不代表可以忽略故障。此时任何额外的介质错误、控制器异常或误操作,都会扩大数据风险。

1. 低风险收集现场信息

以下命令以 /dev/md0 为例,实际操作前先根据 /proc/mdstat 找到阵列名称。命令主要用于读取状态,不会主动改变阵列。

sudo cat /proc/mdstat
sudo mdadm --detail /dev/md0
sudo lsblk -e7 -o NAME,KNAME,TYPE,SIZE,FSTYPE,MOUNTPOINTS,MODEL,SERIAL
sudo lsblk -f
sudo findmnt

重点查看以下字段:

  • /proc/mdstat 中的 active、RAID级别、成员设备和状态标记;
  • [UU]、[U_]、[_U] 等成员状态。U 表示对应位置存在正常成员,下划线表示缺失或失效;
  • mdadm --detail 中的 State、Active Devices、Working Devices、Failed Devices;
  • 阵列是否正在 recovery、resync 或 reshape;
  • 成员使用的是整块磁盘,例如 /dev/sda,还是分区,例如 /dev/sda1;
  • 阵列上方是否还有 LVM、加密设备或其他映射层。

可以进一步保存当前状态,便于后续比较:

sudo mdadm --detail /dev/md0 > /root/md0-detail-before.txt
sudo cp /proc/mdstat /root/mdstat-before.txt
sudo journalctl -k -b --no-pager > /root/kernel-log-before.txt

这些文件只是状态记录,不是数据备份。若阵列中仍有重要数据,应先确认现有备份可用,至少将关键业务数据复制到独立存储。不要把正在降级的阵列当成备份使用。

2. 先排除容量、inode和日志增长问题

阵列降级和磁盘空间耗尽可能同时出现,但两者不是同一个问题。文件系统空间或 inode 用尽时,应用可能报“无法写入”“数据库只读”“日志写入失败”,这并不意味着某块盘已经物理损坏。

检查文件系统容量

df -hT
df -ih
sudo du -xhd1 / 2>/dev/null | sort -h
sudo du -xhd1 /var 2>/dev/null | sort -h

结果可以这样理解:

  • df -hT 的 Use% 接近 100%,说明数据块空间不足;
  • df -ih 的 inode 使用率接近 100%,即使还有数十 GB 空间,也可能无法创建新文件;
  • /var、数据库目录、容器目录或日志目录增长明显时,应进一步定位具体子目录;
  • 如果 df 显示空间正常,但应用仍然无法写入,需要检查 inode、权限、只读挂载和上层存储错误。

不要在未确认日志保留策略前直接删除 /var/log 或数据库文件。日志可以先压缩、归档到独立存储,再根据服务的日志轮转配置处理。

检查 systemd 日志和普通日志

sudo journalctl --disk-usage
sudo du -sh /var/log/* 2>/dev/null | sort -h
sudo journalctl -p warning..alert -b --no-pager

如果只是日志增长导致空间耗尽,处理方向是恢复可用空间、修正日志轮转或排查持续报错的服务,而不是更换阵列成员。清理日志属于有影响的操作,执行前应确认日志已经归档,且不会影响审计、故障取证或合规要求。

3. 从I/O延迟和内核日志确认故障性质

阵列降级时,重建、超时重试或坏扇区读取都会增加 I/O 延迟。反过来,控制器、链路或存储后端的短暂异常,也可能让健康磁盘被 mdadm 标记为失效。

检查设备延迟

如果系统没有 iostat,可先安装与发行版匹配的 sysstat 软件包。检查命令如下:

sudo iostat -xz 1 5
sudo vmstat 1 5

iostat 中常见字段含义:

  • await:请求从提交到完成的平均等待时间,单位通常为毫秒;
  • aqu-sz:平均排队深度;
  • %util:设备忙碌时间占比;
  • r/s、w/s:每秒读写请求数量;
  • rkB/s、wkB/s:每秒读写吞吐量,通常以 KB/s 表示。

例如,某设备持续出现较高 await、队列增长,同时内核日志出现 I/O 超时,比单独看到 %util 接近 100%更能说明设备或链路存在问题。SSD 在高并发下 %util 较高并不必然意味着硬盘损坏,仍需结合延迟、错误计数和 SMART 信息判断。

检查内核和块设备错误

sudo journalctl -k -b --no-pager | grep -Ei \
'md|raid|ata|scsi|sas|blk_update_request|I/O error|timeout|reset|uncorrect|medium error|read-only'

常见线索包括:

  • UNC、uncorrectable、medium error:可能涉及介质不可读;
  • I/O error、blk_update_request:块设备请求失败,但还不能单独证明磁盘损坏;
  • link reset、hard resetting link、device offlined:可能是线缆、背板、HBA、供电或控制器链路问题;
  • md: disk failure、hot removed:说明 md 层已经记录成员失效;
  • 文件系统出现 remounting filesystem read-only:需要同时检查文件系统和底层块设备。

如果是云主机或虚拟化环境,宿主机提供的虚拟盘可能不支持完整 SMART 信息。此时应结合云平台事件、虚拟磁盘状态和内核日志判断,不能因为 smartctl 无法读取就认定磁盘正常或异常。

4. 确认故障盘,不要只按 /dev/sdX 判断

/dev/sda、/dev/sdb 这类名称可能因重启、设备枚举顺序或控制器变化而改变。执行下线操作前,必须把 mdadm 成员、操作系统设备、序列号和机箱中的物理盘对应起来。

4. 确认故障盘,不要只按 /dev/sdX 判断配图

先查看稳定路径:

sudo ls -l /dev/disk/by-id/
sudo ls -l /dev/disk/by-path/
sudo udevadm info --query=all --name=/dev/sdX | grep -E 'ID_MODEL|ID_SERIAL|ID_WWN|ID_PATH'

将 /dev/sdX 替换为实际成员设备。然后读取硬盘健康信息:

sudo smartctl -x /dev/sdX

如果是 NVMe 设备,可以使用:

sudo nvme list
sudo nvme smart-log /dev/nvme0

重点关注:

  • 重新分配扇区、待处理扇区和不可修复扇区;
  • 介质错误计数、错误日志和自检失败记录;
  • SAS/SCSI 设备的 Medium Error、Hardware Error;
  • 设备序列号、WWN与机柜标签是否一致。

SMART 健康状态为 PASSED 不能证明设备绝对正常。某些链路故障、控制器问题和间歇性超时不会立即反映为 SMART 失败。相反,如果 SMART、内核日志和 mdadm 状态都指向同一设备,替换该盘的可信度更高。

5. 根据结果选择处理分支

分支一:阵列成员失效,物理盘也有错误

如果 mdadm --detail 显示某成员为 faulty 或 removed,并且该成员对应的序列号设备在 SMART、内核日志中出现介质错误,通常可以按替换盘流程处理。

5. 根据结果选择处理分支配图

此时应确认:

  1. RAID级别具备冗余;
  2. 只有预期数量的成员失效;
  3. 备份可以读取;
  4. 替换盘容量不小于原成员的可用容量;
  5. 机房或云平台侧已经确认替换对象。

分支二:阵列降级,但磁盘没有介质错误

如果日志主要出现链路重置、控制器复位、SAS路径丢失或短暂超时,而磁盘自检没有明显异常,不要反复执行“失效—移除—重新加入”。

这类问题可能来自:

  • SATA/SAS线缆或背板接触不良;
  • HBA、RAID控制器固件或驱动;
  • 供电不稳定;
  • PCIe链路异常;
  • 虚拟化或云平台后端短暂不可用。

应先处理链路和控制器问题,再考虑重建。否则新盘加入后仍可能因同一链路问题再次掉盘。

分支三:阵列状态正常,实际问题是空间、inode或日志

如果 mdadm --detail 显示 clean,但 df -h、df -i 或日志目录已经达到阈值,问题不在阵列成员。此时应按文件系统、应用日志和容量规划处理,不能通过更换硬盘解决 inode 耗尽。

分支四:多个成员异常或阵列为RAID0

如果同一阵列有多个关键成员同时失效,或阵列级别为 RAID0,不要执行 mdadm --create、--zero-superblock、格式化或盲目添加新盘。这些操作可能覆盖仍可恢复的数据和元数据。

应立即减少写入,保存当前状态,确认是否存在完整备份。没有可用备份时,优先制作块级副本或交由具备阵列恢复经验的人员处理,不要通过反复重启和重建尝试“碰运气”。

6. 安全下线故障成员

以下命令仅适用于已经确认目标成员,并且阵列具备冗余的情况。示例中的路径必须替换成 mdadm --detail 和序列号核对后的实际成员路径。

如果成员已经是 faulty 或 removed,通常不需要再次执行 --fail,先尝试移除:

sudo mdadm --manage /dev/md0 --remove /dev/disk/by-id/ata-EXAMPLE_DISK-part1

如果成员仍被 mdadm 视为活动成员,但已经确认该盘需要下线,才执行:

sudo mdadm --manage /dev/md0 --fail /dev/disk/by-id/ata-EXAMPLE_DISK-part1
sudo mdadm --manage /dev/md0 --remove /dev/disk/by-id/ata-EXAMPLE_DISK-part1

--fail 会立即降低阵列的可用成员数,--remove 会将其从当前阵列中移除。目标设备一旦选错,可能把健康成员标记为失效,因此不能根据 /dev/sdX 的字母顺序猜测。

执行后检查:

sudo mdadm --detail /dev/md0
sudo cat /proc/mdstat

如果设备已经物理掉线,--remove 可能提示设备不存在;只要 mdadm --detail 已经显示该成员为 removed 或 faulty,就应先核对状态,不要为了“清理提示”执行其他破坏性命令。

7. 准备容量合适的替换盘

替换盘不能只看厂商标称容量。不同批次硬盘即使都标注为 4 TB,实际可用扇区数也可能略有差异。新盘可用容量至少要不小于原阵列成员,建议选择略大于原盘的设备。

7. 准备容量合适的替换盘配图

查看字节容量和分区布局:

sudo blockdev --getsize64 /dev/sdOLD
sudo blockdev --getsize64 /dev/sdNEW
sudo fdisk -l /dev/sdOLD
sudo fdisk -l /dev/sdNEW
sudo lsblk -b -o NAME,SIZE,TYPE,FSTYPE,MODEL,SERIAL /dev/sdOLD /dev/sdNEW

如果阵列使用分区作为成员,必须为新盘建立与原盘相同或兼容的分区布局。替换盘上的原有数据会在后续操作中被覆盖,确认该盘不包含需要保留的数据。

对于 GPT 磁盘,可以在确认源盘、目标盘无误后复制分区表。下面只是示例,/dev/sdSOURCE 应是健康成员所在磁盘,/dev/sdNEW 应是空的替换盘:

sudo sgdisk --print /dev/sdSOURCE
sudo sgdisk --print /dev/sdNEW

sudo sgdisk --replicate=/dev/sdNEW /dev/sdSOURCE
sudo sgdisk --randomize-guids /dev/sdNEW

sudo partprobe /dev/sdNEW
sudo udevadm settle
sudo lsblk /dev/sdNEW

--replicate 会覆盖目标盘的分区表,--randomize-guids 用于避免整盘复制后出现重复 GUID。源盘和目标盘写反会造成严重后果,执行前应至少通过型号、容量和序列号交叉核对两次。

如果一个物理盘上有多个阵列分区,复制分区表后需要分别将对应分区加入各自阵列。若阵列直接使用整块磁盘而不是分区,则不应凭经验添加 /dev/sdNEW1,应按照 mdadm --detail 显示的成员形式操作。

8. 添加替换盘并观察重建

确认新盘或新分区已经出现,且容量和类型符合要求后,执行添加:

sudo mdadm --manage /dev/md0 --add /dev/disk/by-id/ata-EXAMPLE_NEW_DISK-part1

成功后,mdadm 通常会立即开始恢复或重建。查看进度:

sudo cat /proc/mdstat
sudo mdadm --detail /dev/md0
sudo cat /sys/block/md0/md/sync_action
sudo cat /sys/block/md0/md/degraded

/proc/mdstat 可能出现类似以下状态:

md0 : active raid1 sdb1[2] sda1[0]
      976630336 blocks super 1.2 [2/2] [UU]
      [=====>...............]  recovery = 28.4% ...

这只是示例输出,不代表读者环境中的实际结果。判断重点是:

  • [UU] 或对应 RAID 级别的全部成员标记恢复;
  • recovery 百分比持续增加;
  • Failed Devices 回到 0;
  • 重建完成后 State 变为 clean;
  • 内核日志没有出现新的 I/O 错误。

重建期间会读取现有成员并写入新成员,可能明显增加磁盘延迟。不要为了追求速度随意把系统级 RAID 重建参数调到很高。先通过 iostat 观察业务延迟,如果生产业务受到影响,再在维护窗口中评估临时调整,并记录原值以便恢复。

如果重建过程中出现新的介质错误、进度长时间不变或其他成员也被标记为异常,应暂停进一步变更,重新检查阵列级别、磁盘健康和备份状态。不要在多个成员异常时继续更换和添加设备。

9. 处理添加失败和重建异常

提示新盘容量不足

通常是新盘的实际扇区数小于原成员,或新盘分区结束位置少了几个扇区。可比较:

sudo blockdev --getsize64 /dev/sdOLD
sudo blockdev --getsize64 /dev/sdNEW
sudo fdisk -l /dev/sdNEW

更换容量更大的磁盘,或在确认分区起始位置、对齐方式和数据安全的前提下重新建立分区。不要为了“凑容量”随意修改正在使用的阵列成员分区。

提示设备仍被占用

先确认添加对象是否误指向了正在使用的文件系统、LVM物理卷或其他阵列:

sudo lsblk -f
sudo findmnt
sudo pvs
sudo vgs
sudo lvs

不要直接强制卸载生产文件系统,也不要对包含业务数据的设备执行 wipefs。mdadm 成员一般不是直接挂载点,但同一物理盘可能承载多个分区和多个上层用途。

新盘存在旧的mdadm元数据

可以先检查目标分区:

sudo mdadm --examine /dev/sdNEW1

如果确认这是可清空的替换盘,且其中没有需要保留的数据,才考虑清除旧的 md 元数据:

sudo mdadm --zero-superblock /dev/sdNEW1

--zero-superblock 会破坏目标设备上的阵列识别信息,通常没有简单回滚方式。只能对已经确认属于替换盘的设备执行,绝不能对现有健康成员或来源不明的磁盘使用。清除后再重新执行 --add。

重建中断或重新启动后阵列未自动组装

先确认阵列 UUID和成员状态:

sudo mdadm --detail /dev/md0
sudo mdadm --detail --scan
sudo cat /proc/mdstat

如果系统依赖 /etc/mdadm/mdadm.conf,应根据发行版更新正确的 ARRAY 配置,并避免重复追加冲突条目。Debian、Ubuntu 常见的 initramfs 更新方式是:

sudo update-initramfs -u

RHEL、Rocky Linux、AlmaLinux 等系统可能使用:

sudo dracut -f

具体配置文件位置和服务名称应以系统现有安装为准。更新启动镜像前,应保留原配置文件,并在维护窗口内验证启动配置。不要把 mdadm --detail --scan 的输出未经检查直接覆盖整个配置文件。

10. 重建完成后的验证

重建完成后,不要只看 [UU] 就结束。应从阵列、块设备、文件系统和业务四个层面复测。

10. 重建完成后的验证配图

阵列层

sudo mdadm --detail /dev/md0
sudo cat /proc/mdstat
sudo cat /sys/block/md0/md/degraded

预期结果通常包括:

  • State : clean;
  • Failed Device 为 0;
  • Active Devices 与阵列设计数量一致;
  • degraded 为 0;
  • /proc/mdstat 中成员状态完整。

磁盘层

sudo smartctl -x /dev/sdNEW
sudo iostat -xz 1 5
sudo journalctl -k -b --no-pager | tail -n 100

确认新盘没有新增介质错误、超时或链路复位。重建期间产生的历史告警要与重建完成后的新告警区分开。

文件系统层

sudo df -hT
sudo df -ih
sudo findmnt

如果文件系统仍然报错,不能认为阵列重建会自动修复文件系统。文件系统检查必须遵循对应类型的要求,通常需要卸载后进行;对已挂载的生产文件系统直接运行修复型 fsck 或 xfs_repair,可能造成进一步损坏。

一致性检查

在阵列已经完成重建、业务负载可控并且具备备份的情况下,可以考虑执行一致性检查:

cat /sys/block/md0/md/sync_action
echo check | sudo tee /sys/block/md0/md/sync_action
watch -n 2 'cat /proc/mdstat; cat /sys/block/md0/md/mismatch_cnt'

一致性检查会读取阵列数据并增加 I/O 负载,不应在阵列仍处于降级或恢复阶段执行。检查结束后,应根据发行版和内核状态确认 sync_action 回到空闲状态。发现 mismatch_cnt 增加时,不要直接将其等同于硬盘损坏,应结合 RAID级别、写入模式、历史检查结果和内核日志分析。

修复后的复测与持续观察

阵列恢复后,建议在接下来的一个或多个业务周期内持续观察 mdadm --detail、/proc/mdstat、SMART、I/O 延迟和内核日志。重点确认没有新的成员掉线、I/O 超时、文件系统只读、inode持续增长或日志异常膨胀。

同时补齐后续运维措施:

  • 为 mdadm 配置邮件或监控告警,监测降级、恢复失败和成员变化;
  • 定期检查备份可恢复性,而不是只确认备份任务“成功完成”;
  • 记录每块盘的序列号、槽位、阵列成员分区和更换时间;
  • 将容量、inode、I/O延迟、文件系统只读状态和日志目录增长纳入同一套监控;
  • 记录本次故障是介质错误、链路问题、控制器异常还是空间管理问题;
  • 在非生产环境验证阵列启动配置、替换盘流程和恢复操作。

mdadm 阵列重建成功,只能说明阵列冗余状态恢复,不能替代文件系统检查、应用数据校验和备份恢复演练。只有阵列状态、存储延迟、文件系统可写性和业务读写都恢复正常,且经过持续观察没有新的错误,才算完成这次故障处理。

围绕阵列承载的业务与数据负载,A5数据提供香港、美国、日本等地区的物理服务器租用,配置覆盖常规建站、数据库及存储需求,包含SSD或NVMe方案,也有配备多块企业级机械硬盘的大容量存储系列。多地区资源及不同磁盘组合,为网站、业务后台和文件存储等场景提供部署基础。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/6006.html

相关推荐