香港服务器RAID降级后先确认哪块磁盘,重建前要检查什么

发布人:A5数据发布时间:2026-10-21 11:17阅读量:188

处理香港服务器出现 RAID 降级时,第一步不是拔盘或直接点击“Rebuild”,而是从 RAID 管理层确认故障成员,再把阵列中的槽位、序列号、WWN 与操作系统设备名对应起来。Linux 中的 /dev/sda、/dev/sdb 可能因重启、控制器重新扫描或设备枚举顺序变化,不能单独作为换盘依据。

开篇说明配图

重建前至少要检查五项:故障盘是否真的失联或出现介质错误、替换盘容量和扇区布局是否匹配、文件系统是否已经写满或 inode 耗尽、当前 I/O 延迟是否过高,以及内核和控制器日志是否仍在产生新错误。如果只是链路抖动、背板异常或控制器重置,贸然重建可能把原本可恢复的成员盘变成需要重新同步的设备。

开篇说明配图

现状与条件:先区分 RAID 类型和故障范围

香港服务器可能使用 Linux mdadm 软件 RAID、硬件 RAID 控制器,或由云平台托管的虚拟磁盘阵列。三种环境的确认方式不同:

  • Linux md RAID:通过 /proc/mdstat 和 mdadm --detail 查看成员状态。
  • 硬件 RAID:通过 RAID 控制器管理界面或对应厂商工具查看物理槽位、序列号和故障状态。
  • 云服务器或托管存储:操作系统内可能只能看到一个虚拟块设备,底层成员盘需要由服务商或平台侧确认。

先不要执行 mdadm --fail、mdadm --remove、mdadm --zero-superblock,也不要在没有槽位映射的情况下拔出物理磁盘。这些操作可能导致数据不可访问,或者让原本只是链路异常的磁盘进入重建流程。

记录当前阵列状态

以下命令适用于常见的 Linux md RAID,/dev/mdX 需要替换为实际阵列设备。它们主要用于读取状态,不会主动修改阵列。

sudo lsblk -e7 -o NAME,KNAME,TYPE,SIZE,FSTYPE,MOUNTPOINTS,MODEL,SERIAL,WWN
cat /proc/mdstat
sudo mdadm --detail /dev/mdX
sudo mdadm --detail --scan
findmnt -t ext4,xfs,btrfs
df -hT
df -ih

重点记录以下信息:

  • RAID 级别,例如 RAID1、RAID5、RAID6 或 RAID10。
  • 阵列当前是 clean、degraded、recovering 还是 resyncing。
  • 哪个成员显示为 faulty、removed 或缺失。
  • Used Dev Size、成员设备路径和活动设备数量。
  • 阵列对应的文件系统、挂载点和读写状态。
  • 当前是否已经存在重建任务。

/proc/mdstat 中常见的成员标记类似 [UU]、[U_]。以双盘冗余阵列为例,[U_] 通常表示一个成员正常、另一个成员缺失或失效。但最终仍应以 mdadm --detail 的设备列表和状态字段为准,不能只看这一段字符。

如果使用的是硬件 RAID,先确认控制器和物理盘是否由系统直接暴露。可以使用以下命令确认控制器类型:

lspci -nn | grep -Ei 'raid|sas|scsi|storage'
sudo dmesg -T | grep -Ei 'megaraid|hba|sas|scsi|raid'

硬件 RAID 中,操作系统看到的 /dev/sda 往往只是逻辑卷,不能直接把它当作物理故障盘。应在控制器管理工具中查看 Enclosure、Slot、Serial Number、State 等字段,再由机房人员按照槽位更换。香港机房的服务器如果不支持现场操作,应先提交远程协助或换盘工单,避免依据错误的设备名拔盘。

日常操作:先确认具体故障盘

1. 从阵列状态找到故障成员

对于 md RAID,先查看阵列成员:

sudo mdadm --detail /dev/mdX

典型判断方式如下:

阵列表现优先判断是否立即重建
成员为 faulty,内核持续报告介质错误磁盘本身异常概率较高确认序列号和替换盘后再重建
成员为 removed,但日志只有链路重置或设备掉线可能是线缆、背板、供电或控制器问题先排查连接和控制器
多个成员同时掉线可能是控制器、背板、供电或阵列元数据问题不要直接更换多块盘
阵列已在 resync 或 recover已有重建任务不要重复添加成员
RAID0 出现成员异常没有冗余恢复能力通常需要从备份恢复

如果是 RAID5、RAID6 或 RAID10,必须结合具体布局理解“降级”的含义。RAID5 在一块成员失效后仍可能提供服务,但第二块成员再出现不可读扇区就可能影响恢复;RAID6 可承受的故障数量不同;RAID10 则要看故障盘是否位于同一镜像组。不能只根据“还有一个盘在线”判断风险。

2. 用序列号和 WWN 映射物理磁盘

确认成员路径后,使用序列号、WWN、型号和主机通道进行二次核对:

sudo lsblk -o NAME,KNAME,TYPE,SIZE,MODEL,SERIAL,WWN,HCTL,FSTYPE,MOUNTPOINTS
ls -l /dev/disk/by-id/
sudo udevadm info --query=property --name=/dev/sdX
sudo smartctl -i /dev/sdX

将 /dev/sdX 替换为阵列输出中对应的成员设备。需要同时满足以下条件,才可以把系统设备映射到物理盘:

  1. 阵列成员记录中的设备路径与当前系统设备一致。
  2. lsblk 或 smartctl 显示的序列号与控制器或机箱标签一致。
  3. 容量、型号、WWN 和主机通道没有明显冲突。
  4. 如果是硬件 RAID,控制器槽位与机箱物理槽位一致。

不要只根据容量判断。相同的 3.84 TB 或 8 TB 设备可能属于不同槽位,也可能是系统盘、热备盘或阵列成员盘。某些控制器还会将故障盘显示为 Offline、Failed、Predictive Failure 或 Foreign,这些状态需要结合控制器日志解释。

3. 查看内核和存储日志

故障盘的判断不能脱离日志。查看最近一段时间的内核和系统日志:

sudo journalctl -k --since "6 hours ago" --no-pager
sudo journalctl -p warning..alert --since "6 hours ago" --no-pager
sudo dmesg -T | grep -Ei 'I/O error|uncorrect|medium error|reset|timeout|failed|sense|link|abort'

不同日志通常对应不同方向:

  • UNC、medium error、unrecoverable read error:更接近盘片、闪存介质或不可修复扇区问题。
  • link reset、device offlined、SAS link down:优先检查线缆、背板、HBA、供电和控制器。
  • 大量 I/O timeout 后控制器重置:可能是设备卡死、队列阻塞或控制器异常。
  • 文件系统出现 EXT4-fs error、XFS 错误或被切换为只读:需要同时处理文件系统层,不能只换盘。
  • 同一时间多个磁盘报告错误:优先怀疑共享链路、背板、控制器或供电,而不是同时假设多块盘损坏。

如果 SMART 显示 PASSED,也不能据此排除问题。链路掉线、控制器超时和部分固件异常不一定会体现在 SMART 结果中;反过来,存在重映射扇区或待处理扇区时,也不能继续把该盘作为可靠成员使用。

重建前要检查的五项内容

1. 检查替换盘容量和成员布局

替换盘不能只看厂商标称容量,应比较实际字节数和分区布局:

sudo lsblk -b -o NAME,TYPE,SIZE,MODEL,SERIAL
sudo blockdev --getsize64 /dev/sdX
sudo sfdisk -d /dev/sdX
sudo cat /sys/block/sdX/queue/logical_block_size
sudo cat /sys/block/sdX/queue/physical_block_size

对于使用分区作为 RAID 成员的阵列,原成员可能是 /dev/sdb1,而不是整块 /dev/sdb。新盘需要具备相同或更大的可用成员空间,并保持兼容的分区类型、起始位置和扇区布局。名义上同为 4 TB 的两块磁盘,实际字节数可能略有差异,较小的一块可能无法加入阵列。

重建前要检查的五项内容:检查替换盘容量和成员布局配图

如果阵列成员为整盘设备,应按照原阵列的成员形式准备;如果成员为分区,则应先确认原分区表。不要为了“清理新盘”而误操作旧成员,也不要对尚未确认身份的设备执行 wipefs 或 mdadm --zero-superblock。

2. 检查容量使用率和 inode

磁盘降级与文件系统写满可能同时发生,但两者不是同一问题:

df -hT
df -ih
sudo du -xhd1 /var 2>/dev/null | sort -h
sudo journalctl --disk-usage

判断重点如下:

  • Use% 接近 100%,说明数据块不足,可能导致数据库、日志服务或临时文件创建失败。
  • IUse% 接近 100%,说明 inode 用尽,即使还有可用容量,也可能无法创建新文件。
  • /var/log、应用日志目录或容器日志持续增长,可能是磁盘错误反复触发告警。
  • 阵列重建需要持续读写,文件系统已经接近满载时,服务故障和 I/O 排队可能进一步加重。

不要为了腾空间直接删除整个日志目录,也不要随意截断数据库、审计或业务日志。先确认日志保留要求、备份状态和应用是否仍在写入,再通过已有的日志轮转策略处理。journalctl --vacuum-size 等清理命令会删除旧日志,执行前应确认保留期限和审计要求;如果误删,通常不能通过 RAID 操作恢复。

3. 检查 I/O 延迟和当前负载

重建会占用磁盘读写带宽。生产业务正在高峰运行时,即使替换盘已经准备好,也不宜忽略当前 I/O 排队:

iostat -xz 1 5
vmstat 1 5
pidstat -d 1 5

重点观察:

  • await 是否持续高于平时,而不是单次尖峰。
  • %util 是否长期接近满载。
  • 读写请求是否集中在某个设备或某个业务进程。
  • vmstat 中是否出现明显的 I/O 等待。
  • 是否有备份、数据库压缩、日志归档或批量扫描任务正在运行。

I/O 延迟没有适用于所有 SSD、HDD 和控制器的统一阈值。可以用平时同一业务时段的基线比较。比如,原本稳定在几毫秒的 SSD 如果持续升到几十毫秒,需要谨慎;机械盘在高并发下出现更高延迟也可能是正常现象,但如果伴随超时和介质错误,就不能只按负载解释。

4. 检查文件系统状态

先确认阵列设备与文件系统的关系:

findmnt -t ext4,xfs,btrfs
sudo lsblk -f

如果日志中没有文件系统错误,普通 RAID 成员重建通常不要求先运行 fsck。不要把 RAID 重建和文件系统修复混为一个操作。

如果已经出现文件系统错误,应在阵列层稳定、完成备份并安排维护窗口后处理:

# 仅用于已卸载文件系统的维护窗口,执行前确认设备路径
sudo e2fsck -fn /dev/mdX
sudo xfs_repair -n /dev/mdX

ext4 和 XFS 的检查工具不同,不能混用。e2fsck 或 xfs_repair 不应直接对生产中已挂载的文件系统执行;尤其不能因为阵列降级就对业务挂载点强行运行修复。Btrfs 则应使用其对应的设备状态和 scrub 工具,不能套用 ext4 的检查方式。

5. 检查日志是否仍在增长

在准备重建前,至少查看最近几小时的错误是否还在增加:

sudo journalctl -k --since "30 minutes ago" --no-pager
sudo journalctl --disk-usage
sudo find /var/log -xdev -type f -printf '%s %p\n' 2>/dev/null | sort -n | tail -20

如果每分钟仍出现新的 I/O 错误、超时或链路重置,应先处理底层存储问题。此时开始重建可能造成:

  • 重建读取源盘时再次遇到不可读扇区;
  • 控制器队列持续堆积,业务响应变慢;
  • 新盘同步中断,阵列反复进入降级状态;
  • 日志继续增长,最终引发文件系统空间或 inode 耗尽。

日常重建操作:只在身份确认后执行

以下流程只适用于已经确认的 Linux md RAID。硬件 RAID 应在控制器管理界面按物理槽位执行,不能把下面的 mdadm 命令套用到硬件逻辑卷上。

1. 先暂停高 I/O 任务

在业务允许的范围内,暂停非必要的备份、批量导入、归档、压缩和大规模扫描任务。不要为了降低负载直接停止数据库或删除进程;如果必须停止服务,应先确认应用恢复方式、数据一致性和维护窗口。

同时确认:

  • 有近期可用备份,且至少抽样验证过恢复;
  • 原故障盘没有被误识别为新盘;
  • 替换盘容量不小于原成员的实际需要;
  • 阵列中没有已经在运行的重建任务;
  • 远程访问链路和带外管理可用。

2. 根据成员状态选择操作

如果故障成员已经被阵列标记为 faulty 或 removed,并且物理盘已经确认更换,通常才进入移除和添加流程:

# 仅适用于已经确认设备身份的 md RAID
sudo mdadm --detail /dev/mdX

# 如果旧成员仍显示为 failed,且已确认需要移除
sudo mdadm /dev/mdX --remove /dev/disk/by-id/<old-member>

# 添加已核对序列号、容量和分区布局的新成员
sudo mdadm /dev/mdX --add /dev/disk/by-id/<replacement-member>

上述命令会改变阵列状态,影响范围包括阵列同步、磁盘 I/O 和业务延迟。执行前应保留 mdadm --detail、lsblk、日志和序列号记录。不要把“添加失败”当成继续尝试不同设备的理由。

如果原盘只是因为链路瞬断而被移除,但 SMART、控制器和日志均显示介质健康,才可以在根因解决后评估重新加入原盘。不要通过反复执行 --add 或 --re-add 试探设备。设备未完全确认前,保留原盘和阵列元数据,交由存储管理员或服务商判断。

如果误将错误设备加入阵列,不能简单地认为执行 --remove 就能完全回滚。同步可能已经向该设备写入阵列数据,错误操作也可能破坏设备上原有内容。应立即停止后续变更,保留现场信息,确认阵列当前状态和同步进度,再决定是否恢复。

3. 硬件 RAID 按槽位重建

硬件 RAID 的常见流程是:

  1. 在控制器界面确认逻辑阵列处于降级状态。
  2. 记录故障盘的机箱槽位、序列号、容量和控制器状态。
  3. 确认新盘已被控制器识别,容量满足成员要求。
  4. 在对应槽位执行替换、指派为成员或开始重建。
  5. 通过控制器界面查看重建进度和错误计数。

如果控制器显示 Foreign、Unconfigured Bad、Predictive Failure 或类似状态,不要直接选择初始化、清除外来配置或强制导入。不同控制器对这些状态的含义和处理顺序不同,误操作可能覆盖阵列元数据。无法确认时,应先导出控制器配置和事件日志,并联系硬件厂商或机房技术人员。

结果检查:确认重建真的完成

重建开始后,先观察阵列状态,而不是只看管理界面是否出现“进行中”:

watch -n 2 cat /proc/mdstat

另开终端定期检查:

sudo mdadm --detail /dev/mdX
iostat -xz 1 5
sudo journalctl -k --since "10 minutes ago" --no-pager

正常完成后,通常应看到:

结果检查:确认重建真的完成配图

  • 阵列状态回到 clean 或对应的正常状态;
  • 活动成员数量与 RAID 布局一致;
  • 不再显示 faulty、removed 或缺失成员;
  • /proc/mdstat 不再显示 recovery、resync;
  • 内核日志没有新增的介质错误、超时或链路重置;
  • 文件系统仍保持预期的挂载和读写状态;
  • 应用能够完成基本读写、登录、查询或健康检查。

重建时间取决于成员盘容量、阵列级别、控制器策略和业务负载,不应只根据文件系统实际使用量估算。以十进制单位计算,一块 3.84 TB 成员盘按 100 MB/s 连续同步,理论时间约为:

3.84 TB × 1,000,000 MB/TB ÷ 100 MB/s = 38,400 秒,约 10.7 小时。

实际重建还要处理校验、随机 I/O、业务读写和错误重试,可能明显长于理论值。若在重建过程中业务延迟持续升高,应先记录当前状态,再根据控制器或 md RAID 的策略调整重建速度;不要频繁停止和重新启动同步任务。

围绕香港服务器的阵列与数据存储需求,A5数据提供多类物理服务器资源,涵盖常规计算配置及存储型方案。香港存储系列配备四块14TB企业级机械硬盘和H730控制器,可用于大容量文件、备份与归档场景;另有SSD或NVMe存储配置,适配不同的数据读写与业务部署需求。

异常处理:按结果分支处置

阵列降级,但磁盘 SMART 没有明显错误

优先检查背板、线缆、HBA、控制器事件和供电。若多个成员在同一时间出现掉线,更不能直接更换多块盘。对硬件 RAID,应查看控制器是否记录了链路重置或缓存异常;对 md RAID,应确认设备是否实际消失于系统,而不是仅仅被阵列标记为移除。

新盘容量足够,但无法加入阵列

检查以下内容:

  • 实际字节数是否小于原成员;
  • 新盘是整盘还是分区,是否与原成员形式一致;
  • 分区起始位置和类型是否兼容;
  • 新盘是否残留其他阵列的元数据;
  • 阵列是否已经处于重建状态;
  • 控制器是否将新盘标记为外来配置或不可用。

不要在旧盘身份不明时执行清除元数据。清除操作通常不可逆,回滚方式有限,必须先确认该设备确实是新盘且不再需要保留其中数据。

重建过程中再次出现 I/O 错误

立即确认是新加入盘、原有成员盘,还是控制器链路产生错误。如果 RAID5、RAID6 或 RAID10 在重建时发现另一成员无法读取,应停止继续扩大变更范围,优先保护当前可读取数据。此时应考虑按业务优先级复制重要数据、制作镜像或从备份恢复,而不是反复重试重建。

文件系统变为只读或空间、inode 用尽

这属于文件系统或容量问题,不等同于 RAID 成员故障。先确认业务是否仍在写入、日志是否继续增长,并按维护流程处理日志和临时文件。文件系统已经出现一致性错误时,不要在挂载状态下运行修复工具;应先完成阵列层确认和数据保护,再安排卸载检查或恢复。

RAID0 或多个成员同时失效

RAID0 没有冗余成员,不能通过普通“换一块盘并重建”恢复。多个成员同时失效时,也不应继续尝试添加空盘碰运气。可行路径通常是从备份、快照或业务侧副本恢复到新的阵列,并在恢复后验证数据库、文件校验和应用数据。

上线或验收检查清单

完成重建或恢复后,按以下顺序验收:

  • [ ] 已记录 RAID 级别、成员数量、物理槽位、序列号和 WWN。
  • [ ] 阵列状态正常,不再显示 degraded、faulty、removed 或 rebuild。
  • [ ] 新盘容量、分区布局和成员类型与阵列要求匹配。
  • [ ] df -hT 显示容量正常,df -ih 没有 inode 即将耗尽。
  • [ ] 文件系统挂载点、读写状态和启动配置没有异常变化。
  • [ ] iostat 中 I/O 延迟回到业务可接受范围。
  • [ ] 内核、系统和控制器日志没有继续产生介质错误、超时或链路重置。
  • [ ] 数据库、网站、文件服务或其他核心应用完成读写和健康检查。
  • [ ] 备份任务可以正常执行,并抽样验证了关键数据。
  • [ ] 已记录故障原因、换盘时间、重建耗时和后续观察计划。
  • [ ] 如果问题与背板、控制器或供电有关,已安排进一步硬件检查,而不是仅以换盘结束工单。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/4913.html

相关推荐