香港服务器RAID降级后先确认哪块磁盘,重建前要检查什么
处理香港服务器出现 RAID 降级时,第一步不是拔盘或直接点击“Rebuild”,而是从 RAID 管理层确认故障成员,再把阵列中的槽位、序列号、WWN 与操作系统设备名对应起来。Linux 中的 /dev/sda、/dev/sdb 可能因重启、控制器重新扫描或设备枚举顺序变化,不能单独作为换盘依据。

重建前至少要检查五项:故障盘是否真的失联或出现介质错误、替换盘容量和扇区布局是否匹配、文件系统是否已经写满或 inode 耗尽、当前 I/O 延迟是否过高,以及内核和控制器日志是否仍在产生新错误。如果只是链路抖动、背板异常或控制器重置,贸然重建可能把原本可恢复的成员盘变成需要重新同步的设备。

现状与条件:先区分 RAID 类型和故障范围
香港服务器可能使用 Linux mdadm 软件 RAID、硬件 RAID 控制器,或由云平台托管的虚拟磁盘阵列。三种环境的确认方式不同:
- Linux md RAID:通过
/proc/mdstat和mdadm --detail查看成员状态。 - 硬件 RAID:通过 RAID 控制器管理界面或对应厂商工具查看物理槽位、序列号和故障状态。
- 云服务器或托管存储:操作系统内可能只能看到一个虚拟块设备,底层成员盘需要由服务商或平台侧确认。
先不要执行 mdadm --fail、mdadm --remove、mdadm --zero-superblock,也不要在没有槽位映射的情况下拔出物理磁盘。这些操作可能导致数据不可访问,或者让原本只是链路异常的磁盘进入重建流程。
记录当前阵列状态
以下命令适用于常见的 Linux md RAID,/dev/mdX 需要替换为实际阵列设备。它们主要用于读取状态,不会主动修改阵列。
sudo lsblk -e7 -o NAME,KNAME,TYPE,SIZE,FSTYPE,MOUNTPOINTS,MODEL,SERIAL,WWN
cat /proc/mdstat
sudo mdadm --detail /dev/mdX
sudo mdadm --detail --scan
findmnt -t ext4,xfs,btrfs
df -hT
df -ih
重点记录以下信息:
- RAID 级别,例如 RAID1、RAID5、RAID6 或 RAID10。
- 阵列当前是
clean、degraded、recovering还是resyncing。 - 哪个成员显示为
faulty、removed或缺失。 Used Dev Size、成员设备路径和活动设备数量。- 阵列对应的文件系统、挂载点和读写状态。
- 当前是否已经存在重建任务。
/proc/mdstat 中常见的成员标记类似 [UU]、[U_]。以双盘冗余阵列为例,[U_] 通常表示一个成员正常、另一个成员缺失或失效。但最终仍应以 mdadm --detail 的设备列表和状态字段为准,不能只看这一段字符。
如果使用的是硬件 RAID,先确认控制器和物理盘是否由系统直接暴露。可以使用以下命令确认控制器类型:
lspci -nn | grep -Ei 'raid|sas|scsi|storage'
sudo dmesg -T | grep -Ei 'megaraid|hba|sas|scsi|raid'
硬件 RAID 中,操作系统看到的 /dev/sda 往往只是逻辑卷,不能直接把它当作物理故障盘。应在控制器管理工具中查看 Enclosure、Slot、Serial Number、State 等字段,再由机房人员按照槽位更换。香港机房的服务器如果不支持现场操作,应先提交远程协助或换盘工单,避免依据错误的设备名拔盘。
日常操作:先确认具体故障盘
1. 从阵列状态找到故障成员
对于 md RAID,先查看阵列成员:
sudo mdadm --detail /dev/mdX
典型判断方式如下:
| 阵列表现 | 优先判断 | 是否立即重建 |
|---|---|---|
成员为 faulty,内核持续报告介质错误 | 磁盘本身异常概率较高 | 确认序列号和替换盘后再重建 |
成员为 removed,但日志只有链路重置或设备掉线 | 可能是线缆、背板、供电或控制器问题 | 先排查连接和控制器 |
| 多个成员同时掉线 | 可能是控制器、背板、供电或阵列元数据问题 | 不要直接更换多块盘 |
阵列已在 resync 或 recover | 已有重建任务 | 不要重复添加成员 |
| RAID0 出现成员异常 | 没有冗余恢复能力 | 通常需要从备份恢复 |
如果是 RAID5、RAID6 或 RAID10,必须结合具体布局理解“降级”的含义。RAID5 在一块成员失效后仍可能提供服务,但第二块成员再出现不可读扇区就可能影响恢复;RAID6 可承受的故障数量不同;RAID10 则要看故障盘是否位于同一镜像组。不能只根据“还有一个盘在线”判断风险。
2. 用序列号和 WWN 映射物理磁盘
确认成员路径后,使用序列号、WWN、型号和主机通道进行二次核对:
sudo lsblk -o NAME,KNAME,TYPE,SIZE,MODEL,SERIAL,WWN,HCTL,FSTYPE,MOUNTPOINTS
ls -l /dev/disk/by-id/
sudo udevadm info --query=property --name=/dev/sdX
sudo smartctl -i /dev/sdX
将 /dev/sdX 替换为阵列输出中对应的成员设备。需要同时满足以下条件,才可以把系统设备映射到物理盘:
- 阵列成员记录中的设备路径与当前系统设备一致。
lsblk或smartctl显示的序列号与控制器或机箱标签一致。- 容量、型号、WWN 和主机通道没有明显冲突。
- 如果是硬件 RAID,控制器槽位与机箱物理槽位一致。
不要只根据容量判断。相同的 3.84 TB 或 8 TB 设备可能属于不同槽位,也可能是系统盘、热备盘或阵列成员盘。某些控制器还会将故障盘显示为 Offline、Failed、Predictive Failure 或 Foreign,这些状态需要结合控制器日志解释。
3. 查看内核和存储日志
故障盘的判断不能脱离日志。查看最近一段时间的内核和系统日志:
sudo journalctl -k --since "6 hours ago" --no-pager
sudo journalctl -p warning..alert --since "6 hours ago" --no-pager
sudo dmesg -T | grep -Ei 'I/O error|uncorrect|medium error|reset|timeout|failed|sense|link|abort'
不同日志通常对应不同方向:
UNC、medium error、unrecoverable read error:更接近盘片、闪存介质或不可修复扇区问题。link reset、device offlined、SAS link down:优先检查线缆、背板、HBA、供电和控制器。- 大量
I/O timeout后控制器重置:可能是设备卡死、队列阻塞或控制器异常。 - 文件系统出现
EXT4-fs error、XFS错误或被切换为只读:需要同时处理文件系统层,不能只换盘。 - 同一时间多个磁盘报告错误:优先怀疑共享链路、背板、控制器或供电,而不是同时假设多块盘损坏。
如果 SMART 显示 PASSED,也不能据此排除问题。链路掉线、控制器超时和部分固件异常不一定会体现在 SMART 结果中;反过来,存在重映射扇区或待处理扇区时,也不能继续把该盘作为可靠成员使用。
重建前要检查的五项内容
1. 检查替换盘容量和成员布局
替换盘不能只看厂商标称容量,应比较实际字节数和分区布局:
sudo lsblk -b -o NAME,TYPE,SIZE,MODEL,SERIAL
sudo blockdev --getsize64 /dev/sdX
sudo sfdisk -d /dev/sdX
sudo cat /sys/block/sdX/queue/logical_block_size
sudo cat /sys/block/sdX/queue/physical_block_size
对于使用分区作为 RAID 成员的阵列,原成员可能是 /dev/sdb1,而不是整块 /dev/sdb。新盘需要具备相同或更大的可用成员空间,并保持兼容的分区类型、起始位置和扇区布局。名义上同为 4 TB 的两块磁盘,实际字节数可能略有差异,较小的一块可能无法加入阵列。

如果阵列成员为整盘设备,应按照原阵列的成员形式准备;如果成员为分区,则应先确认原分区表。不要为了“清理新盘”而误操作旧成员,也不要对尚未确认身份的设备执行 wipefs 或 mdadm --zero-superblock。
2. 检查容量使用率和 inode
磁盘降级与文件系统写满可能同时发生,但两者不是同一问题:
df -hT
df -ih
sudo du -xhd1 /var 2>/dev/null | sort -h
sudo journalctl --disk-usage
判断重点如下:
Use%接近 100%,说明数据块不足,可能导致数据库、日志服务或临时文件创建失败。IUse%接近 100%,说明 inode 用尽,即使还有可用容量,也可能无法创建新文件。/var/log、应用日志目录或容器日志持续增长,可能是磁盘错误反复触发告警。- 阵列重建需要持续读写,文件系统已经接近满载时,服务故障和 I/O 排队可能进一步加重。
不要为了腾空间直接删除整个日志目录,也不要随意截断数据库、审计或业务日志。先确认日志保留要求、备份状态和应用是否仍在写入,再通过已有的日志轮转策略处理。journalctl --vacuum-size 等清理命令会删除旧日志,执行前应确认保留期限和审计要求;如果误删,通常不能通过 RAID 操作恢复。
3. 检查 I/O 延迟和当前负载
重建会占用磁盘读写带宽。生产业务正在高峰运行时,即使替换盘已经准备好,也不宜忽略当前 I/O 排队:
iostat -xz 1 5
vmstat 1 5
pidstat -d 1 5
重点观察:
await是否持续高于平时,而不是单次尖峰。%util是否长期接近满载。- 读写请求是否集中在某个设备或某个业务进程。
vmstat中是否出现明显的 I/O 等待。- 是否有备份、数据库压缩、日志归档或批量扫描任务正在运行。
I/O 延迟没有适用于所有 SSD、HDD 和控制器的统一阈值。可以用平时同一业务时段的基线比较。比如,原本稳定在几毫秒的 SSD 如果持续升到几十毫秒,需要谨慎;机械盘在高并发下出现更高延迟也可能是正常现象,但如果伴随超时和介质错误,就不能只按负载解释。
4. 检查文件系统状态
先确认阵列设备与文件系统的关系:
findmnt -t ext4,xfs,btrfs
sudo lsblk -f
如果日志中没有文件系统错误,普通 RAID 成员重建通常不要求先运行 fsck。不要把 RAID 重建和文件系统修复混为一个操作。
如果已经出现文件系统错误,应在阵列层稳定、完成备份并安排维护窗口后处理:
# 仅用于已卸载文件系统的维护窗口,执行前确认设备路径
sudo e2fsck -fn /dev/mdX
sudo xfs_repair -n /dev/mdX
ext4 和 XFS 的检查工具不同,不能混用。e2fsck 或 xfs_repair 不应直接对生产中已挂载的文件系统执行;尤其不能因为阵列降级就对业务挂载点强行运行修复。Btrfs 则应使用其对应的设备状态和 scrub 工具,不能套用 ext4 的检查方式。
5. 检查日志是否仍在增长
在准备重建前,至少查看最近几小时的错误是否还在增加:
sudo journalctl -k --since "30 minutes ago" --no-pager
sudo journalctl --disk-usage
sudo find /var/log -xdev -type f -printf '%s %p\n' 2>/dev/null | sort -n | tail -20
如果每分钟仍出现新的 I/O 错误、超时或链路重置,应先处理底层存储问题。此时开始重建可能造成:
- 重建读取源盘时再次遇到不可读扇区;
- 控制器队列持续堆积,业务响应变慢;
- 新盘同步中断,阵列反复进入降级状态;
- 日志继续增长,最终引发文件系统空间或 inode 耗尽。
日常重建操作:只在身份确认后执行
以下流程只适用于已经确认的 Linux md RAID。硬件 RAID 应在控制器管理界面按物理槽位执行,不能把下面的 mdadm 命令套用到硬件逻辑卷上。
1. 先暂停高 I/O 任务
在业务允许的范围内,暂停非必要的备份、批量导入、归档、压缩和大规模扫描任务。不要为了降低负载直接停止数据库或删除进程;如果必须停止服务,应先确认应用恢复方式、数据一致性和维护窗口。
同时确认:
- 有近期可用备份,且至少抽样验证过恢复;
- 原故障盘没有被误识别为新盘;
- 替换盘容量不小于原成员的实际需要;
- 阵列中没有已经在运行的重建任务;
- 远程访问链路和带外管理可用。
2. 根据成员状态选择操作
如果故障成员已经被阵列标记为 faulty 或 removed,并且物理盘已经确认更换,通常才进入移除和添加流程:
# 仅适用于已经确认设备身份的 md RAID
sudo mdadm --detail /dev/mdX
# 如果旧成员仍显示为 failed,且已确认需要移除
sudo mdadm /dev/mdX --remove /dev/disk/by-id/<old-member>
# 添加已核对序列号、容量和分区布局的新成员
sudo mdadm /dev/mdX --add /dev/disk/by-id/<replacement-member>
上述命令会改变阵列状态,影响范围包括阵列同步、磁盘 I/O 和业务延迟。执行前应保留 mdadm --detail、lsblk、日志和序列号记录。不要把“添加失败”当成继续尝试不同设备的理由。
如果原盘只是因为链路瞬断而被移除,但 SMART、控制器和日志均显示介质健康,才可以在根因解决后评估重新加入原盘。不要通过反复执行 --add 或 --re-add 试探设备。设备未完全确认前,保留原盘和阵列元数据,交由存储管理员或服务商判断。
如果误将错误设备加入阵列,不能简单地认为执行 --remove 就能完全回滚。同步可能已经向该设备写入阵列数据,错误操作也可能破坏设备上原有内容。应立即停止后续变更,保留现场信息,确认阵列当前状态和同步进度,再决定是否恢复。
3. 硬件 RAID 按槽位重建
硬件 RAID 的常见流程是:
- 在控制器界面确认逻辑阵列处于降级状态。
- 记录故障盘的机箱槽位、序列号、容量和控制器状态。
- 确认新盘已被控制器识别,容量满足成员要求。
- 在对应槽位执行替换、指派为成员或开始重建。
- 通过控制器界面查看重建进度和错误计数。
如果控制器显示 Foreign、Unconfigured Bad、Predictive Failure 或类似状态,不要直接选择初始化、清除外来配置或强制导入。不同控制器对这些状态的含义和处理顺序不同,误操作可能覆盖阵列元数据。无法确认时,应先导出控制器配置和事件日志,并联系硬件厂商或机房技术人员。
结果检查:确认重建真的完成
重建开始后,先观察阵列状态,而不是只看管理界面是否出现“进行中”:
watch -n 2 cat /proc/mdstat
另开终端定期检查:
sudo mdadm --detail /dev/mdX
iostat -xz 1 5
sudo journalctl -k --since "10 minutes ago" --no-pager
正常完成后,通常应看到:

- 阵列状态回到
clean或对应的正常状态; - 活动成员数量与 RAID 布局一致;
- 不再显示
faulty、removed或缺失成员; /proc/mdstat不再显示recovery、resync;- 内核日志没有新增的介质错误、超时或链路重置;
- 文件系统仍保持预期的挂载和读写状态;
- 应用能够完成基本读写、登录、查询或健康检查。
重建时间取决于成员盘容量、阵列级别、控制器策略和业务负载,不应只根据文件系统实际使用量估算。以十进制单位计算,一块 3.84 TB 成员盘按 100 MB/s 连续同步,理论时间约为:
3.84 TB × 1,000,000 MB/TB ÷ 100 MB/s = 38,400 秒,约 10.7 小时。
实际重建还要处理校验、随机 I/O、业务读写和错误重试,可能明显长于理论值。若在重建过程中业务延迟持续升高,应先记录当前状态,再根据控制器或 md RAID 的策略调整重建速度;不要频繁停止和重新启动同步任务。
围绕香港服务器的阵列与数据存储需求,A5数据提供多类物理服务器资源,涵盖常规计算配置及存储型方案。香港存储系列配备四块14TB企业级机械硬盘和H730控制器,可用于大容量文件、备份与归档场景;另有SSD或NVMe存储配置,适配不同的数据读写与业务部署需求。
异常处理:按结果分支处置
阵列降级,但磁盘 SMART 没有明显错误
优先检查背板、线缆、HBA、控制器事件和供电。若多个成员在同一时间出现掉线,更不能直接更换多块盘。对硬件 RAID,应查看控制器是否记录了链路重置或缓存异常;对 md RAID,应确认设备是否实际消失于系统,而不是仅仅被阵列标记为移除。
新盘容量足够,但无法加入阵列
检查以下内容:
- 实际字节数是否小于原成员;
- 新盘是整盘还是分区,是否与原成员形式一致;
- 分区起始位置和类型是否兼容;
- 新盘是否残留其他阵列的元数据;
- 阵列是否已经处于重建状态;
- 控制器是否将新盘标记为外来配置或不可用。
不要在旧盘身份不明时执行清除元数据。清除操作通常不可逆,回滚方式有限,必须先确认该设备确实是新盘且不再需要保留其中数据。
重建过程中再次出现 I/O 错误
立即确认是新加入盘、原有成员盘,还是控制器链路产生错误。如果 RAID5、RAID6 或 RAID10 在重建时发现另一成员无法读取,应停止继续扩大变更范围,优先保护当前可读取数据。此时应考虑按业务优先级复制重要数据、制作镜像或从备份恢复,而不是反复重试重建。
文件系统变为只读或空间、inode 用尽
这属于文件系统或容量问题,不等同于 RAID 成员故障。先确认业务是否仍在写入、日志是否继续增长,并按维护流程处理日志和临时文件。文件系统已经出现一致性错误时,不要在挂载状态下运行修复工具;应先完成阵列层确认和数据保护,再安排卸载检查或恢复。
RAID0 或多个成员同时失效
RAID0 没有冗余成员,不能通过普通“换一块盘并重建”恢复。多个成员同时失效时,也不应继续尝试添加空盘碰运气。可行路径通常是从备份、快照或业务侧副本恢复到新的阵列,并在恢复后验证数据库、文件校验和应用数据。
上线或验收检查清单
完成重建或恢复后,按以下顺序验收:
- [ ] 已记录 RAID 级别、成员数量、物理槽位、序列号和 WWN。
- [ ] 阵列状态正常,不再显示
degraded、faulty、removed或rebuild。 - [ ] 新盘容量、分区布局和成员类型与阵列要求匹配。
- [ ]
df -hT显示容量正常,df -ih没有 inode 即将耗尽。 - [ ] 文件系统挂载点、读写状态和启动配置没有异常变化。
- [ ]
iostat中 I/O 延迟回到业务可接受范围。 - [ ] 内核、系统和控制器日志没有继续产生介质错误、超时或链路重置。
- [ ] 数据库、网站、文件服务或其他核心应用完成读写和健康检查。
- [ ] 备份任务可以正常执行,并抽样验证了关键数据。
- [ ] 已记录故障原因、换盘时间、重建耗时和后续观察计划。
- [ ] 如果问题与背板、控制器或供电有关,已安排进一步硬件检查,而不是仅以换盘结束工单。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/4913.html


