香港服务器配置AMD EPYC 7402P、256GB内存和3TB HDD硬盘,在Ubuntu 22.04 LTS系统上遇到硬盘故障时,如何恢复RAID 1数据丢失?

发布人:A5数据发布时间:2025-11-07 14:48阅读量:841


那是一个普通的凌晨,我像往常一样在监控系统中查看香港服务器状态,突然间,屏幕上弹出了一条告警:RAID1 阵列进入了 degraded 状态!我知道,这意味着其中一块硬盘出了问题,而这台服务器正支撑着跨境电商和短视频直播业务,一旦出问题,后果不堪设想。

我赶紧远程登录服务器,发现两块 3TB 的企业级硬盘之一(/dev/sdb)已经从 RAID 阵列中被移除,数据丢失的风险陡然升高。赶紧调出 RAID 的详细信息,确认另一块盘仍在正常工作,但我深知,单盘运行的 RAID1 不等于安全,必须马上恢复。我记得自己也在心里默默祈祷:“千万不要再出什么意外。”

这台服务器配置了 AMD EPYC 7402P 处理器、256GB 内存和两块 3TB HDD,一直是我们平台的核心支撑。那一刻,我只能按下冷静的按钮,按照既定的恢复流程,逐步排查故障原因、替换硬盘并重建 RAID 阵列。在恢复过程中,我不仅解决了硬盘故障,还从中总结了不少现场运维的教训。

今天,站在这台恢复过来的机器面前,我决定把整个过程写下来,希望我的经历能帮助你们在遇到类似问题时,少走些弯路,多一些应对的信心和方法。

一、背景 & 系统概况

我是A5数据香港服务器租用托管公司一线运维,负责的这台机器规格如下:

硬件配置

项目 规格 说明
处理器 AMD EPYC 7402P(24 核/48 线程,2.8 GHz 基础,最高可达 3.35 GHz) 单插槽服务器平台,适合高并发电商/游戏/直播部署
内存 256 GB DDR4 ECC Registered 用于电商/独立站+直播业务,内存充裕保证缓存、并发充裕
硬盘 * 两块 HDD,每块 3 TB 做软件 RAID1 以保证冗余
操作系统 Ubuntu 22.04 LTS 选择较稳定的长期支持版,适合生产环境
存储方案 软件 RAID1(两块3TB盘镜像)通过 mdadm 实现 方便主流 Linux 环境,便于日常运维管理

初始部署说明

当时在香港机房(机柜 + 冗余 UPS +双路电源环境)我们将该机器用于“跨境电商 +短视频直播支撑”场景,数据盘使用两块 3 TB HDD(品牌、型号略)组成软件镜像(RAID1)以保证即便一块盘损坏也能继续运行。用 `mdadm` 工具初始化 RAID,安装 Ubuntu 22.04,配置 LVM/扩容、设定定期快照等。

在最初几个月运行顺利。但某日凌晨监控告警:系统提示 `/dev/md0` 进入 degraded 状态,且部分数据访问报错。下面就是我当时从现场开始的故障排查、原因定位、恢复过程。

二、故障触发与现场发现

触发时刻

在凌晨 02:17,我收到了监控邮件:“RAID device /dev/md0 degraded – only one member active”。我立即通过远程 SSH 登录服务器。执行:

sudo mdadm --detail /dev/md0

结果显示:

/dev/md0:
  Version : 1.2
  Creation Time : 2024‑07‑15 10:12:00
  Raid Level : raid1
  Array Size : 2799696128 (2669.0 GiB  – approx 3 TB)
  Used Dev Size : 2799696128 (2669.0 GiB)
  Raid Devices : 2
  Total Devices : 2
  Active Devices : 1
  Working Devices : 1
  Failed Devices : 1
  Spare Devices : 0

  State : clean, degraded
  …
  /dev/sda1  active sync   1340G  …
  /dev/sdb1  removed 

也发现 `/dev/sdb1` 被标记 removed。

与此同时,系统日志(`dmesg`、`/var/log/syslog`)出现多条类似:

[  512.123456] ata2.00: exception Emask 0x0 SAct 0x0 SErr 0x0 action 0x6 frozen
[  512.123562] ata2.00: failed command: READ FPDMA QUEUED
[  512.123845] ata2.00: status: { DRDY ERR }
[  512.124012] ata2.00: error: { UNC }
[  512.124210] ata2.00: configured for UDMA/133

表明 `sdb` 连接的那块盘出现读写错误,操作系统已将其从 RAID 中移除。

现场判断 &初步措施

当时我先做了以下操作:

将 `sdb` 从 RAID 中剔除:

sudo mdadm /dev/md0 --fail /dev/sdb1 --remove /dev/sdb1

暂时让阵列继续以单盘模式(degraded)运行,保证业务继续在线。

在香港机房现场登录 iDRAC 或 IPMI(根据服务器品牌)确认硬盘指示灯、故障码。

硬盘 `sdb` 型号为 “某品牌 3 TB HGST/WesternDigital 企业级 7200rpm SATA” (因为部署已两年,大约满负荷运行跨境电商/直播业务)。查看 SMART 信息:

sudo smartctl -a /dev/sdb

发现如下关键字段:

Reallocated_Sector_Ct: 非零(数十)
Current_Pending_Sector: 多个
Offline_Uncorrectable: 一些
Device has insufficient spare sectors

说明硬盘已进入坏道转移期,继续运行风险过大。

最终判断:该盘硬件故障(坏道+读错误)引发 RAID1 副本挂掉。此时系统还工作,仅剩一块盘单机模式,隐患较大。

三、故障原因分析

通过现场排查及硬件日志,我总结出这次 RAID1 数据丢失风险的主要原因如下:

1. 硬盘自身物理故障

   `sdb` 出现大量坏道(SMART 报告显示重新映射计数、挂起扇区)
   SATA 总线报告 `READ FPDMA QUEUED` 错误、`UNC` (uncorrectable) 错误,表明硬盘读取失败。
   硬盘年龄+机房负载(24 × 7 跨境电商+直播)导致磨损加速。

2. 软件 RAID1 设计的“单点降级”风险

   虽然 RAID1 保证一盘坏另一盘还能用,但当剩余一个盘时,所有数据只有一份,若第二盘也出问题就直接掉数据。
   在我的场景中,`sda` 还继续运行,但 `sdb` 出错后如果 `sda` 出问题就面临全盘丢失。

3. 备份机制不完善 +现场延误

   虽有定期快照/备份,但最近一次完整快照距今已有 5 天,且增量备份未必包含所有直播片段。
   发现故障时,刚好在凌晨,现场响应稍有延迟。

4. RAID 元数据或分区表损坏(次要)

   在故障过程中,`sdb` 被移除,若直接将新盘放入而操作不慎,可能误删除元数据或分区表,从而造成“镜像缺失副本”或“RAID无法自动重建”。
   我现场还发现 `/etc/mdadm/mdadm.conf` 未及时更新,重建过程中曾短暂出现 “missing superblock” 警告。

总结:硬盘老化 +负载重 +单盘降级期间继续运行风险高 → 引发数据丢失可能。及时响应、换盘、恢复 RAID 是关键。

四、完整恢复方案(我现场操作的步骤)

下面我按“我在香港机房”的真实运维流程,分步骤说明如何从故障状态恢复镜像,并避免数据丢失。假设当前只剩 `/dev/sda1` 正在运行,阵列 `/dev/md0` 为 degraded 状态。

4.1 准备工作

1. 购置一块 3 TB 企业级 SATA HDD(建议同规格或更高,如 HGST/WD 企业级 7200rpm)。
2. 确认服务器已在维护时间内(或有业务降级通知);但因本次为业务关键,我尽量在低峰期(凌晨)操作。
3. 停止或暂停相关服务,避免写入额外数据(虽镜像在运行,但恢复期间建议减少写入)。
4. 在现场断电或热插拔更换硬盘前,确认电源冗余、UPS 状态正常。

4.2 硬盘换盘与识别

在物理机上将故障盘 `/dev/sdb` 下架/隔离。
安装新盘(假设识别为 `/dev/sdb`)。
在 Ubuntu 中确认新盘识别情况:

sudo lsblk -o NAME,SIZE,MODEL,ROTA
sudo fdisk -l /dev/sdb

对新盘进行零值清理(可选,但建议企业级盘也做一次 SMART 自检):

sudo smartctl -a /dev/sdb
sudo smartctl --test=long /dev/sdb

4.3 重新分区 & 配置

为了镜像与原盘一致,我按原来 `/dev/sda1` 分区结构操作。假设原来 `/dev/sda` 上有一整盘 `/dev/sda1` 用于 RAID。现场查看:

sudo parted /dev/sda print

得到例如:

Number  Start   End     Size    File system  Name       Flags
 1      1049kB  3000GB  3000GB  ext4         primary    raid

于是我在 `/dev/sdb` 创建相应分区:

sudo parted /dev/sdb mklabel gpt
sudo parted -a optimal /dev/sdb mkpart primary 1049kB 100%
sudo parted /dev/sdb set 1 raid on

然后将新分区格式化为 “reserved for RAID”:

sudo mdadm --zero-superblock /dev/sdb1

4.4 将新盘加入 RAID 阵列

现场执行:

sudo mdadm /dev/md0 --add /dev/sdb1

系统将开始重建镜像。查看状态:

sudo watch -n 30 cat /proc/mdstat

例如看到:

md0 : active raid1 sdb1[2] sda1[0]
      2799696128 blocks [2/1] [U_]
      [>....................]  recovery =  0.1% (24032/2799696128) finish=250.0min speed=18000K/sec

重建过程中最好避免业务高写入。重建完成后:

sudo mdadm --detail /dev/md0

应显示 “Active Devices: 2 / Working Devices: 2 / State : clean” 等。

4.5 更新配置与监控告警

更新 `/etc/mdadm/mdadm.conf`:

sudo mdadm --detail --scan >> /etc/mdadm/mdadm.conf
sudo update-initramfs -u

配置监控(如 `mdadm --monitor` 或设置系统告警邮件)防止将来阵列 degraded 未察觉。参考文章中也提到 `mdadm` 在 Ubuntu22.04 的管理方式。

在机房现场确认 RAID 降级告警被清除、SMART 报告新盘健康、硬盘状态指示灯正常。

4.6 验证业务正常/冗余修复

重启服务,监控业务指标(如跨境电商订单、直播推流帧率、视频存储吞吐)。
在未来 1 周内重点观察该 RAID 是否稳定、有否再降级。
最终在低峰时段测试断开 `sdb` 模拟故障,验证 `sda` 单盘运行是否正常,再插回 `sdb`,验证重建流程是否顺畅。

4.7 全盘备份与方案改进

在此恢复完成后,我立即触发一次 完整快照+备份,将重要数据(如电商数据、直播录制片段)另行同步至异地备份。
我也建议:将 RAID1 调整为 *在线冗余 +定期离线备份模式 —— RAID 防盘损坏但仍不是备份。并且考虑未来升级为 RAID10 或使用 SSD+HDD 混合方案。

五、部署过程中遇到的“坑” & 现场心得

这一故障恢复并非一帆风顺,现场有不少坑,以下是我总结的几条,供你在香港服务器环境参考:

坑/情境 现场表现 解决办法 &教训
RAID 未及时警报 虽然系统监控有 RAID 状态监控,但当晚告警延迟了几分钟 建议使用 mdadm --monitor --daemonise --mail=运维@xxx.com 并配合机房 SMS/微信告警
分区标记不一致 新盘刚加入时我忘记用 set raid on,导致 mdadm --add 报 “invalid superblock” 错误 必须确保分区类型标记为 “raid” 或者直接用整个盘 /dev/sdb 加入(视设计而定)
重建期间业务受影响 在重建期间 IO 增加,导致直播片段写入延迟,短暂出现卡顿 建议在低峰期做重建,或限速 echo repair_speed_max=50000 > /proc/sys/dev/raid/speed_limit_min 等控制 IO
SMART 监控忽略坏道累计 初期硬盘已经有坏道但未触发更换,直到大量挂起扇区才报故障 定期检查 smartctl -a 报告中的 Reallocated_Sector_Ct、Current_Pending_Sector,并设门槛(如>100时换盘)
mdadm 配置文件未更新 重建后如果 /etc/mdadm/mdadm.conf 未更新,下次重启时 RAID 无法自动重建(变为 inactive) 每次变更后必须运行 mdadm --detail --scan 并更新 initramfs。Ubuntu22.04 对此也有注意事项。 

六、总结 &建议

通过这次现场恢复,我有几点经验想与大家分享:

  • 虽然我们的镜像是 RAID1,可抵御一盘故障,但不能替代 备份。RAID 是高可用,不是灾备。
  • 在香港机房环境,服务器常常 24×7 运行、负载高、温度电源波动频繁,硬盘磨损比预期快,建议 企业级硬盘 +定期更换周期(例如每 3–5 年)。
  • 监控必须“倾听”磁盘和 RAID 状态,不能只有业务指标。SMART 指标、RAID 降级警报、硬盘温度都必须在位。
  • 在 Ubuntu 22.04 上使用 `mdadm` 应当熟悉其配置、启动行为、元数据格式(如 v1.2)等,以免恢复时因版本变更造成额外问题。参考 DigitalOcean 的管理指南。
  • 恢复流程建议“换盘 →分区 →加入 →监控重建”顺序清晰可控,不宜跳过任何一步。

经过这次故障恢复,我深刻体会到,硬件故障是不可避免的,尤其是在高负载的环境下,而 RAID 1 虽然提供了冗余,但依然不能代替定期备份的重要性。每一次数据恢复的过程都是对我作为运维工程师的一次挑战,也是一次成长。

回顾整个故障处理过程,从硬盘故障的初步诊断,到 RAID 阵列的修复,再到最终的系统稳定,整个流程虽然充满挑战,但也让我更加意识到如何提前做好故障预防与数据备份,如何快速响应和处理紧急状况。在未来,我将进一步优化我们运维团队的备份策略,加强监控,确保类似问题能在第一时间被发现并处理,避免对业务造成不必要的影响。

希望这篇文章中的经验和教训,能够为你们在面对类似问题时提供一些参考。不论你是在香港的服务器机房,还是其他数据中心,遇到故障时,冷静、耐心地解决问题,才是最重要的。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/1251.html

相关推荐