在部署于香港数据中心的一台关键业务存储服务器中，近期运维团队在执行磁盘扩容操作时，遇到了系统层面存储挂载异常的紧急事件。经分析，初步判断为在热插拔操作过程中HBA（Host Bus Adapter）卡接触不良所致。该问题对业务的连续性及数据安全构成了严重威胁，故本次记录旨在详细复盘整个排查过程、技术细节及后续解决方案，供同行参考与借鉴。
一、基础环境与硬件配置
- 香港服务器型号：Dell PowerEdge R750
- 操作系统：CentOS Linux 7.9.2009 (Core)
- HBA 卡型号：Broadcom LSI 9400-16i Tri-Mode Storage Adapter
- 存储设备：Western Digital Ultrastar DC HC550 18TB SATA × 12（挂载于RAID 60）
- RAID 控制器：Dell PERC H755N Front
- 文件系统类型：XFS
- 连接方式：SAS 12Gbps
- 驱动程序版本：megaraid_sas 07.719.03.00
二、问题现象
运维工程师在业务不中断的前提下，执行新增磁盘的热插拔操作；
插入新盘后系统提示未识别新设备；
/var/log/messages 中连续出现以下报错：
scsi host2: BRCM: SCSI error, Port 2, Device 0:0:8:0, Check Condition
随后，原本已挂载的部分 RAID 逻辑卷出现 I/O 超时，导致 XFS 挂载点只读并抛出如下错误：
XFS (sdb1): metadata I/O error: block 0x12345 ("xlog_iodone") error 5 numblks 64
业务应用层反馈数据读写失败，触发高可用切换。
三、故障详细排查过程
3.1 检查硬件连接
初步怀疑为新盘质量问题或插槽问题；
- 使用 lsscsi 未能识别新盘；
- 使用 sas3ircu 0 display 查看 HBA 卡状态，发现部分原有盘也断开连接；
- 检查 HBA 卡插槽，发现卡体有轻微松动。
3.2 复现测试
为验证问题是否由 HBA 接触不良引起：
- 将服务器断电后，重新拔插 HBA 卡至主板 PCIe 插槽；
- 启动系统后，所有磁盘均恢复识别；
- 重复执行热插拔，故障未复现；
- 将 HBA 卡插紧后重新进行热插拔，新盘正常识别，原有盘无异常。
结论：HBA 卡在首次热插拔过程中因未牢固接触主板 PCIe，导致总线通信异常，系统识别异常并引发存储挂载故障。
四、技术分析与原理
4.1 HBA 卡接触不良的影响
PCIe 总线连接不稳定时，可能出现瞬时掉盘、设备异常识别、CRC 校验失败等问题。在高负载或热插拔状态下，这种故障尤为常见，尤其是服务器震动或高温环境下，金手指接触不良概率增加。
4.2 XFS 文件系统容错机制
XFS 对元数据一致性要求极高，在遇到 I/O 错误时，为防止数据损坏，会将挂载点设置为只读状态，从而保护数据安全。这种行为虽保护数据，但对线上业务有直接影响。
五、解决方案与优化建议
5.1 硬件层面优化
- 确保 HBA 卡与主板插槽完全贴合，可使用螺丝加固；
- 建议更换为企业级带双锁扣设计的 HBA 卡；
- 在执行热插拔前，确认设备处于低负载状态，降低通信中断风险；
- 定期清理插槽灰尘，防止氧化影响接触质量。
5.2 软件与系统监控
- 通过 smartctl -a /dev/sdX 定期监控磁盘健康；
- 使用 iostat -xm 1 和 dmesg -wH 实时监控 I/O 状况；
- 建议部署硬件状态监控工具如 Dell OMSA 或 MegaRAID Storage Manager；
- 优化挂载参数，使用 noatime,nobarrier 等以提升性能同时减少写入负载。
5.3 高可用设计
- 建议关键业务部署多路径访问（Multipath I/O）；
- 实施存储冗余结构，如 RAID 60 配合远程异地容灾备份；
- 对关键挂载点配置自动重挂载脚本（如下示例）：
#!/bin/bash
MOUNT_POINT="/data"
if ! mountpoint -q $MOUNT_POINT; then
echo "$(date) - $MOUNT_POINT not mounted, attempting remount..." >> /var/log/mount_recover.log
mount -a
fi
可设置为 cron 每5分钟执行。
本次故障虽因简单的硬件接触不良引起，却暴露出多个系统设计与操作流程中的潜在风险。通过复盘，我们不仅排查出根因，更建立了更加系统的监控机制与运维规范。未来在执行热插拔、硬件更换等操作时，需严格遵守标准化流程，并借助工具提前感知异常，避免类似问题再次发生。
附录
- HBA 卡型号：LSI 9400-16i
- SAS 通道带宽：12Gbps
- RAID 模式： RAID 60
- 文件系统：XFS
- 操作系统： CentOS 7.9
- 日志文件： /var/log/messages, /var/log/dmesg
- 检测命令： lsscsi, smartctl, sas3ircu, iostat
