物理服务器硬盘待映射扇区数增加怎么办?如何核对SMART变化与磁盘风险

发布人:A5数据发布时间:2026-10-22 16:23阅读量:130

在物理服务器上看到 SMART 中的 Current Pending Sector(待映射扇区数)从 0 变成 1、2 或持续增加时,应先把它视为磁盘介质出现读取不稳定的信号,而不是普通的容量告警。它表示磁盘曾经无法可靠读出某些逻辑扇区,这些扇区正在等待后续写入或内部校验后决定是否重映射。

处理时不要先格式化、跑全盘写入或强制“修复坏道”。正确顺序是先确认实际对应的物理盘,记录 SMART 和内核错误变化,再区分容量、inode、日志增长、文件系统损坏、控制器链路异常与磁盘介质问题。只要待映射扇区仍然大于 0、数值继续增长,或同时出现不可校正错误、I/O 超时和文件系统报错,就应优先保护数据并准备迁移或更换磁盘。

先确认告警对应哪块物理盘

Linux 中的 /dev/sda、/dev/sdb 并不是永久固定的设备标识,重启、控制器枚举变化或更换硬盘后,设备名可能改变。排查前先记录型号、序列号、容量、挂载点以及所在 RAID、LVM 或文件系统层级。

以下命令适用于常见 Linux 物理服务器,主要读取设备信息,不会修改磁盘内容:

findmnt -o SOURCE,FSTYPE,TARGET
lsblk -o NAME,KNAME,TYPE,SIZE,FSTYPE,MOUNTPOINTS,MODEL,SERIAL,HCTL
sudo blkid

重点确认三层对应关系:

  • 业务目录位于哪个挂载点,例如 /data、/var/lib/mysql。
  • 挂载点对应的是普通分区、LVM 逻辑卷、软件 RAID,还是硬件 RAID 虚拟盘。
  • SMART 查询对象是否是具体物理盘,而不是一个 RAID 逻辑设备。

如果挂载点显示为 /dev/mapper/vg_data-lv_db,还需要继续查看 LVM 由哪些物理卷组成:

sudo pvs -o pv_name,vg_name,pv_size,pv_free
sudo lvs -o lv_name,vg_name,lv_size,devices
cat /proc/mdstat

/proc/mdstat 主要用于 Linux 软件 RAID。硬件 RAID 场景下,操作系统可能只看到一个逻辑盘,smartctl 查询到的也可能是控制器或虚拟盘信息,并不代表所有成员盘都已检查。此时应通过服务器厂商或 RAID 控制器提供的管理工具查看成员盘的序列号、介质错误、预测故障状态和重建状态,不要直接套用不确定的 -d 参数。

先确认告警对应哪块物理盘配图

第一层:排除容量、inode 和日志增长

磁盘空间不足、inode 用尽或日志文件快速增长,都会导致应用报错、写入阻塞和 I/O 排队。这些问题可能与 SMART 同时出现,但它们本身不会把待映射扇区数变成非零,因此必须分别核对。

df -hT
df -ih
sudo du -xhd1 /var 2>/dev/null | sort -h
sudo du -xhd1 /var/log 2>/dev/null | sort -h
sudo journalctl --disk-usage

各项结果的含义不同:

  • df -hT 查看文件系统容量。如果使用率接近 100%,应用可能收到 No space left on device,但这不能说明磁盘已经出现物理坏道。
  • df -ih 查看 inode 使用率。小文件数量过多时,即使还有几十 GB 可用空间,也可能无法创建新文件。
  • du 可以定位哪个目录增长较快。使用 -x 是为了避免跨到其他挂载点,减少误判。
  • journalctl --disk-usage 用于查看 systemd journal 的占用情况。日志增长过快时,应继续追查产生大量错误的服务,而不是直接删除日志。

如果 df -h 接近满但 SMART 没有变化,优先处理日志轮转、应用临时文件、备份保留周期或文件系统扩容。清理前应确认文件用途、保留周期和备份状态,不能因为看到大文件就直接删除数据库、审计日志或仍被进程打开的文件。

还可以检查已经删除、但仍被进程打开的文件:

sudo lsof +L1

这类文件在目录中已经看不到,但进程仍然占用磁盘空间。通常需要按照应用支持的方式重新打开日志或在维护窗口重启服务,不能把删除操作当作磁盘硬件修复。

第二层:观察 I/O 延迟和内核错误

确认不是单纯空间问题后,再看设备是否出现延迟升高、队列堆积或读写重试。iostat 通常由 sysstat 软件包提供,适用于 Linux 环境:

iostat -xz 1 5

重点观察:

  • await:读写请求从提交到完成的平均等待时间,单位通常为毫秒。
  • r_await 和 w_await:分别表示读、写请求延迟。
  • aqu-sz:平均等待队列长度。
  • %util:设备忙碌程度。它需要结合设备类型、并发量和历史基线判断,不能单独作为故障阈值。

例如,某块盘平时 await 约为几毫秒,告警时升到数百毫秒,同时队列长度增加并出现读错误,这比单独看到 %util 较高更有意义。SSD、机械硬盘、RAID 虚拟设备的正常范围不同,应优先与该服务器自身的正常时段比较。

查看本次启动以来的内核和块设备错误:

sudo journalctl -k -b | grep -Ei \
'ata|scsi|sd[a-z]|nvme|I/O error|medium error|uncorrect|timeout|reset|blk_update|EXT4-fs error|XFS'

可能出现的信号包括:

  • UNC、medium error、uncorrectable:更接近介质无法读取。
  • I/O error、blk_update_request、read error:内核已经收到读写失败。
  • timeout、reset、链路反复重置:可能是磁盘、背板、HBA、SAS/SATA 线缆、电源或控制器通信异常。
  • EXT4-fs error、XFS 错误:说明文件系统层已经观察到异常,但不一定能单独证明物理盘损坏。

如果同一控制器下多块盘同时延迟升高,更应检查控制器、背板、电源和链路;如果只有一块盘出现介质错误且 SMART 计数同步增加,磁盘本身的风险更高。

第二层:观察 I/O 延迟和内核错误配图

第三层:读取 SMART,并建立变化记录

确认设备路径后,再读取对应物理盘的完整 SMART 信息。下面的 /dev/sdX 只是占位符,执行前必须替换为已经通过序列号核对过的设备:

sudo smartctl --scan-open
sudo smartctl -x /dev/sdX

-x 通常会同时显示设备信息、健康状态、属性表、错误日志和自检记录。部分系统需要 root 权限,部分 RAID 控制器还需要使用厂商工具或正确的设备透传方式。

传统 ATA/SATA 盘重点关注以下属性,但属性编号和名称可能因厂商不同而变化:

关注项常见属性名称含义
已重映射扇区Reallocated_Sector_Ct,常见编号 5已经被替换到备用区域的扇区数量
待映射扇区Current_Pending_Sector,常见编号 197当前无法稳定读取、等待后续处理的扇区数量
离线不可校正Offline_Uncorrectable,常见编号 198离线检测中无法校正的数据错误
上报不可校正错误Reported_Uncorrect,常见编号 187设备向主机报告过的不可校正错误
接口 CRC 错误UDMA_CRC_Error_Count,常见编号 199传输链路校验错误,可能与线缆、背板或接口有关

不要只看 SMART overall-health: PASSED。整体状态通常由厂商阈值计算,即使待映射扇区已经出现,整体健康状态也可能暂时显示通过。归一化值、阈值和原始值的解释也因厂商不同,排查时应优先看同一块盘的历史变化以及内核日志。

可以按时间保存摘要,至少记录盘的序列号,避免把不同硬盘的数据混在一起:

记录时间待映射扇区已重映射扇区不可校正错误接口 CRC内核日志
09:000000无介质错误
13:002010出现一次读错误
17:005010多次 I/O 超时

上表是判断路径的示例,不代表某台服务器的实测结果。若数值从 0 增加到 2、5,且错误日志同步增加,应按照恶化趋势处理,而不是等待 SMART 总体状态变红。

待映射扇区后来变回 0,也不能简单认定磁盘恢复正常。某次重读成功、后续写入触发处理,或者设备内部完成了重映射,都可能使该计数下降;已经发生过的读不稳定仍然值得保留记录。如果同一扇区或计数在后续检查中再次出现,通常应提高更换优先级。

机械硬盘与 NVMe 不能使用同一套指标

NVMe SSD 不一定显示 ATA 的 197、198 属性。应使用 NVMe 设备对应的 SMART 日志:

sudo smartctl -x /dev/nvme0

如果服务器安装了 nvme-cli,也可以使用:

sudo nvme smart-log /dev/nvme0
sudo nvme error-log /dev/nvme0

NVMe 场景重点查看:

  • Critical Warning
  • Media and Data Integrity Errors
  • Error Information Log Entries
  • Percentage Used
  • Available Spare
  • 温度和异常掉电相关计数

这些字段反映的机制与 SATA 机械盘的“待映射扇区”不完全相同,不能因为没有 Current_Pending_Sector 就判断介质没有风险。

低风险自检与结果分支

如果已经完成备份或业务具备冗余,并且当前 I/O 错误不在持续爆发,可以考虑运行短自检。短自检也会占用设备资源,生产高负载时应避开业务高峰:

sudo smartctl -c /dev/sdX
sudo smartctl -t short /dev/sdX

第一条命令可以查看设备支持的自检类型和预计时间。第二条命令启动短自检后,应等待设备提示的完成时间,再读取结果:

sudo smartctl -l selftest -x /dev/sdX

如果磁盘已经出现大量超时、阵列处于降级状态或备份尚未完成,不要为了获得一个测试结果而优先运行长时间自检。长自检可能增加设备负载,不能替代数据保护和更换计划。

根据结果可以分为几种情况。

低风险自检与结果分支配图

待映射扇区大于 0,并且持续增加

这是风险较高的分支。如果同时出现 Offline_Uncorrectable、Reported_Uncorrect、内核 medium error、I/O 超时或文件系统错误,应立即执行数据保护措施:

  1. 确认备份可用,并尽快做一次关键数据恢复验证。
  2. 降低非必要的读写负载,避免在故障盘上进行全盘扫描、全盘写入或大规模重建。
  3. RAID 场景确认故障盘序列号、阵列状态和备用盘状态,再按照控制器流程更换。
  4. 单盘场景优先迁移业务或将数据复制到健康盘,再安排更换原盘。

不要使用 badblocks -w、dd if=/dev/zero 或重新格式化来“逼迫磁盘重映射”。这些操作会产生大量写入,可能覆盖仍有机会恢复的数据,也不能修复磁盘内部介质衰退。更换硬盘才是处理持续增长的物理介质风险的主要手段。

待映射扇区曾增加,随后归零,其他指标正常

这不等于可以忽略。需要对比自检记录、内核日志和后续 SMART 快照。如果只有一次计数变化,没有不可校正错误,且经过业务低峰观察后不再增加,可以暂时保持在线监控;但仍应确认备份和更换资源可用。

若计数反复出现、每次重启后增加,或延迟相比历史基线明显升高,应按逐步恶化处理,而不是因为当前值为 0 就继续长期使用。

SMART 没有异常,但 I/O 延迟和内核错误明显

优先排查数据路径:

  • SATA/SAS 线缆、背板、HBA 或电源连接。
  • RAID 控制器缓存、固件和当前重建任务。
  • 多块盘是否同时受到同一控制器或背板影响。
  • 虚拟化层、存储多路径或队列配置。
  • 文件系统是否出现元数据错误。

如果只有 UDMA_CRC_Error_Count 持续增加,而介质错误和待映射扇区没有变化,链路问题的可能性更高。但更换线缆或重新插拔设备也会影响业务,必须在维护窗口执行,并先确认盘位和序列号。操作后应重新读取 SMART、检查内核日志并观察延迟是否恢复。

容量或 inode 已满,但 SMART 没有变化

此时应按容量管理问题处理,而不是直接更换磁盘。检查增长目录、日志轮转、临时文件、备份保留周期和 inode 消耗来源。扩容、删除或迁移数据前,需要确认备份、挂载点和业务影响。

容量问题和物理坏道可能同时存在。例如,日志持续增长使磁盘长期处于高写入负载,随后又出现待映射扇区。此时既要恢复可用空间,也不能把容量处理结果当作硬件风险已经消失。

文件系统出现错误

文件系统检查必须针对正确的文件系统设备执行,不能把 RAID 成员盘或整块物理盘直接交给 fsck。例如挂载点位于某个 LVM 逻辑卷时,检查对象通常是该逻辑卷。

先完成备份,在维护窗口停止业务并卸载文件系统。对于根文件系统,通常需要进入救援环境或从维护介质启动。可以先使用只读检查模式评估问题:

# ext4 示例,必须确认文件系统已卸载或处于合适的维护环境
sudo e2fsck -f -n /dev/mapper/vg_data-lv_db

# XFS 示例,必须确认文件系统已卸载
sudo xfs_repair -n /dev/mapper/vg_data-lv_db

-n 主要用于不写入修复结果的检查,但仍然可能读取大量数据并增加故障盘负载。实际修复命令可能修改文件系统元数据,通常没有简单的回滚方式,必须以备份或快照作为恢复保障。若底层磁盘仍在产生读错误,应先考虑迁移或更换磁盘,再进行文件系统修复,否则修复过程可能进一步暴露不可读区域。

更换磁盘后的修复与验证

RAID 场景

更换前先核对以下信息:

  • 物理盘序列号、型号、容量和实际盘位。
  • 阵列是否已经降级,是否存在第二块异常盘。
  • 新盘容量是否满足阵列要求,部分控制器要求新盘不小于原盘可用容量。
  • 当前是否正在重建、巡检或一致性校验。
  • 是否已有可用备份和备用盘。

硬件 RAID 的下线、标记故障、插入替换盘和重建操作依赖控制器型号,不能仅凭 /dev/sdX 判断。误操作其他成员盘可能导致阵列进一步降级。阵列重建期间,剩余磁盘会承受额外读写,若同时发现第二块盘也有待映射扇区,应先评估整个阵列的数据保护能力和迁移优先级。

Linux 软件 RAID 可以查看状态:

cat /proc/mdstat
sudo mdadm --detail /dev/md0

示例中的 /dev/md0 需要替换成实际阵列设备。重建完成前,不要把阵列恢复正常显示误认为数据已经完成校验。

单盘或无冗余场景

单盘服务器应先把业务迁移到健康存储,再处理原盘。若磁盘已经出现大量读取失败,普通文件复制可能在某个坏区域中断,复制工具的错误处理方式需要提前确认。重要数据应使用经过验证的恢复方案,并把源盘设置为只读或减少访问,避免在原盘上执行初始化、格式化和全盘写入。

当备份缺失时,恢复目标应是“先抢救可读数据”,而不是先修文件系统。任何会覆盖源盘的操作都可能降低后续恢复机会。

A5数据提供多种存储配置的物理服务器,可为故障盘更换后的业务迁移和数据重新落盘提供资源选择。香港存储系列配备多块企业级机械硬盘及阵列控制器,适合承载大容量文件;日本部分方案提供多盘 HDD 或 SSD,另有搭载 NVMe 的服务器配置,可用于应用运行与数据存放。不同地区的资源也为按业务访问区域安排部署提供了空间。

修复完成后的验证清单

替换或迁移完成后,不要只看业务端口已经恢复,还要从硬件、块设备、文件系统和应用四层复测:

  1. 重新读取新盘或新阵列成员的 SMART,确认没有新增待映射、不可校正和介质错误。
  2. 检查 RAID 状态,确认阵列不再降级,重建或一致性校验已经完成。
  3. 查看 journalctl -k -b,确认没有新的 I/O error、介质错误、超时和链路重置。
  4. 使用 iostat -xz 对比修复前后的 await、队列长度和设备利用率。
  5. 检查 df -hT 和 df -ih,确保容量与 inode 没有再次达到业务阈值。
  6. 对文件系统执行适合其类型的检查,并确认挂载参数、权限和目录结构正常。
  7. 进行实际应用读写验证,例如数据库启动、关键文件读取、备份任务和业务健康检查。
  8. 从备份恢复一部分文件或在隔离环境完成恢复演练,确认备份并非只能“生成”而不能使用。

持续观察 SMART 变化

待映射扇区告警不适合只靠人工偶尔执行一次命令。可以将物理盘序列号、型号、容量、SMART 关键属性、内核错误计数和 I/O 延迟纳入监控,按固定周期保存快照。

观察重点不是某个统一数字阈值,而是趋势和关联关系:

  • Current_Pending_Sector 是否从 0 变为非零,或继续增长。
  • Offline_Uncorrectable、Reported_Uncorrect 是否出现。
  • SMART 自检是否失败或中止。
  • 内核读错误、超时、重置是否与 SMART 变化同时发生。
  • await、队列长度是否偏离该设备平时水平。
  • RAID 是否出现降级、重建变慢或其他成员盘同步异常。

如果告警盘已经更换,原盘的 SMART 记录、内核日志和阵列事件仍应保留一段时间,便于判断是否存在同批次磁盘、背板或控制器的共同问题。新盘则应从更换完成时建立新的基线,持续观察早期错误、温度、延迟和阵列状态。这样才能把一次待映射扇区告警,转化为可验证的数据保护和硬件维护结果,而不是仅凭某次 SMART 输出做出结论。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5102.html

相关推荐