Linux块设备突然变成只读,如何从内核日志区分磁盘故障与文件系统错误

发布人:A5数据发布时间:2026-10-24 16:03阅读量:141

Linux 中“块设备变成只读”并不一定等于磁盘已经损坏。需要先区分两个状态:文件系统可能被内核重新挂载为 ro,而底层块设备本身也可能被标记为只读。前者常见于文件系统检测到一致性错误,后者更接近设备、控制器或存储链路异常。findmnt、lsblk 与内核日志需要结合判断,不能只看应用返回的 Read-only file system。

引言配图

判断主线是:先确认实际受影响的挂载点,再按时间顺序查看内核日志;如果看到文件系统错误后紧接着出现 Remounting filesystem read-only,优先排查文件系统一致性和底层 I/O;如果在此之前已经出现超时、介质错误、设备重置或链路中断,则应把磁盘、控制器或远端存储路径放在更高优先级。容量耗尽、inode 用完和日志增长也必须检查,但它们通常先导致 ENOSPC,并不能单独证明磁盘故障。

引言配图

先确认只读发生在哪一层

区分挂载只读与块设备只读

下面的命令以 /data 为示例,请替换为实际报错路径。不要只检查 /dev/sda,因为应用路径可能位于分区、LVM、设备映射、软件 RAID 或其他存储层之上。

sudo findmnt -T /data -o TARGET,SOURCE,FSTYPE,OPTIONS
lsblk -o NAME,TYPE,RO,FSTYPE,SIZE,MOUNTPOINTS
df -hP /data
df -iP /data

重点关注以下结果:

  • findmnt 的 OPTIONS 包含 ro:说明该路径对应的文件系统当前以只读方式挂载。
  • findmnt 显示 rw,但应用仍然收到 EROFS:可能检查错了路径,也可能应用运行在容器、独立挂载命名空间或只读的 OverlayFS 上。
  • lsblk 的 RO 为 1:说明该块设备或设备映射层被标记为只读,但它不等同于所有上层文件系统都已经损坏。
  • df -hP 接近或达到 100%:检查可用数据块。
  • df -iP 的 IUse% 达到 100%:检查 inode,尤其要关注小文件密集型目录。

还可以直接查看内核对设备只读状态的判断。设备名称需要根据 lsblk 的实际结果替换:

sudo blockdev --getro /dev/sdb
cat /sys/block/sdb/ro

如果使用的是 /dev/mapper/vg_data-lv_data,不要直接把它当作物理磁盘判断,应继续向下追踪:

lsblk -s -o NAME,TYPE,RO,FSTYPE,SIZE,MOUNTPOINTS /dev/mapper/vg_data-lv_data

确认影响范围和发生时间

先判断是单个挂载点、整块磁盘,还是多个服务同时受影响:

findmnt -rn -o TARGET,SOURCE,FSTYPE,OPTIONS
lsblk -o NAME,TYPE,RO,FSTYPE,SIZE,MOUNTPOINTS
systemctl --failed

如果只有一个应用报错,其他路径仍然可以正常写入,优先检查应用实际使用的目录、容器挂载和服务用户权限。如果同一块物理设备上的多个文件系统同时出现写入失败,则底层设备或存储路径的可能性上升。

记录故障时间也很重要。内核消息中的时间通常比应用日志更接近根因,应用日志里的报错可能只是后续结果。

建立原因树:不要把所有只读都归因于磁盘损坏

可以把原因分成五个层次。每个层次的证据不同,下一步检查也不同。

层次常见原因主要观察依据下一步
挂载与策略手工以 ro 挂载、启动参数、容器只读层findmnt 显示 ro,内核无 I/O 错误检查挂载配置、容器和服务启动参数
容量与元数据数据块耗尽、inode 耗尽、配额达到df -h、df -i、应用出现 ENOSPC 或 EDQUOT找出增长目录,处理日志和业务数据
文件系统元数据不一致、日志错误、文件系统自动保护EXT4-fs error、XFS shutdown、Remounting filesystem read-only停止写入并安排离线检查
设备与控制器介质坏块、设备故障、控制器重置I/O error、medium error、NVMe timeout、SCSI reset检查 SMART、NVMe 日志和硬件状态
存储路径iSCSI、Multipath、云盘或远端后端链路异常path down、连接超时、设备离线、路径切换检查网络、链路、存储平台事件和多路径状态

这个分类不是互斥的。例如,存储链路中断可能先造成写入超时,随后文件系统无法提交日志,最后文件系统为了保护数据而切换到只读。因此要按日志时间顺序寻找第一条异常,而不是只看最后一条 read-only。

逐层排查内核日志

先看内核消息的前后关系

优先使用 journalctl,因为重启后仍可能保留较完整的内核日志:

sudo journalctl -k -b --since "-2 hours" --no-pager
sudo journalctl -k -b -p warning..alert --no-pager

如果系统没有持久化日志,可以查看当前内核环形缓冲区:

sudo dmesg -T | grep -Ei \
'error|fail|I/O|read.only|remount|timeout|reset|offline|medium|corrupt|abort|shutdown'

也要查看上一次启动周期,尤其是服务器曾经自动重启的情况:

sudo journalctl -k -b -1 --no-pager
last -x | head -20

搜索时不要只匹配 read-only。以下关键词通常需要一起关注:

  • 文件系统:EXT4-fs error、XFS、BTRFS、corrupt、metadata、journal、shutdown
  • 块层:blk_update_request、Buffer I/O error、I/O error
  • SATA/SCSI:ata、SCSI error、medium error、rejecting I/O
  • NVMe:I/O timeout、reset controller、abort command、critical warning
  • 设备状态:offline、device blocked、path down
  • 挂载变化:Remounting filesystem read-only、Filesystem has been shut down

文件系统错误主导的典型特征

以下是一段模拟的 ext4 日志,仅用于说明判断方式:

EXT4-fs error (device vdb1): ext4_lookup:1701: inode #524301: comm nginx: iget: checksum invalid
EXT4-fs (vdb1): warning: mounting fs with errors, running e2fsck is recommended
EXT4-fs (vdb1): Remounting filesystem read-only

这类日志的推理链是:

  1. 文件系统代码先发现 inode 或元数据异常。
  2. 内核为了避免继续写入扩大损坏范围。
  3. 文件系统被重新挂载为只读。
  4. 应用随后收到 EROFS 或写入失败。

如果同一时间段没有 I/O error、设备超时、介质错误或链路重置,初步更像是文件系统一致性问题。但这仍不能完全排除底层磁盘,因为文件系统损坏也可能是过去的 I/O 异常留下的结果。需要安排离线文件系统检查,并结合设备健康信息确认。

XFS 的表现可能不同,例如:

XFS (dm-2): log I/O error -5
XFS (dm-2): Filesystem has been shut down
XFS (dm-2): Please umount the filesystem and rectify the problem(s)

XFS 出现 Filesystem has been shut down 时,通常不能简单执行一次 remount 就视为恢复。需要检查日志设备、底层块设备和文件系统状态,再在卸载状态下使用与 XFS 匹配的检查工具。

磁盘、控制器或路径异常的典型特征

下面是另一段模拟日志:

磁盘、控制器或路径异常的典型特征配图

blk_update_request: I/O error, dev sdb, sector 18446720
sd 2:0:0:0: [sdb] tag#17 FAILED Result: hostbyte=DID_OK driverbyte=DRIVER_SENSE
sd 2:0:0:0: [sdb] Sense Key : Medium Error
Buffer I/O error on dev sdb1, logical block 2305840
EXT4-fs (sdb1): Remounting filesystem read-only

这里首先出现的是块层和设备层错误,文件系统只读是后续保护动作。Medium Error 更接近介质读写失败;如果出现大量 timeout、控制器 reset、SCSI 链路重置或设备离线,则还要考虑控制器、线缆、背板、虚拟化存储或远端路径。

NVMe 设备可能出现类似信息:

nvme nvme0: I/O 123 QID 4 timeout, aborting
nvme nvme0: controller reset successful
blk_update_request: I/O error, dev nvme0n1, sector 8192

一次控制器重置不一定意味着 SSD 已经报废,但如果超时和重置持续出现,并伴随文件系统写入失败,就不应反复强制挂载为读写。先保护数据,再检查设备健康状态和存储平台事件。

只看到 Remounting filesystem read-only 时怎么办

单独看到这一行,只能确认文件系统进入了只读状态,不能确认根因。应向前查找几十秒到几分钟内的第一条错误:

sudo journalctl -k -b --no-pager \
  | grep -Ei 'EXT4|XFS|BTRFS|I/O error|blk_update|Buffer I/O|timeout|reset|medium|offline|remount'

如果内核日志已经轮转或日志级别不足,应结合:

  • 应用日志中的第一个写入失败时间;
  • journalctl 中服务错误的时间;
  • 监控平台的磁盘延迟、队列和容量曲线;
  • 服务器重启、迁移、快照或云盘维护事件;
  • 设备健康日志中的错误计数。

没有前置日志时,结论应写成“文件系统已进入只读保护状态,底层原因待进一步确认”,而不是直接判定为坏盘。

排除容量、inode和日志增长

数据块耗尽与 inode 耗尽

容量问题的典型表现是:

write failed: No space left on device
open(...): ENOSPC

检查数据块和 inode:

df -hP
df -iP
sudo du -xhd1 /var /home /data 2>/dev/null | sort -h

两种耗尽的含义不同:

  • df -h 达到 100%:通常是普通数据块用完。
  • df -i 达到 100%:即使还有一些可用容量,也可能无法创建新文件。
  • 配额达到上限:应用可能收到 EDQUOT,而不是系统整体空间耗尽。
  • 保留块只影响部分普通用户,不能把所有“普通用户无法写入”都解释为磁盘损坏。

容量耗尽一般不会单独让 ext4 或 XFS 自动变成只读。它更常见的结果是应用得到 ENOSPC、日志写入失败、数据库无法扩展文件。如果同时看到文件系统错误或底层 I/O 错误,应分别记录,不能用“磁盘满了”覆盖其他证据。

日志增长既可能是原因,也可能是结果

持续的应用异常、内核错误或调试日志可能迅速占满 /var。反过来,文件系统只读后,服务又可能重复记录写入失败,造成日志噪声增加。

可以先查看 journald 和日志目录占用:

sudo journalctl --disk-usage
sudo du -xhd1 /var/log 2>/dev/null | sort -h
sudo find /var/log -xdev -type f -size +1G -printf '%s %p\n' 2>/dev/null | sort -n

不要在故障现场直接删除整个日志目录,也不要对正在写入的日志文件盲目执行截断。应先保留与故障时间对应的日志,再根据发行版的 logrotate 配置或日志平台策略处理增长问题。清理动作需要确认目录、服务和保留周期,避免把后续根因分析所需的证据一并删除。

观察 I/O 延迟,区分繁忙与失败

日志没有明确报错时,需要查看设备是否只是拥塞,还是已经出现超时和错误。

iostat -xz 1 5
vmstat 1 5
cat /proc/pressure/io

iostat 中重点观察:

  • await:请求从提交到完成的平均等待时间,单位通常为毫秒;
  • r_await、w_await:读写请求的等待时间;
  • aqu-sz:平均队列长度;
  • %util:设备忙碌程度;
  • 读写吞吐和 IOPS 是否突然偏离平时基线。

await 较高但没有内核错误,可能是备份、重建、批量扫描或业务突发造成的排队;await 突然升高,随后出现 timeout、reset、I/O error 和只读,则更接近设备或存储路径异常。不能用单一阈值判断所有 SSD、机械盘和云盘。比如 20 毫秒对某些本地 SSD 已经异常,对某些远端存储却可能只是高峰期表现,应该和该设备平时的基线比较。

如果设备是云盘或远端块存储,宿主机通常看不到真实介质的 SMART 信息。此时要同时检查云平台的卷状态、I/O 错误、吞吐或 IOPS 限制、维护事件和实例侧网络状态。

检查设备健康与存储路径

本地 SATA、SAS和NVMe设备

先确认设备是物理盘还是虚拟设备:

lsblk -d -o NAME,ROTA,RO,TRAN,MODEL,SERIAL,SIZE

对支持 SMART 的物理磁盘,可以读取健康信息:

sudo smartctl -x /dev/sdb

对 NVMe 设备,可以查看控制器和错误日志:

sudo nvme smart-log /dev/nvme0
sudo nvme error-log /dev/nvme0

这些命令应针对物理设备执行,不要直接对 /dev/mapper 或普通分区套用。虚拟磁盘、云盘和部分 RAID 控制器可能不提供完整 SMART 数据。需要重点关注介质错误、不可校正错误、待处理扇区、严重警告和错误日志是否持续增加,但单个健康指标正常也不能否定偶发链路故障。

远端块存储和多路径设备

如果内核日志出现以下模式,应把“网络或存储路径”单独列为分支:

connection timed out
path down
device-mapper: multipath: remaining active paths
SCSI error
session recovery

这类错误可能来自 iSCSI 会话、Multipath 路径、存储网络、交换设备、云平台后端或虚拟化宿主机。网络层异常不会总是直接显示为文件系统错误,但它可以让块设备长时间等待,最终触发上层文件系统保护。

检查设备映射和路径状态:

lsblk -s
sudo multipath -ll 2>/dev/null
ip -s link

multipath -ll 只有在系统使用多路径并安装对应工具时才有意义。不要因为某条路径短暂离线就立即修改多路径配置;先确认是否仍有可用路径、业务是否已经恢复,以及存储侧是否存在维护或故障事件。

针对数据库、业务后台及文件存储等对磁盘可靠性和读写资源有要求的场景,A5数据提供中国香港、美国、日本等地区的物理服务器,覆盖SSD、NVMe及大容量企业级机械硬盘方案,并配备不同CPU、内存和网络线路资源。香港存储系列可搭配多块企业级硬盘与H730控制器,日本部分方案支持大容量HDD或多块SSD,为数据存储、备份归档和多任务业务提供相应的硬件基础。

文件系统检查与恢复边界

先保护数据,再决定是否恢复读写

文件系统已经被内核切换为只读时,第一优先级是减少继续写入和重复修复的风险:

文件系统检查与恢复边界配图

  1. 保留内核、服务和存储平台日志。
  2. 停止会持续产生写入的服务,确认停止范围和业务影响。
  3. 如果底层设备出现介质错误或 I/O 超时,优先制作快照、备份或故障盘镜像。
  4. 确认文件系统类型和实际设备。
  5. 在卸载状态下执行对应的检查工具。

可以先确认文件系统类型:

sudo findmnt -T /data -o SOURCE,FSTYPE,OPTIONS,TARGET

常见的处理边界如下:

  • ext4:通常在文件系统卸载后使用 e2fsck。
  • XFS:使用 xfs_repair,不能把普通 fsck 当作通用修复工具。
  • Btrfs:先根据官方工具的只读检查、scrub 或恢复建议处理,避免直接执行高风险修复。
  • 根文件系统:通常需要救援模式、维护模式或从外部系统启动,不能在正常运行状态下对已挂载根分区执行修复。

以 ext4 为例,下面的命令只能在确认设备未挂载、已有备份或快照,并接受维护窗口的前提下执行:

sudo umount /dev/vdb1
sudo e2fsck -f /dev/vdb1

卸载会中断使用该挂载点的服务;如果卸载失败,应先查找占用者,而不是强制卸载:

sudo fuser -vm /data
sudo lsof +f -- /data

不要对仍然挂载且正在写入的文件系统直接运行修复工具。XFS 的日志强制清除等高风险选项可能造成数据丢失,只有在备份、快照和厂商或发行版文档明确支持时才考虑。若底层磁盘持续返回 I/O 错误,反复执行文件系统修复可能进一步消耗故障设备,不能替代换盘或更换存储路径。

何时可以尝试重新挂载为读写

只有在以下条件基本满足时,才考虑重新挂载:

  • 内核日志中没有持续出现新的 I/O 错误、超时或设备离线;
  • 文件系统检查已完成,或已确认只读是人为维护策略;
  • 存储设备和路径状态稳定;
  • 已有可恢复的备份或快照;
  • 业务方确认重新开放写入的影响。

示例命令如下:

sudo mount -o remount,rw /data

这条命令只是改变挂载状态,不会修复文件系统。若刚执行就再次出现错误,应立即停止写入并恢复为只读或卸载,不能反复重试。对于根文件系统、数据库数据目录和持续写入的日志分区,应该优先在维护模式下完成检查。

验证恢复是否真实有效

恢复不能只看 mount 输出。至少要完成状态、内核日志和业务写入三项验证:

findmnt -T /data -o TARGET,SOURCE,FSTYPE,OPTIONS
lsblk -o NAME,TYPE,RO,FSTYPE,MOUNTPOINTS
sudo journalctl -k --since "-10 minutes" --no-pager

如果业务允许,可以在专用测试目录创建一个小文件验证写入。路径必须明确,避免在生产数据目录执行广泛删除:

test_file="/data/.rw-check-$(date +%s)"
(umask 077 && printf 'rw-check\n' > "$test_file") &&
sync &&
test -s "$test_file" &&
rm -- "$test_file"

这个测试会实际写入并删除一个文件,只适合确认目录和业务影响后执行;不要改写为 rm -rf,也不要把变量替换成不确定的生产路径。

最终应同时确认:

  • 挂载选项已经是 rw;
  • 块设备没有继续显示异常的 RO 状态;
  • 测试写入成功;
  • 内核没有产生新的 I/O error、timeout、reset 或文件系统 shutdown;
  • 相关服务恢复后不再出现 EROFS、EIO、ENOSPC 或 EDQUOT;
  • I/O 延迟、队列长度和错误率回到可接受范围。

为下一次故障设置监控点

只监控磁盘使用率,无法覆盖这类故障。建议把以下指标分开告警:

  • 挂载点从 rw 变为 ro,以及块设备 RO 状态变化;
  • 内核日志中的 I/O error、medium error、设备超时、控制器重置和文件系统错误;
  • 数据块使用率与 inode 使用率,分别设置预警和严重阈值;
  • 日志目录增长速度、单文件异常增长和 journald 占用;
  • I/O 延迟、队列长度、吞吐、IOPS 与设备错误数;
  • SMART 或 NVMe 中的介质错误、不可校正错误和严重警告;
  • 多路径可用路径数、远端会话状态和云盘平台事件;
  • 应用层的 EROFS、EIO、ENOSPC、EDQUOT 错误数量。

容量阈值应结合业务增长速度设置,常见做法是把 70%~80% 作为预警区间、85%~90% 作为严重区间,但日志突增明显的系统需要更早告警。I/O 延迟也应以设备历史基线和业务的尾延迟为准,而不是套用单一毫秒数。

只读事件本身往往是保护动作。真正需要定位的是它之前发生了什么:是空间和 inode 被消耗、服务日志失控、文件系统元数据异常、设备介质错误,还是存储路径中断。把挂载状态、内核时间线、容量指标、I/O 延迟和应用错误关联起来,才能在不误换磁盘或误修文件系统的情况下确定根因。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5569.html

相关推荐