Linux块设备突然变成只读,如何从内核日志区分磁盘故障与文件系统错误
Linux 中“块设备变成只读”并不一定等于磁盘已经损坏。需要先区分两个状态:文件系统可能被内核重新挂载为 ro,而底层块设备本身也可能被标记为只读。前者常见于文件系统检测到一致性错误,后者更接近设备、控制器或存储链路异常。findmnt、lsblk 与内核日志需要结合判断,不能只看应用返回的 Read-only file system。

判断主线是:先确认实际受影响的挂载点,再按时间顺序查看内核日志;如果看到文件系统错误后紧接着出现 Remounting filesystem read-only,优先排查文件系统一致性和底层 I/O;如果在此之前已经出现超时、介质错误、设备重置或链路中断,则应把磁盘、控制器或远端存储路径放在更高优先级。容量耗尽、inode 用完和日志增长也必须检查,但它们通常先导致 ENOSPC,并不能单独证明磁盘故障。

先确认只读发生在哪一层
区分挂载只读与块设备只读
下面的命令以 /data 为示例,请替换为实际报错路径。不要只检查 /dev/sda,因为应用路径可能位于分区、LVM、设备映射、软件 RAID 或其他存储层之上。
sudo findmnt -T /data -o TARGET,SOURCE,FSTYPE,OPTIONS
lsblk -o NAME,TYPE,RO,FSTYPE,SIZE,MOUNTPOINTS
df -hP /data
df -iP /data
重点关注以下结果:
findmnt的OPTIONS包含ro:说明该路径对应的文件系统当前以只读方式挂载。findmnt显示rw,但应用仍然收到EROFS:可能检查错了路径,也可能应用运行在容器、独立挂载命名空间或只读的 OverlayFS 上。lsblk的RO为1:说明该块设备或设备映射层被标记为只读,但它不等同于所有上层文件系统都已经损坏。df -hP接近或达到 100%:检查可用数据块。df -iP的IUse%达到 100%:检查 inode,尤其要关注小文件密集型目录。
还可以直接查看内核对设备只读状态的判断。设备名称需要根据 lsblk 的实际结果替换:
sudo blockdev --getro /dev/sdb
cat /sys/block/sdb/ro
如果使用的是 /dev/mapper/vg_data-lv_data,不要直接把它当作物理磁盘判断,应继续向下追踪:
lsblk -s -o NAME,TYPE,RO,FSTYPE,SIZE,MOUNTPOINTS /dev/mapper/vg_data-lv_data
确认影响范围和发生时间
先判断是单个挂载点、整块磁盘,还是多个服务同时受影响:
findmnt -rn -o TARGET,SOURCE,FSTYPE,OPTIONS
lsblk -o NAME,TYPE,RO,FSTYPE,SIZE,MOUNTPOINTS
systemctl --failed
如果只有一个应用报错,其他路径仍然可以正常写入,优先检查应用实际使用的目录、容器挂载和服务用户权限。如果同一块物理设备上的多个文件系统同时出现写入失败,则底层设备或存储路径的可能性上升。
记录故障时间也很重要。内核消息中的时间通常比应用日志更接近根因,应用日志里的报错可能只是后续结果。
建立原因树:不要把所有只读都归因于磁盘损坏
可以把原因分成五个层次。每个层次的证据不同,下一步检查也不同。
| 层次 | 常见原因 | 主要观察依据 | 下一步 |
|---|---|---|---|
| 挂载与策略 | 手工以 ro 挂载、启动参数、容器只读层 | findmnt 显示 ro,内核无 I/O 错误 | 检查挂载配置、容器和服务启动参数 |
| 容量与元数据 | 数据块耗尽、inode 耗尽、配额达到 | df -h、df -i、应用出现 ENOSPC 或 EDQUOT | 找出增长目录,处理日志和业务数据 |
| 文件系统 | 元数据不一致、日志错误、文件系统自动保护 | EXT4-fs error、XFS shutdown、Remounting filesystem read-only | 停止写入并安排离线检查 |
| 设备与控制器 | 介质坏块、设备故障、控制器重置 | I/O error、medium error、NVMe timeout、SCSI reset | 检查 SMART、NVMe 日志和硬件状态 |
| 存储路径 | iSCSI、Multipath、云盘或远端后端链路异常 | path down、连接超时、设备离线、路径切换 | 检查网络、链路、存储平台事件和多路径状态 |
这个分类不是互斥的。例如,存储链路中断可能先造成写入超时,随后文件系统无法提交日志,最后文件系统为了保护数据而切换到只读。因此要按日志时间顺序寻找第一条异常,而不是只看最后一条 read-only。
逐层排查内核日志
先看内核消息的前后关系
优先使用 journalctl,因为重启后仍可能保留较完整的内核日志:
sudo journalctl -k -b --since "-2 hours" --no-pager
sudo journalctl -k -b -p warning..alert --no-pager
如果系统没有持久化日志,可以查看当前内核环形缓冲区:
sudo dmesg -T | grep -Ei \
'error|fail|I/O|read.only|remount|timeout|reset|offline|medium|corrupt|abort|shutdown'
也要查看上一次启动周期,尤其是服务器曾经自动重启的情况:
sudo journalctl -k -b -1 --no-pager
last -x | head -20
搜索时不要只匹配 read-only。以下关键词通常需要一起关注:
- 文件系统:
EXT4-fs error、XFS、BTRFS、corrupt、metadata、journal、shutdown - 块层:
blk_update_request、Buffer I/O error、I/O error - SATA/SCSI:
ata、SCSI error、medium error、rejecting I/O - NVMe:
I/O timeout、reset controller、abort command、critical warning - 设备状态:
offline、device blocked、path down - 挂载变化:
Remounting filesystem read-only、Filesystem has been shut down
文件系统错误主导的典型特征
以下是一段模拟的 ext4 日志,仅用于说明判断方式:
EXT4-fs error (device vdb1): ext4_lookup:1701: inode #524301: comm nginx: iget: checksum invalid
EXT4-fs (vdb1): warning: mounting fs with errors, running e2fsck is recommended
EXT4-fs (vdb1): Remounting filesystem read-only
这类日志的推理链是:
- 文件系统代码先发现 inode 或元数据异常。
- 内核为了避免继续写入扩大损坏范围。
- 文件系统被重新挂载为只读。
- 应用随后收到
EROFS或写入失败。
如果同一时间段没有 I/O error、设备超时、介质错误或链路重置,初步更像是文件系统一致性问题。但这仍不能完全排除底层磁盘,因为文件系统损坏也可能是过去的 I/O 异常留下的结果。需要安排离线文件系统检查,并结合设备健康信息确认。
XFS 的表现可能不同,例如:
XFS (dm-2): log I/O error -5
XFS (dm-2): Filesystem has been shut down
XFS (dm-2): Please umount the filesystem and rectify the problem(s)
XFS 出现 Filesystem has been shut down 时,通常不能简单执行一次 remount 就视为恢复。需要检查日志设备、底层块设备和文件系统状态,再在卸载状态下使用与 XFS 匹配的检查工具。
磁盘、控制器或路径异常的典型特征
下面是另一段模拟日志:

blk_update_request: I/O error, dev sdb, sector 18446720
sd 2:0:0:0: [sdb] tag#17 FAILED Result: hostbyte=DID_OK driverbyte=DRIVER_SENSE
sd 2:0:0:0: [sdb] Sense Key : Medium Error
Buffer I/O error on dev sdb1, logical block 2305840
EXT4-fs (sdb1): Remounting filesystem read-only
这里首先出现的是块层和设备层错误,文件系统只读是后续保护动作。Medium Error 更接近介质读写失败;如果出现大量 timeout、控制器 reset、SCSI 链路重置或设备离线,则还要考虑控制器、线缆、背板、虚拟化存储或远端路径。
NVMe 设备可能出现类似信息:
nvme nvme0: I/O 123 QID 4 timeout, aborting
nvme nvme0: controller reset successful
blk_update_request: I/O error, dev nvme0n1, sector 8192
一次控制器重置不一定意味着 SSD 已经报废,但如果超时和重置持续出现,并伴随文件系统写入失败,就不应反复强制挂载为读写。先保护数据,再检查设备健康状态和存储平台事件。
只看到 Remounting filesystem read-only 时怎么办
单独看到这一行,只能确认文件系统进入了只读状态,不能确认根因。应向前查找几十秒到几分钟内的第一条错误:
sudo journalctl -k -b --no-pager \
| grep -Ei 'EXT4|XFS|BTRFS|I/O error|blk_update|Buffer I/O|timeout|reset|medium|offline|remount'
如果内核日志已经轮转或日志级别不足,应结合:
- 应用日志中的第一个写入失败时间;
journalctl中服务错误的时间;- 监控平台的磁盘延迟、队列和容量曲线;
- 服务器重启、迁移、快照或云盘维护事件;
- 设备健康日志中的错误计数。
没有前置日志时,结论应写成“文件系统已进入只读保护状态,底层原因待进一步确认”,而不是直接判定为坏盘。
排除容量、inode和日志增长
数据块耗尽与 inode 耗尽
容量问题的典型表现是:
write failed: No space left on device
open(...): ENOSPC
检查数据块和 inode:
df -hP
df -iP
sudo du -xhd1 /var /home /data 2>/dev/null | sort -h
两种耗尽的含义不同:
df -h达到 100%:通常是普通数据块用完。df -i达到 100%:即使还有一些可用容量,也可能无法创建新文件。- 配额达到上限:应用可能收到
EDQUOT,而不是系统整体空间耗尽。 - 保留块只影响部分普通用户,不能把所有“普通用户无法写入”都解释为磁盘损坏。
容量耗尽一般不会单独让 ext4 或 XFS 自动变成只读。它更常见的结果是应用得到 ENOSPC、日志写入失败、数据库无法扩展文件。如果同时看到文件系统错误或底层 I/O 错误,应分别记录,不能用“磁盘满了”覆盖其他证据。
日志增长既可能是原因,也可能是结果
持续的应用异常、内核错误或调试日志可能迅速占满 /var。反过来,文件系统只读后,服务又可能重复记录写入失败,造成日志噪声增加。
可以先查看 journald 和日志目录占用:
sudo journalctl --disk-usage
sudo du -xhd1 /var/log 2>/dev/null | sort -h
sudo find /var/log -xdev -type f -size +1G -printf '%s %p\n' 2>/dev/null | sort -n
不要在故障现场直接删除整个日志目录,也不要对正在写入的日志文件盲目执行截断。应先保留与故障时间对应的日志,再根据发行版的 logrotate 配置或日志平台策略处理增长问题。清理动作需要确认目录、服务和保留周期,避免把后续根因分析所需的证据一并删除。
观察 I/O 延迟,区分繁忙与失败
日志没有明确报错时,需要查看设备是否只是拥塞,还是已经出现超时和错误。
iostat -xz 1 5
vmstat 1 5
cat /proc/pressure/io
iostat 中重点观察:
await:请求从提交到完成的平均等待时间,单位通常为毫秒;r_await、w_await:读写请求的等待时间;aqu-sz:平均队列长度;%util:设备忙碌程度;- 读写吞吐和 IOPS 是否突然偏离平时基线。
await 较高但没有内核错误,可能是备份、重建、批量扫描或业务突发造成的排队;await 突然升高,随后出现 timeout、reset、I/O error 和只读,则更接近设备或存储路径异常。不能用单一阈值判断所有 SSD、机械盘和云盘。比如 20 毫秒对某些本地 SSD 已经异常,对某些远端存储却可能只是高峰期表现,应该和该设备平时的基线比较。
如果设备是云盘或远端块存储,宿主机通常看不到真实介质的 SMART 信息。此时要同时检查云平台的卷状态、I/O 错误、吞吐或 IOPS 限制、维护事件和实例侧网络状态。
检查设备健康与存储路径
本地 SATA、SAS和NVMe设备
先确认设备是物理盘还是虚拟设备:
lsblk -d -o NAME,ROTA,RO,TRAN,MODEL,SERIAL,SIZE
对支持 SMART 的物理磁盘,可以读取健康信息:
sudo smartctl -x /dev/sdb
对 NVMe 设备,可以查看控制器和错误日志:
sudo nvme smart-log /dev/nvme0
sudo nvme error-log /dev/nvme0
这些命令应针对物理设备执行,不要直接对 /dev/mapper 或普通分区套用。虚拟磁盘、云盘和部分 RAID 控制器可能不提供完整 SMART 数据。需要重点关注介质错误、不可校正错误、待处理扇区、严重警告和错误日志是否持续增加,但单个健康指标正常也不能否定偶发链路故障。
远端块存储和多路径设备
如果内核日志出现以下模式,应把“网络或存储路径”单独列为分支:
connection timed out
path down
device-mapper: multipath: remaining active paths
SCSI error
session recovery
这类错误可能来自 iSCSI 会话、Multipath 路径、存储网络、交换设备、云平台后端或虚拟化宿主机。网络层异常不会总是直接显示为文件系统错误,但它可以让块设备长时间等待,最终触发上层文件系统保护。
检查设备映射和路径状态:
lsblk -s
sudo multipath -ll 2>/dev/null
ip -s link
multipath -ll 只有在系统使用多路径并安装对应工具时才有意义。不要因为某条路径短暂离线就立即修改多路径配置;先确认是否仍有可用路径、业务是否已经恢复,以及存储侧是否存在维护或故障事件。
针对数据库、业务后台及文件存储等对磁盘可靠性和读写资源有要求的场景,A5数据提供中国香港、美国、日本等地区的物理服务器,覆盖SSD、NVMe及大容量企业级机械硬盘方案,并配备不同CPU、内存和网络线路资源。香港存储系列可搭配多块企业级硬盘与H730控制器,日本部分方案支持大容量HDD或多块SSD,为数据存储、备份归档和多任务业务提供相应的硬件基础。
文件系统检查与恢复边界
先保护数据,再决定是否恢复读写
文件系统已经被内核切换为只读时,第一优先级是减少继续写入和重复修复的风险:

- 保留内核、服务和存储平台日志。
- 停止会持续产生写入的服务,确认停止范围和业务影响。
- 如果底层设备出现介质错误或 I/O 超时,优先制作快照、备份或故障盘镜像。
- 确认文件系统类型和实际设备。
- 在卸载状态下执行对应的检查工具。
可以先确认文件系统类型:
sudo findmnt -T /data -o SOURCE,FSTYPE,OPTIONS,TARGET
常见的处理边界如下:
- ext4:通常在文件系统卸载后使用
e2fsck。 - XFS:使用
xfs_repair,不能把普通fsck当作通用修复工具。 - Btrfs:先根据官方工具的只读检查、scrub 或恢复建议处理,避免直接执行高风险修复。
- 根文件系统:通常需要救援模式、维护模式或从外部系统启动,不能在正常运行状态下对已挂载根分区执行修复。
以 ext4 为例,下面的命令只能在确认设备未挂载、已有备份或快照,并接受维护窗口的前提下执行:
sudo umount /dev/vdb1
sudo e2fsck -f /dev/vdb1
卸载会中断使用该挂载点的服务;如果卸载失败,应先查找占用者,而不是强制卸载:
sudo fuser -vm /data
sudo lsof +f -- /data
不要对仍然挂载且正在写入的文件系统直接运行修复工具。XFS 的日志强制清除等高风险选项可能造成数据丢失,只有在备份、快照和厂商或发行版文档明确支持时才考虑。若底层磁盘持续返回 I/O 错误,反复执行文件系统修复可能进一步消耗故障设备,不能替代换盘或更换存储路径。
何时可以尝试重新挂载为读写
只有在以下条件基本满足时,才考虑重新挂载:
- 内核日志中没有持续出现新的 I/O 错误、超时或设备离线;
- 文件系统检查已完成,或已确认只读是人为维护策略;
- 存储设备和路径状态稳定;
- 已有可恢复的备份或快照;
- 业务方确认重新开放写入的影响。
示例命令如下:
sudo mount -o remount,rw /data
这条命令只是改变挂载状态,不会修复文件系统。若刚执行就再次出现错误,应立即停止写入并恢复为只读或卸载,不能反复重试。对于根文件系统、数据库数据目录和持续写入的日志分区,应该优先在维护模式下完成检查。
验证恢复是否真实有效
恢复不能只看 mount 输出。至少要完成状态、内核日志和业务写入三项验证:
findmnt -T /data -o TARGET,SOURCE,FSTYPE,OPTIONS
lsblk -o NAME,TYPE,RO,FSTYPE,MOUNTPOINTS
sudo journalctl -k --since "-10 minutes" --no-pager
如果业务允许,可以在专用测试目录创建一个小文件验证写入。路径必须明确,避免在生产数据目录执行广泛删除:
test_file="/data/.rw-check-$(date +%s)"
(umask 077 && printf 'rw-check\n' > "$test_file") &&
sync &&
test -s "$test_file" &&
rm -- "$test_file"
这个测试会实际写入并删除一个文件,只适合确认目录和业务影响后执行;不要改写为 rm -rf,也不要把变量替换成不确定的生产路径。
最终应同时确认:
- 挂载选项已经是
rw; - 块设备没有继续显示异常的
RO状态; - 测试写入成功;
- 内核没有产生新的
I/O error、timeout、reset或文件系统 shutdown; - 相关服务恢复后不再出现
EROFS、EIO、ENOSPC或EDQUOT; - I/O 延迟、队列长度和错误率回到可接受范围。
为下一次故障设置监控点
只监控磁盘使用率,无法覆盖这类故障。建议把以下指标分开告警:
- 挂载点从
rw变为ro,以及块设备RO状态变化; - 内核日志中的
I/O error、medium error、设备超时、控制器重置和文件系统错误; - 数据块使用率与 inode 使用率,分别设置预警和严重阈值;
- 日志目录增长速度、单文件异常增长和 journald 占用;
- I/O 延迟、队列长度、吞吐、IOPS 与设备错误数;
- SMART 或 NVMe 中的介质错误、不可校正错误和严重警告;
- 多路径可用路径数、远端会话状态和云盘平台事件;
- 应用层的
EROFS、EIO、ENOSPC、EDQUOT错误数量。
容量阈值应结合业务增长速度设置,常见做法是把 70%~80% 作为预警区间、85%~90% 作为严重区间,但日志突增明显的系统需要更早告警。I/O 延迟也应以设备历史基线和业务的尾延迟为准,而不是套用单一毫秒数。
只读事件本身往往是保护动作。真正需要定位的是它之前发生了什么:是空间和 inode 被消耗、服务日志失控、文件系统元数据异常、设备介质错误,还是存储路径中断。把挂载状态、内核时间线、容量指标、I/O 延迟和应用错误关联起来,才能在不误换磁盘或误修文件系统的情况下确定根因。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5569.html



