Linux服务器磁盘空间不足怎么定位?如何区分大文件、已删除文件占用与inode耗尽

发布人:A5数据发布时间:2026-10-27 14:55阅读量:152

应用提示“磁盘空间不足”,不一定意味着整块磁盘已经写满。同一台 Linux 服务器上,/ 可能还有空间,单独挂载的 /var 却已满;也可能容量充足,但 inode 用尽,导致新文件无法创建。日志持续增长、已删除文件仍被进程占用、文件系统只读或 I/O 异常,也会表现为写入失败。

定位时先确认哪个写入路径出问题、报错是什么,再对该路径所在的文件系统分别检查容量和 inode。如果 df 显示空间已用尽,就查大目录和已删除但仍打开的文件;如果 inode 已用尽,就查海量小文件。不要看到“磁盘不足”便清理整个 /var/log:删错日志可能影响审计,而删除正在被使用的日志,也未必能立即释放空间。

确认症状:先找到失败的写入路径

排查前记录报错时间、受影响的服务和具体路径。应用上传失败可能写入 /srv/app/uploads,数据库报错可能涉及其数据目录,Web 服务也可能是缓存或临时目录无法写入。同一应用的一次请求可能跨越多个文件系统,必须检查实际失败的路径。

先看报错类别,避免把所有写入失败都归为容量问题:

报错或现象优先检查不能直接推断为
No space left on device(ENOSPC)目标文件系统的容量、inode、配额一定存在可见的大文件
Disk quota exceeded(EDQUOT)用户、组或项目配额整个文件系统已满
Read-only file system(EROFS)挂载状态、内核及文件系统错误删除文件就能恢复写入
Input/output error(EIO)或写入显著变慢存储与文件系统健康状态仅靠扩容可以解决

将下面的 target 改为实际写入目录或其已存在的父目录。这些命令用于观察,不会修改文件:

target=/var/log
findmnt -T "$target" -o TARGET,SOURCE,FSTYPE,OPTIONS
df -hT "$target"
df -i "$target"
lsblk -f

findmnt -T 确定路径落在哪个挂载点;df -hT 看容量、剩余空间和文件系统类型;df -i 看 inode。lsblk -f 可辅助识别本地块设备,但容器挂载、网络文件系统或某些虚拟存储,不一定能仅凭它看清完整关系。

这里有一个关键区分:容量满,是可分配的数据空间不足;inode 满,是可创建的文件系统对象数量不足。例如一个目录有数百万个很小的缓存文件,df -h 仍显示有空间,df -i 却可能显示 inode 使用率达到 100%。反过来,一个超大日志文件会消耗容量,但通常只占少量 inode。两者可以同时发生,需要分别检查。

建立原因树:从受影响范围决定下一步

确认目标挂载点后,按范围缩小问题,而不是凭单条告警归因。

建立原因树:从受影响范围决定下一步配图

  • 多个本机服务在同一挂载点写入失败:优先查该文件系统的容量、inode、挂载状态和内核错误。若其他挂载点正常,不必先怀疑整台服务器的磁盘。
  • 只有一个服务失败:比较该服务实际写入路径、运行身份和配额。服务可能将日志、缓存、上传文件写在不同挂载点;其他服务正常,并不能证明它使用的文件系统正常。
  • 只有特定请求或任务失败:沿应用链路检查上传目录、临时目录、数据库目录等实际落点。报错可能发生在处理过程中的临时写入,而非最终保存位置。
  • 写入目标是网络文件系统:先由 findmnt 确认类型和来源,再分别检查远端容量、配额、连接及服务端状态。本机 / 有空间,不能证明远端可写。

网络、系统、服务和应用这几个层级是用来确定责任边界的,并非要把所有检查做一遍。若应用日志明确指出本地目录 ENOSPC,先查该目录所在文件系统;若表现为网络挂载卡顿或 I/O 错误,则不要强行套用“大文件占满”的排查路径。

容量已满:区分大文件与“删了却没释放”

当目标路径的 df -hT 显示可用空间接近零,先沿同一文件系统寻找占用。下面以已确认的挂载点 /var 为例;实际使用时应替换为 findmnt 查出的挂载点:

mountpoint=/var
sudo du -x -h -d 1 "$mountpoint"

-x 限定在同一文件系统内,避免把其他挂载点的用量混算进来;-d 1 先看一级目录,找到明显增长的分支后再逐层检查。大目录不等于单个大文件:日志轮转副本、备份文件和上传文件集合,都可能造成相同的占用结果。目录遍历可能产生明显 I/O,繁忙服务器宜避开高峰。

如果 du 找到的主要占用与 df 的已用空间大致相符,就沿大目录追查文件来源、增长时间和所属服务。若某个日志目录持续增长,还应确认是日志量本身增加、轮转未执行,还是应用反复报错。使用 systemd 日志的系统,可另外查看日志库占用:

journalctl --disk-usage

df 显示用量高,du 却找不到相应文件,则转向“不可从当前目录树直接看到的占用”。常见原因包括:

  1. 文件已经从目录中删除,但进程仍保持文件描述符打开,文件系统暂时不能回收其数据块。
  2. 文件写在后来被其他挂载覆盖的目录中;当前目录视图看不到底层文件。
  3. 文件系统元数据、快照、保留空间或容器存储层,使 df 与普通目录统计不能简单一一对应。

先检查已删除但仍打开的文件:

sudo lsof -nP +L1

在输出中核对进程、文件大小、文件名及其所属文件系统,再与目标挂载点对应;不要把机器上所有带有 (deleted) 的条目都算到同一块盘。lsof 未安装时,可先确认可用性,再按发行版的软件包管理方式安装,避免为排查问题执行来源不明的脚本。

例如,示例状态是 /var 的 df 显示已使用约 78 GiB,而该挂载点下可见文件的 du 合计约 55 GiB;随后 lsof 显示某服务仍打开一个位于 /var 的大型已删除日志。此时才有依据判断:空间差额中可能有一部分来自该文件。这里的数值仅演示推理,不能要求 df 与 du 的差值恰好等于某个文件大小。

恢复这类空间,应先确认对应进程和业务窗口,由服务维护人员安排日志重新打开或服务重启,并在操作后复查 df。重启可能中断请求;操作前应保留必要日志、确认服务的启动与恢复方式,并安排失败时回退到原运行配置。不要直接清空进程打开的文件描述符:这可能破坏应用正在写入的数据,而且清空已删除文件后也无法靠普通文件名恢复其原内容。

inode 已满:查文件数量,不查“谁最大”

当 df -i 显示目标文件系统的 inode 可用数为零或接近零,而 df -hT 仍有容量时,重点是文件和目录的数量。若系统中的 GNU du 支持 --inodes,可以按层级查看 inode 集中在哪里:

mountpoint=/var
sudo du --inodes -x -d 1 "$mountpoint"

再进入数量异常的目录逐层定位。典型来源包括缓存碎文件、未清理的临时文件、邮件队列和应用按请求生成的小文件。不要只凭“某目录文件多”就删除:先确认文件由哪个服务创建、是否仍被引用,以及是否存在应用自身的过期清理机制。

文件遍历同样可能给存储带来压力。若某目录已有大量文件,应控制排查时段;不宜在业务高峰对整个根目录同时执行多轮 find、du 和备份扫描。

inode 的恢复要通过合规清理、迁移文件,或调整文件存放方式实现。扩充块设备容量是否能增加可用 inode,取决于文件系统及扩容方式,不能把“加磁盘空间”视为必然解决方案。清理前应明确保留范围并完成备份;若删除后发现误清,只能从备份或应用数据源恢复,不能指望释放 inode 的操作自动回滚。

空间未满仍写不动:检查配额、文件系统和 I/O

如果容量、inode 都有余量,返回最初的报错和挂载类型。对本地文件系统,先检查是否被挂为只读,以及内核是否记录了文件系统或设备错误:

findmnt -T /var/log -o TARGET,SOURCE,FSTYPE,OPTIONS
dmesg -T | tail -n 80

读取 dmesg 可能需要相应权限。若看到持续的 I/O 错误、文件系统错误或挂载变为只读,应优先保护数据、核对备份和存储状态,再安排维护;不要一边大量删除文件,一边把故障当作普通空间不足处理。

写入明显变慢、但尚未报 ENOSPC 时,还可以观察系统是否存在持续的 I/O 等待。vmstat 通常可直接使用;装有 sysstat 的系统可进一步使用 iostat:

vmstat 1 3
iostat -xz 1 3

单次高延迟或高利用率不足以判定磁盘故障,需要结合业务负载、历史基线和内核错误。若目标位于容器可写层、网络文件系统,或启用了用户、组、项目配额,还应到相应层级核对限制;宿主机容量充足并不代表这些层级没有达到写入上限。

定位根因后,怎样验证恢复并防止复发

恢复动作应与证据对应:大文件占用要处理其增长来源和保留策略;已删除文件占用要让持有文件的进程安全关闭它;inode 耗尽要处理小文件产生与过期机制;只读或 I/O 错误则先处理存储健康问题。任何清理、轮转策略变更或服务重启,都应事先确认备份、影响范围和回退办法。尤其是文件删除,没有备份就不存在可靠的原样回滚。

操作后不要只看一次 df。对原先失败的路径重新执行容量和 inode 检查,确认服务恢复写入,并观察一段时间内的增长速度:

target=/var/log
df -hT "$target"
df -i "$target"
findmnt -T "$target" -o TARGET,SOURCE,FSTYPE,OPTIONS

验收至少包括三项:目标文件系统的可用资源确实恢复;原先失败的写入操作重新成功;相关日志不再持续出现 ENOSPC、EDQUOT、EROFS 或 I/O 错误。如果空间刚释放便迅速下降,故障只是暂时缓解,应继续追查日志风暴、缓存失控或定时任务产出。

日常监控也应按挂载点而非只按整机设置:分别关注可用容量、inode 可用量及其增长趋势,并为关键日志、缓存和数据目录设置符合保留要求的清理策略。同时观察 I/O 延迟、文件系统只读事件和应用写入错误。这样下次收到“磁盘空间不足”告警时,才能更快判断是容量、文件数量,还是写入路径背后的存储问题。

针对日志、缓存和业务数据持续增长带来的存储需求,A5idc数据提供覆盖中国香港、美国、日本等地区的物理服务器。香港常规系列配备SSD或NVMe存储,香港存储系列提供多块企业级HDD配置,日本CTG系列也有大容量HDD及多盘SSD方案。这些资源可为应用数据存放、文件集中管理与备份归档提供硬件基础,支持业务按数据规模规划存储空间。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/6091.html

相关推荐