Linux服务器磁盘空间不足,如何区分大文件、日志增长与inode耗尽?

发布人:A5数据发布时间:2026-11-07 10:31阅读量:91

当 Linux 服务器提示“磁盘空间不足”、应用写入失败或监控显示文件系统使用率接近 100% 时,不能只执行 du 查找几个大文件。磁盘问题通常至少要区分三条线:数据块容量是否耗尽、inode 是否耗尽,以及底层存储 I/O 延迟是否已经影响写入。日志快速增长只是“大文件”或“大量小文件”中的一种来源,不能直接等同于整个故障。

运维排查时,建议先用 df 查看文件系统整体状态,再用挂载点和目录维度定位占用,最后结合日志、已删除但仍被进程打开的文件、inode 数量和 I/O 指标判断原因。容量正常但 inode 达到 100%,与容量和 inode 都正常、只有 await 持续升高,处理方式完全不同。

先确认是容量、inode 还是 I/O 问题

记录文件系统整体状态

排查前需要具备 sudo 权限,并确认业务是否处于高峰期。初步命令尽量只读,不要先删除日志或重启服务。

sudo -v
date
uname -a
df -hT
df -ih

其中:

  • df -hT 查看各文件系统的容量、已用空间、可用空间、使用率和文件系统类型。
  • df -ih 查看 inode 总量、已用 inode 和 inode 使用率。
  • -T 可以帮助区分 ext4、xfs 等文件系统。
  • -i 的结果与容量单位无关,它反映的是文件和目录元数据数量。

重点观察挂载点对应的两组使用率:

先确认是容量、inode 还是 I/O 问题配图

观察结果更可能的原因下一步
容量使用率接近 100%,inode 使用率正常大文件、日志、镜像、备份或快照占用用 du 和 find 定位目录及文件
容量使用率不高,inode 使用率接近 100%大量小文件、缓存、会话文件、临时文件按目录统计 inode 和文件数量
容量和 inode 都正常,但业务变慢或写入超时存储 I/O 延迟、队列堆积、底层设备异常检查 iostat、vmstat 和内核日志
df 很高,但 du 找不到对应占用已删除但仍打开的文件、隐藏挂载点、文件系统元数据或快照检查 lsof +L1、挂载关系和存储层
某个挂载点满,但根目录看起来不大分区或独立挂载点单独耗尽针对该挂载点执行 du -x 和 df

不要只看 /。如果 /var、/var/log、/home 或应用数据目录是独立挂载点,根文件系统的结果不能代表这些目录。

确认目录所在的文件系统

先确认待检查路径实际落在哪个挂载点,避免跨文件系统统计或误把其他盘的占用算在一起。

findmnt -T /
findmnt -T /var
findmnt -T /var/log
df -hT /
df -hT /var
df -hT /var/log

如果 /var/log 返回独立设备,那么检查 / 时必须使用 du -x,否则目录统计可能穿透到其他挂载点,结果与目标文件系统的 df 对不上。

findmnt 还可以查看文件系统是否以只读方式挂载。如果业务报“只读文件系统”或写入突然全部失败,问题可能已经不只是空间不足,而是文件系统或底层存储出现错误。

从文件系统外层向目录内部定位

先按目录查看数据块占用

对根文件系统进行第一层统计:

sudo du -x -h -d 1 / 2>/dev/null | sort -h

如果系统中的 du 不支持 -d,可以使用等价写法:

sudo du -x -h --max-depth=1 / 2>/dev/null | sort -h

常见结果可能类似于:

1.2G    /home
4.8G    /usr
36G     /var
48G     /

这里的数值只是示例,不代表已在读者服务器上执行过。若 /var 明显较大,继续细分:

sudo du -x -h -d 1 /var 2>/dev/null | sort -h
sudo du -x -h -d 1 /var/log 2>/dev/null | sort -h
sudo du -x -h -d 1 /var/lib 2>/dev/null | sort -h

-x 表示只统计当前文件系统,能够减少 /proc、其他磁盘和网络挂载对结果的干扰。权限不足导致的目录未统计,会让结果偏小,因此需要注意命令输出中的 Permission denied。

如果 df 显示根分区已经接近 100%,但 du -x 加总明显小于 df 的已用量,不要立即认为 du 出错,优先检查以下情况:

  1. 文件已经被删除,但进程仍然持有打开的文件描述符。
  2. 统计目录下存在另一个挂载点,未使用 -x 时出现重复或遗漏。
  3. 文件系统有保留块、元数据或日志区域。
  4. 存储层存在快照、写时复制或其他文件系统级占用。
  5. 文件系统发生异常,df 和目录遍历暂时无法反映同一时刻的状态。

找出大文件并确认是否仍在增长

定位大文件时,先选择业务相关挂载点,不建议一开始对所有挂载点做深度扫描。下面命令只检查根文件系统中大于 1 GiB 的普通文件:

sudo find / -xdev -type f -size +1G -printf '%s\t%p\n' 2>/dev/null \
  | sort -nr \
  | head -n 30

输出第一列是字节数,第二列是路径。为了避免单位混淆,可以用 numfmt 转换第一列:

sudo find /var -xdev -type f -size +500M -printf '%s\t%p\n' 2>/dev/null \
  | sort -nr \
  | head -n 30 \
  | numfmt --field=1 --to=iec

如果系统没有 numfmt,保留字节数也可以。容量计算时必须统一口径:df -B1 和 du -B1 使用字节统计;df -h 通常按二进制量级显示,df --si 则按十进制量级显示。不要把 GB、GiB、Gb 和 Gbit 混在一起判断剩余空间。

发现大文件后,先查看属性和最近修改时间:

sudo stat /var/log/example.log
sudo ls -lh --time-style=long-iso /var/log/example.log

仅凭文件大小不能判断它是否是当前故障源。需要结合以下问题:

  • 文件是否位于日志、缓存、备份或上传目录?
  • 文件的修改时间是否持续更新?
  • 对应服务是否仍在运行?
  • 删除或归档该文件会不会影响业务读取、审计或恢复?
  • 文件是否是稀疏文件,逻辑大小很大但实际占用空间较小?

可以间隔一段时间重复查看,确认增长速度。例如记录两个时刻的字节数:

sudo stat -c '%s %y %n' /var/log/example.log
sleep 60
sudo stat -c '%s %y %n' /var/log/example.log

如果 60 秒内增加约 20 MiB,则估算增长速度约为每分钟 20 MiB,即每小时约 1,200 MiB。剩余可用空间和增长速度必须使用同一单位,才能估算出大致耗尽时间。这个估算只用于争取处置时间,实际增长通常会随流量和错误率变化。

处理 df 与 du 不一致的已删除文件

Linux 中,文件名被删除并不代表空间立即释放。只要进程仍然打开该文件,文件的数据块仍会占用磁盘;只有最后一个文件描述符关闭后,空间才会归还文件系统。

处理 df 与 du 不一致的已删除文件配图

检查这类文件:

sudo lsof -nP +L1

重点查看输出中的路径是否带有 (deleted),并确认进程名、PID、用户和文件大小。常见来源包括日志文件、临时导出文件、应用生成的中间文件和数据库相关文件。

处理原则是:

  1. 先确认 PID 对应的服务和业务影响。
  2. 优先使用应用支持的日志重开、优雅重载或轮转机制。
  3. 如果必须重启,提前确认维护窗口、连接重建、任务中断和启动依赖。
  4. 重启后重新执行 lsof -nP +L1 和 df -hT 验证空间是否释放。
  5. 不要对不明进程直接执行 kill -9,也不要为了释放空间随意覆盖活动文件。

systemctl restart 服务名 可能造成短暂中断,且不一定适用于所有服务。若服务支持 reload,也不能默认认为 reload 一定会关闭旧文件描述符,必须根据该服务的日志机制验证。错误重启后,回滚通常是恢复原配置并重新启动服务;已删除的文件本身不能通过普通命令撤销,重要日志应先复制到其他存储位置。

分支一:容量不足但 inode 正常

这类情况通常由少量大文件造成,日志、数据库归档、备份包、容器镜像层、上传文件和核心转储是常见来源。

日志目录异常增长

先查看 systemd journal 的占用:

sudo journalctl --disk-usage
sudo du -x -h -d 2 /var/log 2>/dev/null | sort -h

继续查看日志轮转配置是否存在语法或规则问题:

sudo logrotate -d /etc/logrotate.conf

-d 是调试模式,通常不会真正执行轮转,适合先确认规则。检查重点包括:

  • 是否配置了按天或按大小轮转;
  • rotate 保留数量是否过大;
  • compress 是否启用且符合业务要求;
  • delaycompress 是否导致近期日志暂不压缩;
  • postrotate 是否能通知应用重新打开日志;
  • 应用是否绕过 logrotate,直接写入固定文件;
  • 日志目录是否被软链接到其他位置。

不要直接删除正在写入的活动日志文件。直接 rm 可能使目录项消失,但进程仍持有旧文件描述符,空间不会马上释放;即使空间释放,也可能造成日志缺失或应用无法继续写入。

如果确认 systemd journal 保留了过多历史日志,应先把需要审计或故障分析的日志导出到其他存储,再执行受控清理。例如仅保留一定大小的历史 journal:

sudo journalctl --vacuum-size=1G

或按时间清理:

sudo journalctl --vacuum-time=7d

这些命令会删除旧的归档日志,通常无法从本机直接回滚。执行前应确认:

  • 清理范围只针对本机 journal;
  • 安全审计、故障调查或合规要求允许删除;
  • 重要内容已导出并确认可读取;
  • 目标文件系统有足够空间完成必要的导出操作。

如果日志正在以异常速度增长,清理只是临时缓解。还需要查找源头,例如应用错误重试、数据库连接失败、上游请求异常或日志级别被临时调高。应在应用配置层修复原因,并保留变更前配置副本,避免只删日志而让问题继续产生。

大文件属于备份、上传或缓存

对于备份包、上传文件和历史归档,先确认是否存在保留周期、恢复点和业务所有者。较稳妥的流程是:

  1. 将文件复制或移动到容量充足的外部存储。
  2. 对源文件和目标文件计算校验值,确认传输完整。
  3. 确认应用不再读取源文件,且备份可正常恢复或归档可正常打开。
  4. 再删除源文件,并复测文件系统空间。
  5. 更新保留策略,避免短期内再次耗尽。

示例校验命令:

sha256sum /path/to/archive.tar
sha256sum /mnt/other-storage/archive.tar

如果源文件位于数据库目录、虚拟机镜像目录或容器运行时目录,不应直接删除。数据库文件可能需要通过数据库自身的归档或清理机制处理;虚拟机镜像和容器层还可能受到引用关系、快照或运行时元数据影响。

分支二:inode 耗尽但容量未满

inode 用于记录文件、目录、权限、时间和数据块索引等元数据。大量几十字节甚至零字节的小文件,可能在磁盘容量尚未用尽前耗尽 inode。常见目录包括应用会话目录、邮件队列、缓存目录、临时目录、每请求一个文件的调试目录和失败任务输出目录。

先确认哪个挂载点的 inode 使用率最高:

df -ih

如果 GNU du 支持 --inodes,可以按目录统计 inode 数量:

sudo du --inodes -x -d 2 /var 2>/dev/null | sort -n | tail -n 30

若系统不支持该选项,可以统计文件所在目录的数量分布:

sudo find /var -xdev -type f -printf '%h\n' 2>/dev/null \
  | sort \
  | uniq -c \
  | sort -nr \
  | head -n 30

这类扫描会产生较多磁盘读取,I/O 已经很高时不宜频繁执行。可以先缩小范围,例如只检查 /var/cache、/var/tmp、应用数据目录。

看到某个目录文件数量异常后,先列出样本并检查时间:

sudo find /var/tmp/example-app -xdev -type f -printf '%TY-%Tm-%Td %TH:%TM:%TS %s %p\n' \
  2>/dev/null | sort | head -n 50

处理小文件时,不要直接执行宽泛的 rm -rf。应先确认文件类型、创建者、保留期限和是否有进程正在使用。可先执行只读清单:

sudo find /var/tmp/example-app -xdev -type f -mtime +30 -print

只有在应用规则、保留周期和备份条件都明确时,才进行清理。删除操作不可直接回滚,必要时先将关键文件归档到外部存储,并安排低峰期执行。对于 systemd 管理的临时目录,可以先检查 tmpfiles 配置,再评估是否使用系统策略清理:

sudo systemd-tmpfiles --cat-config

不要把“文件数量多”简单归因于日志。日志通常表现为少量大文件快速增长,而 inode 耗尽往往表现为某个目录下有成千上万甚至更多小文件。两种情况需要分别修复写入源和保留策略。

分支二:inode 耗尽但容量未满配图

分支三:空间和 inode 尚可,但 I/O 延迟异常

磁盘空间不足有时是结果,不是最初原因。存储设备延迟升高后,日志写入、临时文件创建和数据库落盘会变慢,应用可能出现超时;如果应用不断重试,还可能进一步生成大量日志。

安装了 sysstat 时,可以执行:

iostat -xz 1 5

关注以下字段:

分支三:空间和 inode 尚可,但 I/O 延迟异常配图

  • await:设备请求从提交到完成的平均等待时间,持续升高通常说明响应变慢。
  • %util:设备忙碌程度,长期接近 100% 说明设备或存储路径可能处于饱和状态。
  • aqu-sz:平均请求队列长度,持续升高表示请求积压。
  • r/s、w/s:每秒读写请求数。
  • rkB/s、wkB/s:每秒读写吞吐量,单位通常为 KiB/s 量级显示。

同时查看内存、运行队列和 I/O 等待:

vmstat 1 5

如果需要定位具体进程,且系统安装了 sysstat:

pidstat -d 1 5

这些指标需要结合设备类型、云盘规格、业务访问模式和基线判断,不能仅凭一次采样得出结论。例如机械盘、网络块存储和本地 NVMe 的正常延迟范围不同。若 %util 持续很高但吞吐量并不大,可能是大量小 I/O 或底层存储延迟,而不是单纯带宽不足。

检查内核是否报告 I/O 错误、文件系统错误或设备掉线:

dmesg -T | egrep -i 'I/O error|timeout|reset|read-only|ext4|xfs|nvme|blk_update'

云主机还需要结合云平台的磁盘监控、突发额度、IOPS、吞吐和限流指标判断。系统内 df 正常,并不能证明云盘或网络存储路径没有延迟问题。

文件系统、挂载点和底层容量的边界

区分块设备空间与文件系统空间

有时底层云盘或虚拟磁盘已经扩容,但分区或文件系统没有同步扩大。此时 lsblk 可能显示设备容量变大,而 df 仍显示原来的文件系统容量。

lsblk -o NAME,SIZE,FSTYPE,TYPE,MOUNTPOINTS
sudo pvs
sudo vgs
sudo lvs

pvs、vgs、lvs 仅适用于使用 LVM 的环境,命令不存在时不代表系统异常。扩容前必须确认设备、分区、逻辑卷、文件系统类型和挂载点的对应关系。

常见的扩容边界如下:

  • ext4 文件系统通常使用 resize2fs 扩大文件系统;
  • XFS 通常使用 xfs_growfs,并针对挂载点执行;
  • LVM 环境还需要先确认卷组是否有空闲空间;
  • 分区扩容可能涉及 growpart 或分区工具;
  • 文件系统扩容通常不等同于文件系统缩容,错误操作可能无法通过简单命令回滚。

因此不要直接套用网上的 lvextend -r、resize2fs 或 xfs_growfs 命令。执行高风险扩容前,应完成快照或备份,记录原始设备映射,并确认云平台或虚拟化层的扩容已完成。涉及根分区时,还要准备控制台、救援系统或维护窗口。

识别 ext4 保留块

ext4 可能保留一部分空间供特权进程和系统恢复使用,因此普通用户看到的可用空间可能少于预期。可以先查看保留块信息:

findmnt -no SOURCE,FSTYPE,TARGET -T /

确认文件系统是 ext4 后,再对对应设备查询:

sudo tune2fs -l /dev/DEVICE | grep -E 'Block count|Reserved block count|Block size'

/dev/DEVICE 必须替换为 findmnt 返回的真实设备,不能照抄。保留块的作用是避免普通业务完全占满磁盘后,系统管理员无法登录、写入日志或执行修复。降低保留比例不是常规的空间清理方案,也不能解决日志持续增长或 inode 耗尽问题。除非已经评估业务类型、恢复需求和故障风险,否则不应修改该参数。

如果出现文件系统错误或被自动挂载为只读,不要在仍挂载且有业务写入时直接运行 fsck 或修复工具。应先停止写入、完成备份,并根据文件系统类型在离线、救援系统或官方维护流程中检查。XFS 的修复流程与 ext4 不同,不能混用工具。

根据结果选择修复动作

可以用下面的分支快速收敛判断:

主要证据判断处理重点
df -hT 接近 100%,df -ih 正常,du 能找到少数大文件数据块容量不足处理日志、备份、上传文件或镜像;先确认保留和恢复要求
df -hT 尚可,df -ih 接近 100%inode 耗尽定位小文件密集目录,修复缓存、会话、临时文件保留策略
df 高、du 低,lsof +L1 有大文件删除但仍被打开识别服务,优先日志重开或受控重启
journalctl --disk-usage 或 /var/log 明显增长日志保留或异常输出保留必要证据,修复轮转、日志级别和错误源,再清理旧日志
df 和 inode 正常,iostat 的 await、队列持续升高存储 I/O 延迟排查设备、云盘限流、热点进程和底层存储异常
lsblk 容量大于 df文件系统尚未扩容核对分区、LVM 和文件系统后再执行扩容
dmesg 出现 I/O error、timeout 或 read-only设备或文件系统风险停止扩大写入,备份并进行离线检查,不能靠删除文件解决

临时释放空间时,优先选择低风险且可解释的动作:

  • 停止产生异常日志的源头;
  • 按现有策略轮转或压缩日志;
  • 清理已经确认过期的缓存和临时文件;
  • 将已验证的归档转移到其他存储;
  • 关闭仍占用已删除文件的进程或按维护流程重启服务。

不要为了让监控数字下降而删除数据库文件、容器运行时目录、虚拟机磁盘、未知进程文件或整个日志目录。对于没有备份、没有恢复路径、没有业务确认的删除操作,应视为不可逆变更。

修复后的验证与持续观察

处理完成后,至少复测容量、inode、已删除文件和日志增长四个方面:

df -hT
df -ih
sudo lsof -nP +L1
sudo journalctl --disk-usage

如果之前通过清理目录释放空间,还要重新检查对应目录:

sudo du -x -h -d 1 /var 2>/dev/null | sort -h
sudo du -x -h -d 1 /var/log 2>/dev/null | sort -h

如果通过服务重启释放了已删除文件,lsof -nP +L1 中相关条目应消失,df 的可用空间应增加。若 lsof 条目仍在,说明还有其他进程持有文件,或服务并未真正关闭旧文件描述符。

可以在短时间内观察容量和 inode 是否再次上升:

watch -n 30 'df -hT /; echo; df -ih /'

业务恢复后,还应检查:

  • 应用是否能正常写入和读取;
  • 日志轮转是否按预期执行;
  • 错误日志是否仍以异常速度增长;
  • 数据库、队列和定时任务是否出现失败重试;
  • I/O 延迟是否回到该服务器的正常基线;
  • 监控是否同时覆盖容量使用率和 inode 使用率。

容量告警可以按业务保留需求设置分级阈值,例如在 80%、90% 和 95% 时分别触发提醒、值班通知和应急处置;inode 也应单独设置阈值。对于增长速度明显的日志或上传目录,除了固定使用率告警,还应监控单位时间增长量,这样通常能在文件系统完全耗尽前发现问题。

磁盘空间治理也离不开与业务规模相匹配的存储资源。A5idc数据提供香港、日本等地区的物理服务器,涵盖NVMe、SSD与大容量机械硬盘方案,可承载网站、数据库、应用数据及备份归档等不同负载;香港和美国的部分产品还提供AMD平台,适合多任务运行需求。通过不同地区、存储类型和硬件配置的产品组合,A5idc数据为业务部署与数据增长提供相应的服务器资源基础。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/8029.html

相关推荐