新加坡服务器Linux inode耗尽怎么排查,如何找到小文件增长目录并恢复空间

发布人:A5数据发布时间:2026-11-09 14:05阅读量:85

新加坡服务器出现“磁盘还有空间,却无法创建文件”“No space left on device”或服务突然无法写日志时,不能只看 df -h。如果文件系统的 inode 已经耗尽,即使还剩数十 GB 的容量,也可能无法创建新的日志、缓存、临时文件和目录。排查重点是先确认发生故障的挂载点,再按 inode 数量而不是文件大小寻找增长最快的目录。

正文开篇配图

找到目录后,还要继续确认这些小文件由谁创建、是否属于日志或缓存、是否存在未挂载导致的误写,以及是否有“文件已删除但进程仍保持打开”的情况。清理动作应先保留证据、控制持续写入,再根据文件用途选择回收方式,避免直接删除正在使用的数据。

先确认耗尽的是容量、inode,还是其他配额

1. 确认受影响的文件系统

不要默认问题一定发生在根分区。应用可能将数据写入 /var、/home、/opt、容器目录、独立数据盘或网络文件系统。先查看所有挂载点:

sudo df -hT
sudo df -ihT
sudo findmnt -rn -o TARGET,SOURCE,FSTYPE,OPTIONS

如果已经知道报错路径,例如应用缓存目录,可以直接定位该路径实际归属的文件系统:

sudo df -hT /var/lib/myapp/cache
sudo df -ihT /var/lib/myapp/cache
sudo findmnt -T /var/lib/myapp/cache -o TARGET,SOURCE,FSTYPE,OPTIONS

参考输出如下,数据仅用于说明判断方法:

Filesystem     Type  Inodes   IUsed   IFree IUse% Mounted on
/dev/vda1      ext4  1310720 1309000 807    100%  /

如果 IUse% 达到 100%,但 df -hT 显示磁盘容量尚未用完,基本可以确认是 inode 耗尽。此时,删除少量大文件可能只能释放数据块,未必能解决“无法创建新文件”的问题;需要找到并清理大量不再需要的小文件,或者关闭仍占用已删除文件的进程。

先确认耗尽的是容量、inode,还是其他配额配图

2. 用结果区分不同故障分支

观察结果更可能的原因下一步
容量接近 100%,inode 使用率正常大文件、镜像、备份或日志占满数据块用 du 和文件大小排序查大文件
inode 使用率接近 100%,容量仍有余量大量小文件、目录、缓存、会话或队列文件用 du --inodes、find 查文件数量
容量和 inode 都接近 100%小文件和大文件同时增长,或日志持续写入先限速或暂停写入,再分开定位
df 正常,但应用仍报空间不足用户配额、项目配额、容器挂载、临时目录或挂载异常检查配额、容器路径和应用实际写入位置
df 或 find 长时间无响应存储 I/O 延迟、网络文件系统异常或内核错误先查内核日志、I/O 延迟和挂载状态

Linux inode 不只对应普通文件,也可能被目录、符号链接、套接字和其他文件系统对象占用。因此,按普通文件数量统计是很有用的近似方法,但不能把结果机械地等同于 df -i 中的精确 inode 数量。

3. 排除配额、只读和挂载异常

“磁盘有空间但无法写入”还可能由用户配额、项目配额或文件系统只读状态引起。可以查看挂载选项和内核日志:

sudo findmnt -T /var/lib/myapp
sudo journalctl -k -n 100 --no-pager
sudo dmesg -T | tail -100

如果系统启用了用户配额,再检查当前用户配额:

quota -s

如果应用数据本来应该位于独立数据盘,还要特别关注“挂载点未挂载”的情况。比如 /data/app 原本是数据盘挂载点,数据盘异常卸载后,应用仍可能在根分区下的同名目录中持续写入。此时:

sudo findmnt -T /data/app
sudo df -hT /data/app

如果显示的仍是根分区,而不是预期的数据盘,就不能直接清理目录。需要先停止写入进程、确认隐藏数据和挂载关系,再安排恢复挂载。挂载恢复后,挂载点下原本写入根分区的文件可能会被遮挡,误删或误操作都有数据风险。

建立 inode 耗尽的原因树

网络层:网络通常不是直接消耗 inode 的位置

新加坡服务器所在地区不会改变 Linux inode 的分配机制。网络问题更多是通过应用重试、上传分片、远程存储延迟或日志上报失败,间接造成小文件快速增长。

可以按以下逻辑判断:

  • 本地使用 ext4、XFS 等文件系统时,inode 消耗发生在本地挂载点,网络延迟本身不会凭空增加 inode。
  • 应用因网络请求超时而反复生成临时文件、任务文件或重试记录时,真正的根因可能在应用的重试策略。
  • 如果路径属于 NFS、SMB 等网络文件系统,inode 统计和文件创建行为可能由远端存储决定,应同时检查远端存储的容量、inode、配额和连接状态。

先确认文件系统类型:

sudo findmnt -T /var/lib/myapp/cache -o TARGET,SOURCE,FSTYPE,OPTIONS

如果确认是网络文件系统,可进一步检查挂载和内核错误:

sudo nfsstat -m
sudo journalctl -k --since "30 minutes ago" --no-pager

应用日志中的连接超时、上传重试、队列堆积,只能说明网络或上游服务可能触发了文件增长,不能单独证明 inode 耗尽由网络造成。

系统层:临时目录、日志、缓存和崩溃转储

系统目录是最常见的增长位置,尤其包括:

  • /tmp、/var/tmp
  • /var/log 和 systemd journal
  • /var/cache
  • /var/spool 下的邮件、打印或任务队列
  • 崩溃转储目录
  • 软件包下载缓存
  • 系统服务生成的状态文件

先比较这些目录的 inode 数量:

sudo du -x --inodes --max-depth=2 /var 2>/dev/null | sort -n | tail -30
sudo du -x --inodes --max-depth=2 /tmp 2>/dev/null | sort -n | tail -30

--inodes 在部分较旧的 GNU Coreutils 中可能不可用。如果命令提示不支持,可以用文件数量做近似统计:

for d in /var/*; do
  [ -d "$d" ] || continue
  n=$(find "$d" -xdev -type f -printf 'x\n' 2>/dev/null | wc -l)
  printf '%12s %s\n' "$n" "$d"
done | sort -nr | head -30

这个统计主要计算普通文件,不包括所有目录、链接和特殊文件,所以应把它作为定位线索,而不是精确的 inode 账单。

systemd journal 可以先查看当前占用:

sudo journalctl --disk-usage

如果确认 journal 超出既定保留策略,可在备份和确认保留期限后执行按大小或时间清理:

sudo journalctl --vacuum-size=500M

该操作只针对 systemd journal 的归档文件,不会清理普通文本日志,也不能替代日志轮转配置。清理前应确认审计、故障追踪和合规要求;执行后通常不能从服务器本地撤销,只能从外部备份恢复。

服务层:日志轮转和容器日志异常

服务自身可能持续产生大量小文件,例如:

  • Nginx、应用服务器或任务服务生成访问日志、错误日志和请求分片。
  • 日志轮转配置失效,导致每天创建新文件但旧文件不删除。
  • 日志文件被移动或删除后,进程仍持有旧文件描述符。
  • 容器运行时日志未设置大小和数量限制。
  • 队列服务、邮件服务或后台任务积压了大量单文件任务。

先从服务目录和日志目录分别看 inode 数量:

sudo du -x --inodes --max-depth=3 /var/log 2>/dev/null | sort -n | tail -30
sudo du -x --inodes --max-depth=3 /var/spool 2>/dev/null | sort -n | tail -30

如果使用容器,还应确认容器数据目录是否独立挂载:

sudo findmnt -T /var/lib/docker
sudo du -x --inodes --max-depth=3 /var/lib/docker 2>/dev/null | sort -n | tail -30

不要在未确认影响范围时直接使用全局清理命令。容器镜像层、可写层、卷和日志的生命周期不同,docker system prune 一类命令可能清理仍被业务依赖的资源。应先用容器运行时提供的明细命令确认对象,再按容器、日志文件或卷分别处理。

应用层:缓存、会话、上传分片和重试文件

inode 耗尽最常见的应用特征是“单个文件不大,但数量增长很快”。典型路径包括:

  • 文件型 session 目录;
  • 图片、视频或附件上传的临时分片;
  • 任务队列的一个任务一个文件;
  • 缓存按请求、用户或 URL 生成独立文件;
  • 失败重试没有上限,反复生成新文件;
  • 临时文件命名带有 UUID、时间戳或随机字符串。

这类问题不能只根据目录名称判断。缓存目录也可能保存仍在使用的对象,上传目录中的小文件也可能是未完成任务。需要结合文件修改时间、所有者、扩展名、应用日志和创建进程判断。

逐层定位小文件增长目录

第一步:先找 inode 数量最多的路径

对已确认的文件系统执行 du --inodes,不要直接对所有挂载点做全盘递归扫描:

逐层定位小文件增长目录配图

sudo du -x --inodes --max-depth=2 /var/lib 2>/dev/null | sort -n | tail -30

其中:

  • -x 表示不跨文件系统,避免把其他挂载点混进结果;
  • --max-depth=2 先看较粗的目录层级,减少扫描时间;
  • sort -n | tail 将 inode 数量较大的目录放在末尾。

例如,参考结果可能是:

18540   /var/lib
49200   /var/lib/docker
183700  /var/lib/myapp
824600  /var/lib/myapp/cache

这只能说明 /var/lib/myapp/cache 的 inode 占用较高,还不能说明哪些文件可以删除。继续缩小范围:

sudo du -x --inodes --max-depth=3 /var/lib/myapp/cache 2>/dev/null | sort -n | tail -30

如果目标目录下有数百万个文件,扫描本身会产生明显的磁盘读取压力。生产业务正在高峰期时,应先采集一次结果,避免反复执行全盘 find。

第二步:按目录统计文件数量

如果系统不支持 du --inodes,或者需要找出具体的“小文件集中目录”,可以统计文件所在的父目录:

sudo find /var/lib/myapp/cache -xdev -type f -printf '%h\n' 2>/dev/null |
  sort | uniq -c | sort -nr | head -30

参考输出:

  612430 /var/lib/myapp/cache/2025/08/18
  588120 /var/lib/myapp/cache/2025/08/17
  421900 /var/lib/myapp/cache/tmp

这个结果可以回答“哪个目录里文件最多”,但不能回答“哪个目录占用容量最大”。因此,inode 排查要同时保留两套视角:

sudo du -x -h --max-depth=2 /var/lib/myapp 2>/dev/null | sort -h | tail -20
sudo du -x --inodes --max-depth=2 /var/lib/myapp 2>/dev/null | sort -n | tail -20

容量排名高的目录适合排查大文件;inode 排名高的目录则重点查看小文件数量。

第三步:观察文件大小、时间和类型

确认目录后,抽取部分文件样本:

sudo find /var/lib/myapp/cache -xdev -type f -size -64k \
  -printf '%s %p\n' 2>/dev/null | sort -n | head -50

查看最早或最晚修改的文件:

sudo find /var/lib/myapp/cache -xdev -type f \
  -printf '%T@ %s %p\n' 2>/dev/null | sort -n | head -30

需要重点观察:

  • 是否大量文件都小于几 KB;
  • 文件名是否包含日期、请求 ID、用户 ID 或随机 ID;
  • 文件是否集中在同一天或某个时间段;
  • 所有者是否属于同一个服务账号;
  • 文件扩展名是否对应缓存、分片、日志或队列;
  • 文件是否仍在持续产生。

如果文件名可能包含换行符、特殊字符或大量非标准字符,上述文本统计可能出现误判。对高风险目录进行清理前,应使用应用自身的索引或脚本逐个确认,不要只依据管道输出直接删除。

第四步:检查“已删除但仍被打开”的文件

有时日志文件已经被删除,目录中看不到它,但服务进程仍保持文件描述符,空间和 inode 都不会立即释放。使用 lsof 检查:

逐层定位小文件增长目录配图

sudo lsof -nP +L1

重点查看输出中的:

  • 进程名和 PID;
  • 文件所在挂载点;
  • 文件大小;
  • (deleted) 标记;
  • 是否属于日志、临时文件或应用数据。

确认进程后,应按照服务的维护方式关闭或重启它。重启可能中断请求、丢失内存队列或触发连接重建,因此要先确认服务类型、集群状态和业务影响。单纯执行日志 reload 不一定会关闭旧文件描述符,某些服务只有在优雅重启或重新打开日志后才会释放空间。

如果重启后 df -hT 和 df -ihT 都恢复,且 lsof +L1 中对应记录消失,说明主要占用来自已删除但仍打开的文件。还需要继续修复日志轮转或进程的日志重开机制,否则问题会再次发生。

按根因选择恢复方式

先保留证据,再控制增长

在删除文件前,建议至少保存以下信息:

date
sudo df -hT
sudo df -ihT
sudo du -x --inodes --max-depth=2 /var 2>/dev/null | sort -n | tail -30
sudo lsof -nP +L1
sudo journalctl -k -n 100 --no-pager

如果目录仍在快速增长,优先暂停对应的定时任务、消费进程或写入服务,或者将流量切换到其他实例。不要一边让应用持续生成文件,一边批量清理,否则可能出现清理速度低于增长速度、文件被重新创建、应用读取到半清理状态等问题。

日志和 journal

普通日志应检查轮转是否正常,包括轮转周期、保留数量、压缩策略、文件权限和服务是否正确重新打开日志。可以先用调试模式查看轮转规则:

sudo logrotate -d /etc/logrotate.conf

-d 只进行模拟,不会真正轮转。不要在未确认配置前直接强制轮转,因为强制操作可能瞬间创建新日志、改变权限或触发服务重载。

对于 systemd journal,应根据实际保留期限执行按时间或大小清理。清理前确认外部日志平台或备份中已有所需记录;清理动作对本地归档文件不可直接回滚。

临时文件和软件包缓存

/tmp 和 /var/tmp 不应通过全局通配符直接删除。临时目录中的文件可能被正在运行的进程使用。可以先查看文件年龄、所有者和打开状态,再根据系统的 tmpfiles 规则进行维护:

sudo systemd-tmpfiles --clean

该命令会按照系统配置的生命周期规则清理对象,仍应在维护窗口执行,并确认应用没有依赖长期保留的临时文件。

Debian 或 Ubuntu 系统中的软件包下载缓存通常可以单独清理:

sudo apt-get clean

它主要清理已下载的软件包缓存,不会删除已安装的软件包,但清理后如需重新安装,系统可能需要再次下载。其他发行版应先确认包管理器,不要直接套用该命令。

应用缓存、会话和上传分片

应用生成的缓存或临时文件,应优先使用应用提供的清理命令、过期策略或后台任务。没有专用工具时,也只能针对已经确认的目录和文件类型进行预览:

sudo find /var/lib/myapp/cache -xdev -type f \
  -name '*.tmp' -mtime +7 -print

确认这些文件确实可重建、已超过保留期限,并完成必要备份后,才可以在停止写入或控制并发的前提下执行定向清理:

sudo find /var/lib/myapp/cache -xdev -type f \
  -name '*.tmp' -mtime +7 -delete

这条命令只适合明确的缓存目录、明确的扩展名和明确的保留期限。它不会提供事务回滚;删除后的恢复依赖备份,且可能影响仍在运行的任务。对上传、订单、队列、会话和数据库导出目录,不应直接套用该命令。

移动文件到同一文件系统的其他目录通常不会释放 inode 或磁盘空间,只是改变路径。压缩多个文件也必须先确认应用不再需要逐个访问它们,并保留原始文件的恢复方案。

针对日志、缓存、上传分片及多文件业务带来的持续存储需求,A5idc数据提供中国香港、美国、日本、韩国、中国台湾、新加坡和马来西亚等地区的物理服务器资源,涵盖SSD、NVMe及大容量存储方案,可支持网站后台、数据库、容器服务、文件归档等不同类型的Linux业务部署,为文件系统规划和长期数据增长提供相应的硬件基础。

处理文件系统层面的长期问题

如果短期清理后 inode 很快再次耗尽,根因通常不是一次性的日志异常,而是文件组织方式或文件系统规划不匹配。

ext4 通常在创建文件系统时按照 inode 比例预先分配 inode。大量小文件场景下,即使数据块尚有余量,也可能先耗尽 inode。扩容、迁移或重新创建文件系统时,应根据实际文件数量、单文件大小和增长速度重新评估 inode 比例。不要把调整 inode 大小、扩展分区和增加 inode 数量混为一谈,具体能力取决于文件系统类型和操作方式。

XFS 的 inode 分配机制与 ext4 不同,但大量小文件仍会消耗元数据空间并增加目录遍历、备份和删除时间。因此,改用另一种文件系统并不能替代应用层的过期清理和文件数量控制。

如果业务天然会产生数百万个对象,可以考虑:

  • 按日期或租户分层,避免所有文件集中在一个目录;
  • 使用数据库、对象存储或适合批量对象管理的存储方式;
  • 将多个小对象合并为分片包,但要评估随机读取和恢复成本;
  • 为缓存、session、上传临时目录分别设置保留期限;
  • 将业务数据和系统日志放在不同文件系统,避免互相拖垮;
  • 通过配额限制异常任务对整个主机文件系统的影响。

验证空间是否真正恢复

清理或重启服务后,不要只看一次 df -h。至少进行以下验证:

sudo df -hT /var/lib/myapp/cache
sudo df -ihT /var/lib/myapp/cache
sudo lsof -nP +L1
sudo du -x --inodes --max-depth=2 /var/lib/myapp 2>/dev/null | sort -n | tail -20

同时观察一段时间内的增长趋势:

watch -n 10 'df -hT /var/lib/myapp/cache; df -ihT /var/lib/myapp/cache'

如果环境没有 watch,可以间隔执行相同命令并记录时间。验证结果可以这样判断:

  • inode 使用率下降、可用 inode 增加,说明小文件或目录确实被释放;
  • 容量恢复但 inode 几乎不变,说明主要清理的是大文件,原有小文件问题仍在;
  • inode 短暂下降后快速回升,说明写入源未停止或保留策略没有修复;
  • lsof +L1 仍有大量记录,说明还有进程持有已删除文件;
  • df 恢复但应用仍报错,应检查应用配额、容器挂载、权限、只读状态和应用自身的临时目录;
  • I/O 延迟仍高,即使 inode 已恢复,也可能存在存储设备、网络文件系统或删除操作过重的问题。

排查期间可以使用以下命令观察 I/O,但这些工具在部分系统中需要预先安装:

vmstat 1 5
iostat -xz 1 5

如果 await、%util 或 iowait 持续偏高,应该降低全盘扫描、批量删除和压缩操作的并发,避免为了恢复 inode 进一步放大存储延迟。

监控哪些指标,避免再次耗尽

只监控磁盘容量不足以覆盖这类故障。建议按挂载点同时监控:

  • inode 使用率和剩余 inode 数;
  • 数据块使用率和可用字节数;
  • /var/log、/tmp、应用缓存、队列目录的文件数量;
  • 单位时间新增文件数;
  • 文件系统 I/O 延迟、利用率和系统 iowait;
  • journal、容器日志和应用日志的增长速度;
  • 已删除但仍打开的文件数量;
  • 网络文件系统的挂载状态和访问延迟。

告警阈值应结合文件系统大小和业务增长速度设置。作为起点,可以在 inode 使用率达到 70%~80% 时发出预警,达到 90% 时升级处理,同时增加“单位时间新增文件数”告警。一个每天只增加几百个文件的目录,与每分钟增加数万个文件的目录,风险并不相同。

如果使用 Prometheus 体系,可关注节点导出器提供的文件系统容量和 inode 指标,例如 node_filesystem_avail_bytes、node_filesystem_files_free 和 node_filesystem_files,并排除 tmpfs、容器伪文件系统等不需要纳入同一告警规则的挂载点。对应用目录,还应补充按路径统计的文件数量和增长速率,这样才能在 df -i 达到 100% 之前找到具体的增长目录。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/8493.html

相关推荐