新加坡服务器Linux inode耗尽怎么排查,如何找到小文件增长目录并恢复空间
新加坡服务器出现“磁盘还有空间,却无法创建文件”“No space left on device”或服务突然无法写日志时,不能只看 df -h。如果文件系统的 inode 已经耗尽,即使还剩数十 GB 的容量,也可能无法创建新的日志、缓存、临时文件和目录。排查重点是先确认发生故障的挂载点,再按 inode 数量而不是文件大小寻找增长最快的目录。

找到目录后,还要继续确认这些小文件由谁创建、是否属于日志或缓存、是否存在未挂载导致的误写,以及是否有“文件已删除但进程仍保持打开”的情况。清理动作应先保留证据、控制持续写入,再根据文件用途选择回收方式,避免直接删除正在使用的数据。
先确认耗尽的是容量、inode,还是其他配额
1. 确认受影响的文件系统
不要默认问题一定发生在根分区。应用可能将数据写入 /var、/home、/opt、容器目录、独立数据盘或网络文件系统。先查看所有挂载点:
sudo df -hT
sudo df -ihT
sudo findmnt -rn -o TARGET,SOURCE,FSTYPE,OPTIONS
如果已经知道报错路径,例如应用缓存目录,可以直接定位该路径实际归属的文件系统:
sudo df -hT /var/lib/myapp/cache
sudo df -ihT /var/lib/myapp/cache
sudo findmnt -T /var/lib/myapp/cache -o TARGET,SOURCE,FSTYPE,OPTIONS
参考输出如下,数据仅用于说明判断方法:
Filesystem Type Inodes IUsed IFree IUse% Mounted on
/dev/vda1 ext4 1310720 1309000 807 100% /
如果 IUse% 达到 100%,但 df -hT 显示磁盘容量尚未用完,基本可以确认是 inode 耗尽。此时,删除少量大文件可能只能释放数据块,未必能解决“无法创建新文件”的问题;需要找到并清理大量不再需要的小文件,或者关闭仍占用已删除文件的进程。

2. 用结果区分不同故障分支
| 观察结果 | 更可能的原因 | 下一步 |
|---|---|---|
| 容量接近 100%,inode 使用率正常 | 大文件、镜像、备份或日志占满数据块 | 用 du 和文件大小排序查大文件 |
| inode 使用率接近 100%,容量仍有余量 | 大量小文件、目录、缓存、会话或队列文件 | 用 du --inodes、find 查文件数量 |
| 容量和 inode 都接近 100% | 小文件和大文件同时增长,或日志持续写入 | 先限速或暂停写入,再分开定位 |
df 正常,但应用仍报空间不足 | 用户配额、项目配额、容器挂载、临时目录或挂载异常 | 检查配额、容器路径和应用实际写入位置 |
df 或 find 长时间无响应 | 存储 I/O 延迟、网络文件系统异常或内核错误 | 先查内核日志、I/O 延迟和挂载状态 |
Linux inode 不只对应普通文件,也可能被目录、符号链接、套接字和其他文件系统对象占用。因此,按普通文件数量统计是很有用的近似方法,但不能把结果机械地等同于 df -i 中的精确 inode 数量。
3. 排除配额、只读和挂载异常
“磁盘有空间但无法写入”还可能由用户配额、项目配额或文件系统只读状态引起。可以查看挂载选项和内核日志:
sudo findmnt -T /var/lib/myapp
sudo journalctl -k -n 100 --no-pager
sudo dmesg -T | tail -100
如果系统启用了用户配额,再检查当前用户配额:
quota -s
如果应用数据本来应该位于独立数据盘,还要特别关注“挂载点未挂载”的情况。比如 /data/app 原本是数据盘挂载点,数据盘异常卸载后,应用仍可能在根分区下的同名目录中持续写入。此时:
sudo findmnt -T /data/app
sudo df -hT /data/app
如果显示的仍是根分区,而不是预期的数据盘,就不能直接清理目录。需要先停止写入进程、确认隐藏数据和挂载关系,再安排恢复挂载。挂载恢复后,挂载点下原本写入根分区的文件可能会被遮挡,误删或误操作都有数据风险。
建立 inode 耗尽的原因树
网络层:网络通常不是直接消耗 inode 的位置
新加坡服务器所在地区不会改变 Linux inode 的分配机制。网络问题更多是通过应用重试、上传分片、远程存储延迟或日志上报失败,间接造成小文件快速增长。
可以按以下逻辑判断:
- 本地使用 ext4、XFS 等文件系统时,inode 消耗发生在本地挂载点,网络延迟本身不会凭空增加 inode。
- 应用因网络请求超时而反复生成临时文件、任务文件或重试记录时,真正的根因可能在应用的重试策略。
- 如果路径属于 NFS、SMB 等网络文件系统,inode 统计和文件创建行为可能由远端存储决定,应同时检查远端存储的容量、inode、配额和连接状态。
先确认文件系统类型:
sudo findmnt -T /var/lib/myapp/cache -o TARGET,SOURCE,FSTYPE,OPTIONS
如果确认是网络文件系统,可进一步检查挂载和内核错误:
sudo nfsstat -m
sudo journalctl -k --since "30 minutes ago" --no-pager
应用日志中的连接超时、上传重试、队列堆积,只能说明网络或上游服务可能触发了文件增长,不能单独证明 inode 耗尽由网络造成。
系统层:临时目录、日志、缓存和崩溃转储
系统目录是最常见的增长位置,尤其包括:
/tmp、/var/tmp/var/log和 systemd journal/var/cache/var/spool下的邮件、打印或任务队列- 崩溃转储目录
- 软件包下载缓存
- 系统服务生成的状态文件
先比较这些目录的 inode 数量:
sudo du -x --inodes --max-depth=2 /var 2>/dev/null | sort -n | tail -30
sudo du -x --inodes --max-depth=2 /tmp 2>/dev/null | sort -n | tail -30
--inodes 在部分较旧的 GNU Coreutils 中可能不可用。如果命令提示不支持,可以用文件数量做近似统计:
for d in /var/*; do
[ -d "$d" ] || continue
n=$(find "$d" -xdev -type f -printf 'x\n' 2>/dev/null | wc -l)
printf '%12s %s\n' "$n" "$d"
done | sort -nr | head -30
这个统计主要计算普通文件,不包括所有目录、链接和特殊文件,所以应把它作为定位线索,而不是精确的 inode 账单。
systemd journal 可以先查看当前占用:
sudo journalctl --disk-usage
如果确认 journal 超出既定保留策略,可在备份和确认保留期限后执行按大小或时间清理:
sudo journalctl --vacuum-size=500M
该操作只针对 systemd journal 的归档文件,不会清理普通文本日志,也不能替代日志轮转配置。清理前应确认审计、故障追踪和合规要求;执行后通常不能从服务器本地撤销,只能从外部备份恢复。
服务层:日志轮转和容器日志异常
服务自身可能持续产生大量小文件,例如:
- Nginx、应用服务器或任务服务生成访问日志、错误日志和请求分片。
- 日志轮转配置失效,导致每天创建新文件但旧文件不删除。
- 日志文件被移动或删除后,进程仍持有旧文件描述符。
- 容器运行时日志未设置大小和数量限制。
- 队列服务、邮件服务或后台任务积压了大量单文件任务。
先从服务目录和日志目录分别看 inode 数量:
sudo du -x --inodes --max-depth=3 /var/log 2>/dev/null | sort -n | tail -30
sudo du -x --inodes --max-depth=3 /var/spool 2>/dev/null | sort -n | tail -30
如果使用容器,还应确认容器数据目录是否独立挂载:
sudo findmnt -T /var/lib/docker
sudo du -x --inodes --max-depth=3 /var/lib/docker 2>/dev/null | sort -n | tail -30
不要在未确认影响范围时直接使用全局清理命令。容器镜像层、可写层、卷和日志的生命周期不同,docker system prune 一类命令可能清理仍被业务依赖的资源。应先用容器运行时提供的明细命令确认对象,再按容器、日志文件或卷分别处理。
应用层:缓存、会话、上传分片和重试文件
inode 耗尽最常见的应用特征是“单个文件不大,但数量增长很快”。典型路径包括:
- 文件型 session 目录;
- 图片、视频或附件上传的临时分片;
- 任务队列的一个任务一个文件;
- 缓存按请求、用户或 URL 生成独立文件;
- 失败重试没有上限,反复生成新文件;
- 临时文件命名带有 UUID、时间戳或随机字符串。
这类问题不能只根据目录名称判断。缓存目录也可能保存仍在使用的对象,上传目录中的小文件也可能是未完成任务。需要结合文件修改时间、所有者、扩展名、应用日志和创建进程判断。
逐层定位小文件增长目录
第一步:先找 inode 数量最多的路径
对已确认的文件系统执行 du --inodes,不要直接对所有挂载点做全盘递归扫描:

sudo du -x --inodes --max-depth=2 /var/lib 2>/dev/null | sort -n | tail -30
其中:
-x表示不跨文件系统,避免把其他挂载点混进结果;--max-depth=2先看较粗的目录层级,减少扫描时间;sort -n | tail将 inode 数量较大的目录放在末尾。
例如,参考结果可能是:
18540 /var/lib
49200 /var/lib/docker
183700 /var/lib/myapp
824600 /var/lib/myapp/cache
这只能说明 /var/lib/myapp/cache 的 inode 占用较高,还不能说明哪些文件可以删除。继续缩小范围:
sudo du -x --inodes --max-depth=3 /var/lib/myapp/cache 2>/dev/null | sort -n | tail -30
如果目标目录下有数百万个文件,扫描本身会产生明显的磁盘读取压力。生产业务正在高峰期时,应先采集一次结果,避免反复执行全盘 find。
第二步:按目录统计文件数量
如果系统不支持 du --inodes,或者需要找出具体的“小文件集中目录”,可以统计文件所在的父目录:
sudo find /var/lib/myapp/cache -xdev -type f -printf '%h\n' 2>/dev/null |
sort | uniq -c | sort -nr | head -30
参考输出:
612430 /var/lib/myapp/cache/2025/08/18
588120 /var/lib/myapp/cache/2025/08/17
421900 /var/lib/myapp/cache/tmp
这个结果可以回答“哪个目录里文件最多”,但不能回答“哪个目录占用容量最大”。因此,inode 排查要同时保留两套视角:
sudo du -x -h --max-depth=2 /var/lib/myapp 2>/dev/null | sort -h | tail -20
sudo du -x --inodes --max-depth=2 /var/lib/myapp 2>/dev/null | sort -n | tail -20
容量排名高的目录适合排查大文件;inode 排名高的目录则重点查看小文件数量。
第三步:观察文件大小、时间和类型
确认目录后,抽取部分文件样本:
sudo find /var/lib/myapp/cache -xdev -type f -size -64k \
-printf '%s %p\n' 2>/dev/null | sort -n | head -50
查看最早或最晚修改的文件:
sudo find /var/lib/myapp/cache -xdev -type f \
-printf '%T@ %s %p\n' 2>/dev/null | sort -n | head -30
需要重点观察:
- 是否大量文件都小于几 KB;
- 文件名是否包含日期、请求 ID、用户 ID 或随机 ID;
- 文件是否集中在同一天或某个时间段;
- 所有者是否属于同一个服务账号;
- 文件扩展名是否对应缓存、分片、日志或队列;
- 文件是否仍在持续产生。
如果文件名可能包含换行符、特殊字符或大量非标准字符,上述文本统计可能出现误判。对高风险目录进行清理前,应使用应用自身的索引或脚本逐个确认,不要只依据管道输出直接删除。
第四步:检查“已删除但仍被打开”的文件
有时日志文件已经被删除,目录中看不到它,但服务进程仍保持文件描述符,空间和 inode 都不会立即释放。使用 lsof 检查:

sudo lsof -nP +L1
重点查看输出中的:
- 进程名和 PID;
- 文件所在挂载点;
- 文件大小;
(deleted)标记;- 是否属于日志、临时文件或应用数据。
确认进程后,应按照服务的维护方式关闭或重启它。重启可能中断请求、丢失内存队列或触发连接重建,因此要先确认服务类型、集群状态和业务影响。单纯执行日志 reload 不一定会关闭旧文件描述符,某些服务只有在优雅重启或重新打开日志后才会释放空间。
如果重启后 df -hT 和 df -ihT 都恢复,且 lsof +L1 中对应记录消失,说明主要占用来自已删除但仍打开的文件。还需要继续修复日志轮转或进程的日志重开机制,否则问题会再次发生。
按根因选择恢复方式
先保留证据,再控制增长
在删除文件前,建议至少保存以下信息:
date
sudo df -hT
sudo df -ihT
sudo du -x --inodes --max-depth=2 /var 2>/dev/null | sort -n | tail -30
sudo lsof -nP +L1
sudo journalctl -k -n 100 --no-pager
如果目录仍在快速增长,优先暂停对应的定时任务、消费进程或写入服务,或者将流量切换到其他实例。不要一边让应用持续生成文件,一边批量清理,否则可能出现清理速度低于增长速度、文件被重新创建、应用读取到半清理状态等问题。
日志和 journal
普通日志应检查轮转是否正常,包括轮转周期、保留数量、压缩策略、文件权限和服务是否正确重新打开日志。可以先用调试模式查看轮转规则:
sudo logrotate -d /etc/logrotate.conf
-d 只进行模拟,不会真正轮转。不要在未确认配置前直接强制轮转,因为强制操作可能瞬间创建新日志、改变权限或触发服务重载。
对于 systemd journal,应根据实际保留期限执行按时间或大小清理。清理前确认外部日志平台或备份中已有所需记录;清理动作对本地归档文件不可直接回滚。
临时文件和软件包缓存
/tmp 和 /var/tmp 不应通过全局通配符直接删除。临时目录中的文件可能被正在运行的进程使用。可以先查看文件年龄、所有者和打开状态,再根据系统的 tmpfiles 规则进行维护:
sudo systemd-tmpfiles --clean
该命令会按照系统配置的生命周期规则清理对象,仍应在维护窗口执行,并确认应用没有依赖长期保留的临时文件。
Debian 或 Ubuntu 系统中的软件包下载缓存通常可以单独清理:
sudo apt-get clean
它主要清理已下载的软件包缓存,不会删除已安装的软件包,但清理后如需重新安装,系统可能需要再次下载。其他发行版应先确认包管理器,不要直接套用该命令。
应用缓存、会话和上传分片
应用生成的缓存或临时文件,应优先使用应用提供的清理命令、过期策略或后台任务。没有专用工具时,也只能针对已经确认的目录和文件类型进行预览:
sudo find /var/lib/myapp/cache -xdev -type f \
-name '*.tmp' -mtime +7 -print
确认这些文件确实可重建、已超过保留期限,并完成必要备份后,才可以在停止写入或控制并发的前提下执行定向清理:
sudo find /var/lib/myapp/cache -xdev -type f \
-name '*.tmp' -mtime +7 -delete
这条命令只适合明确的缓存目录、明确的扩展名和明确的保留期限。它不会提供事务回滚;删除后的恢复依赖备份,且可能影响仍在运行的任务。对上传、订单、队列、会话和数据库导出目录,不应直接套用该命令。
移动文件到同一文件系统的其他目录通常不会释放 inode 或磁盘空间,只是改变路径。压缩多个文件也必须先确认应用不再需要逐个访问它们,并保留原始文件的恢复方案。
针对日志、缓存、上传分片及多文件业务带来的持续存储需求,A5idc数据提供中国香港、美国、日本、韩国、中国台湾、新加坡和马来西亚等地区的物理服务器资源,涵盖SSD、NVMe及大容量存储方案,可支持网站后台、数据库、容器服务、文件归档等不同类型的Linux业务部署,为文件系统规划和长期数据增长提供相应的硬件基础。
处理文件系统层面的长期问题
如果短期清理后 inode 很快再次耗尽,根因通常不是一次性的日志异常,而是文件组织方式或文件系统规划不匹配。
ext4 通常在创建文件系统时按照 inode 比例预先分配 inode。大量小文件场景下,即使数据块尚有余量,也可能先耗尽 inode。扩容、迁移或重新创建文件系统时,应根据实际文件数量、单文件大小和增长速度重新评估 inode 比例。不要把调整 inode 大小、扩展分区和增加 inode 数量混为一谈,具体能力取决于文件系统类型和操作方式。
XFS 的 inode 分配机制与 ext4 不同,但大量小文件仍会消耗元数据空间并增加目录遍历、备份和删除时间。因此,改用另一种文件系统并不能替代应用层的过期清理和文件数量控制。
如果业务天然会产生数百万个对象,可以考虑:
- 按日期或租户分层,避免所有文件集中在一个目录;
- 使用数据库、对象存储或适合批量对象管理的存储方式;
- 将多个小对象合并为分片包,但要评估随机读取和恢复成本;
- 为缓存、session、上传临时目录分别设置保留期限;
- 将业务数据和系统日志放在不同文件系统,避免互相拖垮;
- 通过配额限制异常任务对整个主机文件系统的影响。
验证空间是否真正恢复
清理或重启服务后,不要只看一次 df -h。至少进行以下验证:
sudo df -hT /var/lib/myapp/cache
sudo df -ihT /var/lib/myapp/cache
sudo lsof -nP +L1
sudo du -x --inodes --max-depth=2 /var/lib/myapp 2>/dev/null | sort -n | tail -20
同时观察一段时间内的增长趋势:
watch -n 10 'df -hT /var/lib/myapp/cache; df -ihT /var/lib/myapp/cache'
如果环境没有 watch,可以间隔执行相同命令并记录时间。验证结果可以这样判断:
- inode 使用率下降、可用 inode 增加,说明小文件或目录确实被释放;
- 容量恢复但 inode 几乎不变,说明主要清理的是大文件,原有小文件问题仍在;
- inode 短暂下降后快速回升,说明写入源未停止或保留策略没有修复;
lsof +L1仍有大量记录,说明还有进程持有已删除文件;df恢复但应用仍报错,应检查应用配额、容器挂载、权限、只读状态和应用自身的临时目录;- I/O 延迟仍高,即使 inode 已恢复,也可能存在存储设备、网络文件系统或删除操作过重的问题。
排查期间可以使用以下命令观察 I/O,但这些工具在部分系统中需要预先安装:
vmstat 1 5
iostat -xz 1 5
如果 await、%util 或 iowait 持续偏高,应该降低全盘扫描、批量删除和压缩操作的并发,避免为了恢复 inode 进一步放大存储延迟。
监控哪些指标,避免再次耗尽
只监控磁盘容量不足以覆盖这类故障。建议按挂载点同时监控:
- inode 使用率和剩余 inode 数;
- 数据块使用率和可用字节数;
/var/log、/tmp、应用缓存、队列目录的文件数量;- 单位时间新增文件数;
- 文件系统 I/O 延迟、利用率和系统
iowait; - journal、容器日志和应用日志的增长速度;
- 已删除但仍打开的文件数量;
- 网络文件系统的挂载状态和访问延迟。
告警阈值应结合文件系统大小和业务增长速度设置。作为起点,可以在 inode 使用率达到 70%~80% 时发出预警,达到 90% 时升级处理,同时增加“单位时间新增文件数”告警。一个每天只增加几百个文件的目录,与每分钟增加数万个文件的目录,风险并不相同。
如果使用 Prometheus 体系,可关注节点导出器提供的文件系统容量和 inode 指标,例如 node_filesystem_avail_bytes、node_filesystem_files_free 和 node_filesystem_files,并排除 tmpfs、容器伪文件系统等不需要纳入同一告警规则的挂载点。对应用目录,还应补充按路径统计的文件数量和增长速率,这样才能在 df -i 达到 100% 之前找到具体的增长目录。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/8493.html



