美国服务器Linux inode耗尽时,如何定位小文件增长并安全释放空间?
SSH 仍然可以登录,但网站开始报错、日志写入失败,或者执行 apt、dnf 时出现 No space left on device,并不一定代表磁盘容量已经用完。Linux 文件系统同时受数据块和 inode 数量限制:小文件、空文件、目录、部分套接字都会消耗 inode,因此可能出现 df -h 还有几十 GB 可用,df -i 却已经接近 100% 的情况。

排查时应先确认是哪个挂载点耗尽 inode,再由文件系统逐层缩小范围,最后根据文件来源选择清理方式。不要直接执行 rm -rf /var/log/<em>、rm -rf /tmp/</em> 或全局 find ... -delete。这类命令可能删掉正在使用的日志、队列、会话文件或应用数据,释放了空间,却又制造新的业务故障。
一、先确认耗尽的是容量、inode,还是存储 I/O
1. 记录环境和挂载点
美国机房的 VPS、独立服务器或云主机在 inode 机制上没有特殊差异,但不同发行版、文件系统和面板任务会影响日志、缓存及备份文件的位置。先确认系统版本、当前时间和目标路径对应的文件系统:
cat /etc/os-release
date
timedatectl 2>/dev/null || true
findmnt -T /
findmnt -T /var
findmnt -T /var 会显示 /var 所在的设备、文件系统类型和挂载参数。如果 /var、/var/lib 或容器数据目录是独立挂载点,后续统计必须分别执行,不能只看根目录。
美国服务器常见系统时间为 UTC,也可能由面板或业务自行设置时区。find -mtime -1 表示过去 24 小时,不是“昨天”,而日志文件名中的日期可能使用应用时区,因此判断增长时间时应同时查看 date 和应用日志时间。
2. 同时检查数据块与 inode
df -hT
df -i
重点关注同一个挂载点的两组数据:
Use%接近 100%,而IUse%较低:主要是大文件或预留空间问题。IUse%接近 100%,但Use%仍有较多余量:通常是大量小文件、空文件或目录。- 两者都接近 100%:可能同时存在日志、大文件和小文件增长。
df -i显示异常,但目标目录的du统计很小:需要检查已删除但仍被进程打开的文件、独立挂载点、容器存储层或文件系统元数据。
inode 可以理解为文件的元数据记录。一个 1 字节的文件和一个 1 GB 的普通文件通常都至少占用一个 inode,所以“文件很小”并不等于“没有资源消耗”。硬链接会让多个目录项指向同一个 inode,因此使用 find 按路径统计时只能作为定位参考,最终应以 df -i 的文件系统统计为准。
3. 顺便确认 I/O 是否已经受到影响
inode 耗尽本身不一定会让所有读操作变慢,但目录中存在数百万个文件、文件系统频繁提交日志、磁盘空间不足或底层存储出现错误时,都可能表现为 I/O 延迟上升。
如果系统已经安装 sysstat,可以执行:
iostat -xz 1 5
vmstat 1 5
重点观察:
await持续升高:请求在设备侧等待时间增加。%util长时间接近 100%:设备可能处于持续繁忙状态,但该指标需要结合设备类型判断。r_await、w_await明显升高:读或写方向存在等待。vmstat的wa较高:CPU 正在等待 I/O。
这些输出只能说明存储压力,不能直接证明 inode 是根因。若 iostat 不存在,不要为了安装诊断工具立刻进行大规模软件操作;可以先使用 vmstat、df 和系统日志完成初步判断。
journalctl -k -n 100 --no-pager
dmesg -T | tail -n 100
若出现 I/O error、EXT4-fs error、XFS ... shutdown 或文件系统被重新挂载为只读,应优先保护数据并联系服务器提供商,通过快照或救援控制台处理,不要在已挂载并正在使用的文件系统上直接运行 fsck 或 xfs_repair。
二、由外到内定位 inode 增长位置
1. 先按挂载点看目录占用
先从根目录的一级目录开始,不要一上来对整个系统反复执行深度扫描:

sudo du -x -h --max-depth=1 / 2>/dev/null | sort -h
-x 表示不跨越其他文件系统,避免把 /proc、独立的 /home 或容器挂载点混在一起。输出中如果 /var、/home、/srv 或 /opt 明显偏大,再对具体目录继续下钻:
sudo du -x -h --max-depth=1 /var 2>/dev/null | sort -h
sudo du -x -h --max-depth=1 /var/lib 2>/dev/null | sort -h
du 默认更擅长统计已占用的数据块,不一定能准确解释 inode 为什么耗尽。如果目录容量不大但 inode 已满,可以检查当前 du 是否支持 inode 统计:
du --help | grep -F -- '--inodes'
如果命令帮助中存在 --inodes,可执行:
sudo du -x --inodes --max-depth=2 /var 2>/dev/null | sort -n | tail -n 30
该输出会把文件和目录的 inode 数量作为重点,更适合定位“容量不大、文件数极多”的目录。不同版本的 GNU coreutils 支持情况不同,命令不可用时不要把错误信息当成目录为空。
2. 统计小文件密集目录
确定范围后,可以先只列出小于 64 KiB 的普通文件,并按所在目录汇总:
sudo find /var -xdev -type f -size -64k -printf '%h\n' 2>/dev/null \
| sort | uniq -c | sort -nr | head -n 20
这里的 64 KiB 只是排查起点,不是固定标准。日志切片可能是几百 KiB,应用缓存可能只有几百字节,应根据业务调整为 -size -4k、-size -1M 等范围。
如果发现 /var/lib/example-app/cache 或 /srv/site/runtime 文件数量异常,再检查最近的增长情况:
sudo find /var/lib/example-app/cache -xdev -type f -mtime -1 \
-printf '%TY-%Tm-%Td %TH:%TM:%TS %s %p\n' 2>/dev/null \
| sort | tail -n 50
输出中可以同时看到修改时间、字节数和路径。若最近 24 小时集中生成大量随机名文件,通常与缓存、上传临时文件、会话、任务队列或失败重试有关;若文件大多是旧日期日志,则重点转向保留策略和轮转配置。
需要注意,完整 find 会遍历大量目录并产生磁盘读取。生产环境 I/O 已经很高时,应避开业务高峰,优先限制到 /var、应用目录等已确认范围,不要每分钟对 / 做全盘扫描。
3. 区分普通文件、目录和其他 inode
有些 inode 并不是普通文件。目录本身、符号链接、Unix socket、FIFO 等也会消耗 inode。可以在较小范围内统计文件类型:
sudo find /var/lib/example-app -xdev -printf '%y\n' 2>/dev/null \
| sort | uniq -c | sort -nr
如果 f 数量占主导,重点查看小文件、缓存和日志;如果 d 数量异常,可能是按日期、请求 ID 或任务 ID 创建的深层目录;如果 s 或其他类型较多,应检查应用是否创建了未清理的 socket 或临时通信文件。
4. 检查日志、systemd journal 和轮转策略
先查看日志目录和 journal 的实际占用:
sudo du -x -h --max-depth=2 /var/log 2>/dev/null | sort -h
sudo journalctl --disk-usage
常见增长来源包括:
- 应用把每次请求、任务或调试信息写成独立文件;
- 日志轮转只负责创建新文件,没有压缩或删除旧文件;
systemd-journald保留时间过长;- 错误重试导致短时间内大量重复日志;
- 容器标准输出被持续写入 JSON 日志文件;
- 备份、导入导出或失败任务的临时日志没有清理。
先做不改变数据的配置检查:
sudo logrotate -d /etc/logrotate.conf
-d 是调试模式,不会执行轮转。应确认目标应用是否被纳入配置、保留多少份、是否压缩,以及应用是否支持重新打开日志文件。对能响应日志重载信号的服务,优先采用应用自身的 reopen 机制;copytruncate 虽然不需要重启服务,但复制和截断之间可能丢失少量日志,不应在有严格审计要求的场景中随意使用。
如果经过保留策略确认可以删除旧的归档 journal,才考虑执行:
sudo journalctl --vacuum-time=14d
sudo journalctl --disk-usage
这会删除超过 14 天的已归档 journal 文件,属于不可直接撤销的操作。执行前应确认合规留存要求;需要保留审计记录时,应先将数据归档到空间充足的独立备份盘或对象存储,不能在已接近满盘的同一文件系统上临时打包,否则可能因为没有空间而失败。
三、根据结果选择修复路径
排查结果可以先按下面的分支判断:
| 观察结果 | 更可能的原因 | 下一步 |
|---|---|---|
df -i 接近 100%,df -h 仍有较多余量 | 大量小文件、目录或临时文件 | 用 du --inodes、find 定位生成源 |
df -h 和 df -i 都接近 100%,某个目录容量明显偏大 | 日志、备份、上传文件或容器镜像同时增长 | 先按文件时间和业务归属分类,再清理旧数据 |
du 总量明显小于 df,但空间仍未释放 | 已删除但仍被进程打开的文件、挂载点或容器存储层 | 检查打开的 deleted 文件和挂载关系 |
iostat 的等待时间持续升高,同时内核日志报 I/O 错误 | 底层存储或文件系统异常 | 停止高风险清理,制作快照并走救援或提供商流程 |
| 主要增长目录属于缓存或可重建临时数据 | 缓存策略缺失或清理任务失败 | 先确认应用不再使用,再按目录范围清理并修复策略 |
| 主要增长目录属于队列、数据库或业务数据 | 可能是未处理任务或核心数据堆积 | 不直接删除,先由应用或数据库管理员确认 |
1. 处理已删除但仍被打开的文件
du 看不到已经从目录树删除的文件,但进程仍然持有文件描述符时,文件占用的块和 inode 不会立即释放。检查方式如下:

sudo lsof -nP +L1
若系统没有安装 lsof,可以先通过服务状态和进程目录排查,不要在磁盘已满时为了安装工具执行大量软件包操作。典型输出会包含进程名、PID、文件描述符和带有 (deleted) 的路径。
确认进程属于哪个服务:
ps -fp <PID>
sudo systemctl status <service-name> --no-pager
如果是应用日志,通常需要在维护窗口内对对应服务执行优雅重启,使进程关闭旧文件描述符:
sudo systemctl restart <service-name>
重启可能造成连接中断或短暂不可用,适用于已经确认服务名称、依赖关系和重启影响的场景。该操作没有“恢复已删除日志”的回滚方式;如果只是重启失败,可使用 systemctl status、服务原有配置和备份进行恢复,但已删除的日志内容只能从备份或集中式日志系统找回。重启后再次执行 lsof -nP +L1,确认对应条目消失,再观察 df -h 是否释放空间。
不要仅凭 systemctl reload 判断文件已关闭。很多服务的 reload 只重新读取配置,不会关闭旧日志文件;是否能重新打开日志取决于具体软件。
2. 清理可重建缓存和临时文件
对于应用缓存,应先确认目录归属、缓存是否可重建,以及应用是否正在写入。先列出候选文件,不要立即删除:

sudo find /var/lib/example-app/cache -xdev -type f -mtime +7 -print
确认路径确实是可重建缓存,并完成必要备份或快照后,再使用严格限定目录的删除命令:
sudo find /var/lib/example-app/cache -xdev -type f -mtime +7 -delete
这条命令只作用于指定目录下、修改时间超过 7 天的普通文件,但删除仍不可直接撤销。不要把路径改成 /、/var 或应用数据根目录,也不要为了“清干净”去掉 -type f 和 -xdev。
临时目录可以先查看过期文件:
sudo find /tmp -xdev -mindepth 1 -type f -mtime +3 -print
sudo find /var/tmp -xdev -mindepth 1 -type f -mtime +7 -print
如果系统使用 systemd,可以核对 systemd-tmpfiles 的清理策略。确认策略符合业务需求后,再考虑执行:
sudo systemd-tmpfiles --clean
不要直接清空 /tmp。其中可能存在正在运行的安装任务、锁文件、Unix socket 或应用临时数据。包管理器缓存可以按发行版处理:
sudo apt-get clean
或者:
sudo dnf clean packages
只有在已经确认系统使用对应包管理器时才执行。清理包缓存通常可以通过重新下载恢复,但会增加后续安装的网络传输和时间;它不适合用来替代对应用小文件增长的定位。
3. 处理应用日志和容器日志
旧的轮转日志应先列出并核对日期、服务归属和保留要求:
sudo find /var/log/example-app -xdev -type f \
\( -name '*.log.*' -o -name '*.gz' \) -mtime +14 -print
确认这些文件已经轮转、压缩或不再被进程使用后,可以先归档到独立文件系统,再删除源文件。归档目标不能与源目录位于同一个已满挂载点:
df -h /mnt/backup
sudo tar -czf /mnt/backup/example-app-log-$(date +%F).tgz \
-C /var/log example-app
如果 /mnt/backup 不是独立备份位置,或者剩余空间不足,不要执行打包操作。归档完成后再按明确范围删除,删除后应检查服务是否仍能写入新日志。
使用 Docker 时,可以先查看镜像、容器和本地卷的可回收空间:
sudo docker system df -v
sudo docker ps --size
不要直接执行 docker system prune -a 或 docker volume prune。它们可能删除后续仍需使用的镜像、停止容器或卷,影响范围远大于清理日志。容器标准输出日志应先确认容器、日志驱动和保留策略,再调整 Docker 或编排系统的日志限制;正在运行的容器不应通过删除其日志路径来“强制释放”空间。
4. 文件系统参数不合理时不要急于重建
ext4 通常在创建文件系统时确定 inode 布局。如果磁盘容量经常富余,但长期被大量小文件消耗 inode,删除旧文件只能缓解当前故障,不能改变原有 inode 比例。XFS 的 inode 分配方式不同,df -i 的展示也可能不如 ext4 直观,可进一步查看:
sudo xfs_info /mount/point
不要为了增加 inode 直接格式化生产盘。重建文件系统会清除全部数据,只有在完成备份、迁移、停机和恢复演练后,才适合通过新建文件系统或迁移到更合适的存储布局解决根本问题。
针对小文件、日志与容器数据并存的业务场景,A5idc数据提供美国物理服务器资源,覆盖常规Xeon、AMD EPYC及不同NVMe存储配置,可为网站、数据库、容器和多任务运行提供独立硬件基础;对于大容量文件、备份与归档,也有香港存储服务器及日本CTG的大容量HDD方案,支持按业务数据规模规划系统盘与数据盘布局。
四、修复后验证是否真正释放
清理或重启服务后,至少重新检查四组信息:
df -hT
df -i
sudo du -x -h --max-depth=1 /var 2>/dev/null | sort -h
sudo lsof -nP +L1
验证重点不是只看 Use% 下降,还包括:
- inode 使用率是否下降;
- 原增长目录的文件数量是否停止增加;
- deleted 文件是否已被进程关闭;
- 服务是否能正常写入新日志;
- 网站、队列、定时任务和备份任务是否恢复;
- I/O 等待是否回到原有水平。
可以用一个临时文件测试目标挂载点是否还能创建和删除文件,但不要把测试文件放到业务目录:
sudo sh -c 'f=$(mktemp /var/tmp/inode-check.XXXXXX) && printf "ok\n" > "$f" && rm -f "$f"'
命令没有输出通常表示创建、写入和删除成功;如果失败,应保留错误信息并结合 df -i、df -h 和内核日志判断。若 rm 阶段失败,检查 /var/tmp 中是否留下以 inode-check 开头的测试文件。
短时间恢复不代表问题已经解决。建议在接下来的一个日志轮转周期、备份周期或业务高峰后再次检查,并为挂载点分别设置容量和 inode 监控。已有监控系统时,可同时关注文件系统可用字节数、可用 inode 数、只读状态和磁盘 I/O 等指标。阈值可以先从可用容量或可用 inode 低于 15% 的提醒开始,再结合业务写入速度调整;对每天增长数十万文件的目录,单纯等待 5% 的剩余 inode 往往已经没有足够处置时间。
最终应把临时清理动作转化为长期规则:应用缓存设置上限和过期时间,日志使用经过验证的轮转策略,临时文件由系统策略管理,容器日志限制单文件和总量,备份任务保留明确的生命周期。这样下一次出现“容量还有空间但无法创建文件”时,监控和目录归属信息能够直接指向增长源,而不必依赖高风险的全盘删除。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/7643.html



