香港服务器Linux inode耗尽时,如何定位小文件、日志增长与目录异常
香港服务器出现“磁盘还有空间,却无法创建文件”的情况,首先要怀疑的不是容量,而是 inode 已经耗尽。inode 记录文件的元数据,一个普通小文件通常至少占用一个 inode;当 inode 使用率达到 100% 时,日志、临时文件、会话文件和上传分片都可能创建失败,并进一步引发网站报错、队列阻塞、任务中断或服务重启。
排查不能只看 df -h。需要同时确认块容量、inode、文件数量、I/O 延迟和挂载状态,再判断问题来自网络重试、操作系统目录、服务日志,还是应用自身批量生成的小文件。香港服务器所在地域不会改变 Linux 文件系统的 inode 机制,但跨地域访问延迟、客户端重复提交或回源重试,可能成为文件数量异常增长的触发因素,必须结合日志验证,不能仅凭地域归因。
先确认是容量耗尽还是 inode 耗尽
同时检查容量和 inode
先在故障文件系统上执行以下命令。df -P 使用适合脚本解析的格式,-i 则显示 inode 使用情况。
df -hP
df -iP
也可以针对具体目录确认它实际位于哪个挂载点:
findmnt -T /var/log -o SOURCE,FSTYPE,OPTIONS,TARGET
findmnt -T /var/lib -o SOURCE,FSTYPE,OPTIONS,TARGET
以下是模拟输出,用于说明判断方式,不代表某台服务器已经执行过检查:
Filesystem Inodes IUsed IFree IUse% Mounted on
/dev/vda1 524288 524288 0 100% /
如果输出接近下面的组合,优先级判断通常不同:
df -h 容量 | df -i inode | 主要判断 |
|---|---|---|
| 使用率较低 | 100% | 大量小文件或目录项占满 inode |
| 100% | 使用率较低 | 大文件、日志或镜像层占满块容量 |
| 都接近 100% | 都接近 100% | 小文件数量和大文件同时增长 |
df 很高、du 偏低 | 不一定 | 可能存在已删除但仍被进程打开的文件,或扫描范围不完整 |
df -i 的 IUsed 是已分配 inode 数量,IFree 是可用 inode 数量。它和文件大小没有直接关系。比如 200 万个平均大小为 8 KiB 的文件,数据量约为:

- 2,000,000 × 8 KiB = 16,000,000 KiB;
- 16,000,000 KiB ÷ 1024 = 15,625 MiB;
- 15,625 MiB ÷ 1024 ≈ 15.26 GiB。
这批文件可能只占十几 GiB,但通常会消耗约 200 万个文件对应的 inode。相反,一个 15 GiB 的单一日志文件通常只占用一个 inode,却会快速消耗块容量。
结合错误信息和 I/O 状态
检查内核和服务日志中是否出现 No space left on device、ENOSPC、Read-only file system 或文件系统错误:
sudo journalctl -k -b --no-pager | egrep -i 'enospc|no space|read-only|I/O error|ext4|xfs'
查看当前磁盘是否同时存在明显的 I/O 等待:
iostat -xz 1 5
vmstat 1 5
如果系统安装了 sysstat,还可以按进程观察磁盘写入:
pidstat -d 1 5
判断时不要把高 I/O 延迟直接等同于 inode 耗尽:
- inode 100%、容量仍有余量,且创建文件时报
ENOSPC:更像小文件或目录项耗尽; - inode 使用率正常、容量 100%:优先查大日志、备份包、镜像层和数据库文件;
- inode 和容量都不高,但
await、队列长度或%util持续偏高:可能是磁盘负载、文件系统异常或其他进程大量读写; - 出现
Read-only file system或I/O error:优先处理文件系统和底层存储状态,不能只删除文件。
建立原因树:从网络触发到应用落盘
inode 耗尽通常不是单一组件突然“吃掉磁盘”,而是“文件创建频率 × 保留时间”长期累积的结果。可以按网络、系统、服务、应用四个层级建立原因树。
| 层级 | 可能原因 | 观察依据 | 下一步 |
|---|---|---|---|
| 网络与请求入口 | 重复上传、客户端超时重试、回源重复请求 | 访问日志中同一接口或对象短时间大量重复出现 | 对照请求时间、状态码、客户端地址和文件创建时间 |
| 系统与文件系统 | /tmp、/var/tmp、崩溃转储、挂载点异常、固定 inode 配额 | df -i、findmnt、内核日志异常 | 确认具体文件系统和高占用目录 |
| 服务层 | journald、日志轮转、消息队列、邮件队列、容器目录 | 服务日志目录文件数快速增长 | 检查保留策略、轮转配置和服务状态 |
| 应用层 | 每次请求生成缓存、会话、缩略图、分片或临时文件 | 某个业务目录出现大量相似小文件 | 按时间、命名规则、父目录和进程反查创建来源 |
网络层:网络不是直接消耗 inode 的主体
网络请求本身不会占用 inode,但重复请求可能触发应用重复写入文件。例如客户端等待超时后重复上传,应用却没有使用幂等键;或者跨地域访问延迟较高,前端、回源层和任务消费者分别重试,最终产生多份临时分片。
可以先看连接概况:
ss -s
ss -ant state established
再根据应用访问日志观察故障时间窗口内是否存在以下特征:
- 同一个 URI、上传任务 ID 或对象名称反复出现;
- 5xx、超时、断开连接数量突然升高;
- 同一客户端或同一批来源地址频繁提交相同任务;
- 请求成功,但对应的临时文件没有在任务完成后清理。
如果使用了远程文件系统,还要确认目录并不是 NFS 等网络挂载:
findmnt -t nfs,nfs4
findmnt -T /var/lib/app
网络层只能解释“为什么文件创建突然增多”,不能代替文件系统证据。只有当请求日志的增长时间与文件数量增长时间一致时,才适合把网络重试列为根因。
系统层:确认挂载点、文件系统和特殊目录
先确认根目录、日志目录和应用数据目录是否位于同一文件系统。df -i /var/log 和 df -i /var/lib/app 可能显示不同结果,不能只检查 /。
df -hP / /var/log /var/lib /tmp /var/tmp
df -iP / /var/log /var/lib /tmp /var/tmp
常见系统级增长位置包括:
/tmp和/var/tmp中长期未清理的临时文件;/var/lib/systemd/coredump中的崩溃转储;/var/cache中按任务拆分的缓存;- 包管理器下载目录;
- 容器存储目录中的层文件、缓存和临时目录;
- 某个异常挂载点下生成了大量文件,实际占用并不在原本预期的路径上。
不要直接对整个 / 执行无边界的递归扫描。/proc、/sys、/dev 等伪文件系统可能产生干扰,跨挂载扫描还会把其他磁盘的数据混入统计。优先使用 -xdev,限制在当前文件系统内。
服务层:日志轮转和队列目录是高频来源
日志增长需要区分两种情况:
- 单个日志文件不断变大,主要消耗块容量;
- 每小时、每分钟或每个任务生成一个新日志文件,主要消耗 inode。
检查 journald 使用量:
sudo journalctl --disk-usage
检查日志目录中的文件数量和大文件:
sudo find /var/log -xdev -type f -printf x 2>/dev/null | wc -c
sudo find /var/log -xdev -type f -size +100M \
-printf '%s %p\n' 2>/dev/null | sort -n | tail -20
如果使用 logrotate,先用调试模式查看配置逻辑,不会直接执行轮转:
sudo logrotate -d /etc/logrotate.conf
重点核对:
rotate保留份数是否过高;daily、hourly或自定义轮转是否过于频繁;- 是否为每个虚拟主机、租户、请求类型拆分了过多文件;
- 压缩任务是否失败,导致旧日志长期保留;
- 应用是否自行创建日志文件,绕过了系统轮转。
systemd-journald 的历史日志也可能形成多个文件。清理前必须确认审计、故障追踪和合规保留要求。下面的命令会删除旧日志,不能视为无影响操作:
sudo journalctl --vacuum-time=14d
只有在确认可以缩短保留周期,并完成必要备份后,才应执行这类清理。若问题是队列或邮件 spool 目录,则不能简单删除文件,因为删除可能造成任务丢失,应先停止生产者或让服务进入维护状态,再按服务自身的清理机制处理。
应用层:寻找“一个业务动作对应一个文件”的模式
应用层最常见的 inode 根因包括:
- 每个用户或会话生成独立文件;
- 图片缩略图、上传分片、导出任务中间文件没有过期清理;
- 缓存使用随机 UUID 作为文件名,但没有上限;
- 失败任务只标记状态,不删除临时目录;
- 多进程同时写入,异常退出后留下大量
.tmp、.part或隐藏文件; - 定时任务重复执行,文件名带时间戳,轮转周期又过短。
应用目录不应只用 ls -lh 判断。ls 可能因为目录项过多而非常缓慢,且默认不显示隐藏文件。可以先统计当前文件系统内的文件数量:
sudo find /var/lib/app -xdev -type f -printf x 2>/dev/null | wc -c
sudo find /var/lib/app -xdev -type d -printf x 2>/dev/null | wc -c
查看最近一天创建或修改的文件,可先限定到明确业务目录:
sudo find /var/lib/app -xdev -type f -mtime -1 \
-printf '%TY-%Tm-%Td %TH:%TM:%TS %s %p\n' 2>/dev/null | head -200
这里的输出仅用于定位模式。不要把大量扫描结果重定向到故障文件系统中的新文件,否则排查过程本身也会产生额外文件和 I/O。文件名可能包含换行符时,应优先使用 -print0,避免普通文本解析造成误判。
逐层排除:从低风险统计到具体文件
第一步:确定哪个目录真正消耗 inode
GNU coreutils 支持按 inode 数量统计目录:
sudo du -x --inodes --max-depth=2 /var 2>/dev/null | sort -n | tail -30
如果系统上的 du 不支持 --inodes,可以用 find 统计指定目录下的文件和目录数量:
for p in /var/log /var/tmp /var/cache /var/lib; do
[ -d "$p" ] || continue
files=$(sudo find "$p" -xdev -type f -printf x 2>/dev/null | wc -c)
dirs=$(sudo find "$p" -xdev -type d -printf x 2>/dev/null | wc -c)
printf '%-20s files=%12s dirs=%12s\n' "$p" "$files" "$dirs"
done
如果某个目录远高于其他目录,再进入该目录按直接子目录拆分。目录本身看起来很大,不等于目录 inode 特别多;真正需要关注的是其中的文件、子目录和目录项数量。
第二步:判断是小文件风暴、日志轮转还是目录异常
可以用文件名后缀、前缀和时间分布寻找规律:
sudo find /var/lib/app -xdev -type f \
\( -name '*.tmp' -o -name '*.part' -o -name '*.cache' -o -name 'core.*' \) \
-printf '%TY-%Tm-%Td %TH:%TM:%TS %s %p\n' 2>/dev/null | head -200
目录异常通常有以下表现:
- 某一层目录下出现数十万甚至更多的平级文件;
- 大量隐藏文件或临时后缀文件长期不变;
- 目录命名包含同一秒或同一分钟的大量时间戳;
- 应用重启后仍持续产生旧任务文件;
- 文件都很小,但访问、删除和
stat操作明显变慢。
如果文件名包含不可见字符或异常空格,可以使用转义方式查看:
sudo find /var/lib/app -xdev -maxdepth 2 -print0 |
while IFS= read -r -d '' p; do
printf '%q\n' "$p"
done | head -200
第三步:检查已删除但仍被进程打开的文件
du 统计目录中的现存文件,而进程打开后又被删除的文件不会出现在目录中;但只要文件描述符仍然打开,它占用的块和 inode 通常还没有释放。
sudo lsof -nP +L1
模拟输出可能类似:
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NLINK NODE NAME
worker 2810 app 12w REG 252,1 734003200 0 4217 /var/log/app/task.log (deleted)
这说明 worker 进程仍持有已删除的日志文件。处理时应优先使用服务支持的重新打开日志、平滑重载或受控重启方式,并评估业务中断影响。直接杀死进程可能丢失未写入数据;直接操作 /proc/PID/fd 清空文件也不可逆,除非已经完成证据留存并明确接受日志丢失。
第四步:把文件创建时间与服务日志对齐
当目录中出现大量相似文件时,不能只看文件数量,还要把时间线对齐:
- 记录
df -i第一次接近上限的时间; - 统计异常目录中最近创建文件的时间分布;
- 对照 Web、任务队列、上传服务或定时器日志;
- 查看对应进程是否在同一时间出现重试、崩溃或超时;
- 检查清理任务是否执行过,以及执行后是否真的删除了文件。
例如,若 10:00 至 10:05 生成 80 万个 .part 文件,同时访问日志出现大量重复上传请求,根因更接近“请求重试叠加临时文件清理失败”;若每天凌晨轮转后生成数万份小日志,则要检查轮转粒度和应用日志配置,而不是优先怀疑网络。
定位根因后的处置边界
先停止继续产生文件,再处理存量
如果应用仍在持续生成文件,清理速度可能跟不上增长速度。可以先让相关任务暂停、降低并发或进入维护模式,但要提前确认影响范围:
- 暂停上传可能影响新订单或文件提交;
- 停止队列消费者可能造成任务积压;
- 重启日志服务可能导致短时间日志缺失;
- 停止容器运行时或业务进程可能影响多个服务。
如果不能停止生产者,至少要先修复触发条件,例如关闭异常重试、限制并发上传、修正临时目录策略或临时提高清理频率。
清理前保留证据,避免使用宽泛删除
删除文件能够释放 inode,但也可能永久丢失日志、任务状态和审计证据。尤其是以下命令风险较高:
find /var/lib/app -type f -delete
rm -rf /var/lib/app/*
它们没有区分文件年龄、业务状态和目录边界,不应直接用于生产环境。
更稳妥的方式是先使用精确条件列出候选文件:
sudo find /var/lib/app/tmp -xdev -type f \
-name '*.part' -mtime +7 -print
确认目录、后缀、文件年龄和业务规则都正确,并将必要文件备份到其他存储后,才考虑执行删除:
sudo find /var/lib/app/tmp -xdev -type f \
-name '*.part' -mtime +7 -delete
这条命令会永久删除匹配文件,回滚只能依赖备份;-xdev 只能限制文件系统边界,不能替代业务核对。若目录中存在仍在处理的任务,单纯依靠 mtime 也不够,应结合任务状态或排除活动文件。
对于旧日志,优先修正 logrotate 或应用自身的保留策略。不要直接删除正在写入的日志文件,否则应用可能继续写入已打开的文件描述符,目录中的文件虽然消失,空间却不会立即释放。对已删除但仍打开的日志,通常需要让进程按正确方式重新打开日志或受控重启。
如果 inode 反复耗尽,即使每次清理都能恢复,也要检查文件系统创建时的 inode 密度。部分文件系统的 inode 规划与格式化参数有关,不能通过临时删除永久解决。长期迁移或重建文件系统前,需要完成完整备份、业务停机安排、数据校验和回滚方案,不能在故障中直接格式化生产盘。
验证恢复是否真正完成
清理或修复配置后,至少重新检查以下项目:
df -hP
df -iP
sudo journalctl -k -b --no-pager | tail -100
iostat -xz 1 3
同时确认:
- inode 使用率下降,而不是只有
du数字变化; - 业务目录仍能创建正常的临时文件;
- Web、任务队列、上传和日志服务恢复正常;
ENOSPC、No space left on device不再持续出现;- I/O 等待没有因清理任务而长时间升高;
- 被删除的文件没有继续出现在
lsof +L1中; - 新文件数量在一段观察时间内保持稳定。
如果删除后 df -i 仍然是 100%,先再次执行:
sudo lsof -nP +L1
若没有已删除打开文件,检查是否清理了错误的挂载点,或者是否存在权限导致的漏扫。仍无法解释时,应停止高风险操作,保留现场并安排文件系统检查。fsck 和 xfs_repair 通常需要在未挂载状态或救援环境中执行,不能直接对正在使用的根文件系统运行修复命令。
恢复后需要持续监控的点
inode 问题适合同时做“当前值”和“增长速度”监控,而不是只设置一个固定阈值。建议至少监控以下对象:
- 根文件系统、
/var、应用数据盘的 inode 使用率; - 同一挂载点的块容量使用率;
- 临时目录、上传目录、缓存目录的文件数量;
- 每小时新增文件数和删除文件数;
- 日志轮转是否成功、最旧日志的保留时间;
ENOSPC、Read-only file system、I/O 错误和服务重启次数;- 磁盘
await、队列长度、利用率和写入速率。
如果使用 Prometheus Node Exporter,可关注 node_filesystem_files、node_filesystem_files_free 以及容量相关指标,并排除 proc、sysfs、tmpfs 等伪文件系统。没有监控平台时,也可以通过定时任务记录 df -iP 和关键目录文件数量,但应把监控结果写到独立的监控盘或远程日志系统,避免监控自身继续占用故障文件系统。
典型做法是将 inode 使用率达到约 70%至80%设为预警,达到约 90%设为高优先级告警;具体阈值还要结合增长速度。如果每天增长 3 个百分点,90%时距离耗尽可能只有约 3 天,单纯等待达到 95%再处理通常已经没有足够缓冲。娱乐主管
面对日志、队列和应用临时文件等持续写入场景,A5数据提供香港物理服务器租用,涵盖SSD、NVMe存储配置及大容量存储方案,可为业务程序、数据库和文件数据部署提供不同的硬件基础。香港服务器还可选择CN2或国际带宽线路,便于结合业务访问与数据存储需求规划运行环境。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/4861.html



