香港服务器Linux inode耗尽时,如何定位小文件、日志增长与目录异常

发布人:A5数据发布时间:2026-10-21 09:16阅读量:128

香港服务器出现“磁盘还有空间,却无法创建文件”的情况,首先要怀疑的不是容量,而是 inode 已经耗尽。inode 记录文件的元数据,一个普通小文件通常至少占用一个 inode;当 inode 使用率达到 100% 时,日志、临时文件、会话文件和上传分片都可能创建失败,并进一步引发网站报错、队列阻塞、任务中断或服务重启。

排查不能只看 df -h。需要同时确认块容量、inode、文件数量、I/O 延迟和挂载状态,再判断问题来自网络重试、操作系统目录、服务日志,还是应用自身批量生成的小文件。香港服务器所在地域不会改变 Linux 文件系统的 inode 机制,但跨地域访问延迟、客户端重复提交或回源重试,可能成为文件数量异常增长的触发因素,必须结合日志验证,不能仅凭地域归因。

先确认是容量耗尽还是 inode 耗尽

同时检查容量和 inode

先在故障文件系统上执行以下命令。df -P 使用适合脚本解析的格式,-i 则显示 inode 使用情况。

df -hP
df -iP

也可以针对具体目录确认它实际位于哪个挂载点:

findmnt -T /var/log -o SOURCE,FSTYPE,OPTIONS,TARGET
findmnt -T /var/lib -o SOURCE,FSTYPE,OPTIONS,TARGET

以下是模拟输出,用于说明判断方式,不代表某台服务器已经执行过检查:

Filesystem      Inodes  IUsed   IFree IUse% Mounted on
/dev/vda1       524288 524288       0  100% /

如果输出接近下面的组合,优先级判断通常不同:

df -h 容量df -i inode主要判断
使用率较低100%大量小文件或目录项占满 inode
100%使用率较低大文件、日志或镜像层占满块容量
都接近 100%都接近 100%小文件数量和大文件同时增长
df 很高、du 偏低不一定可能存在已删除但仍被进程打开的文件,或扫描范围不完整

df -i 的 IUsed 是已分配 inode 数量,IFree 是可用 inode 数量。它和文件大小没有直接关系。比如 200 万个平均大小为 8 KiB 的文件,数据量约为:

先确认是容量耗尽还是 inode 耗尽配图

  • 2,000,000 × 8 KiB = 16,000,000 KiB;
  • 16,000,000 KiB ÷ 1024 = 15,625 MiB;
  • 15,625 MiB ÷ 1024 ≈ 15.26 GiB。

这批文件可能只占十几 GiB,但通常会消耗约 200 万个文件对应的 inode。相反,一个 15 GiB 的单一日志文件通常只占用一个 inode,却会快速消耗块容量。

结合错误信息和 I/O 状态

检查内核和服务日志中是否出现 No space left on device、ENOSPC、Read-only file system 或文件系统错误:

sudo journalctl -k -b --no-pager | egrep -i 'enospc|no space|read-only|I/O error|ext4|xfs'

查看当前磁盘是否同时存在明显的 I/O 等待:

iostat -xz 1 5
vmstat 1 5

如果系统安装了 sysstat,还可以按进程观察磁盘写入:

pidstat -d 1 5

判断时不要把高 I/O 延迟直接等同于 inode 耗尽:

  • inode 100%、容量仍有余量,且创建文件时报 ENOSPC:更像小文件或目录项耗尽;
  • inode 使用率正常、容量 100%:优先查大日志、备份包、镜像层和数据库文件;
  • inode 和容量都不高,但 await、队列长度或 %util 持续偏高:可能是磁盘负载、文件系统异常或其他进程大量读写;
  • 出现 Read-only file system 或 I/O error:优先处理文件系统和底层存储状态,不能只删除文件。

建立原因树:从网络触发到应用落盘

inode 耗尽通常不是单一组件突然“吃掉磁盘”,而是“文件创建频率 × 保留时间”长期累积的结果。可以按网络、系统、服务、应用四个层级建立原因树。

层级可能原因观察依据下一步
网络与请求入口重复上传、客户端超时重试、回源重复请求访问日志中同一接口或对象短时间大量重复出现对照请求时间、状态码、客户端地址和文件创建时间
系统与文件系统/tmp、/var/tmp、崩溃转储、挂载点异常、固定 inode 配额df -i、findmnt、内核日志异常确认具体文件系统和高占用目录
服务层journald、日志轮转、消息队列、邮件队列、容器目录服务日志目录文件数快速增长检查保留策略、轮转配置和服务状态
应用层每次请求生成缓存、会话、缩略图、分片或临时文件某个业务目录出现大量相似小文件按时间、命名规则、父目录和进程反查创建来源

网络层:网络不是直接消耗 inode 的主体

网络请求本身不会占用 inode,但重复请求可能触发应用重复写入文件。例如客户端等待超时后重复上传,应用却没有使用幂等键;或者跨地域访问延迟较高,前端、回源层和任务消费者分别重试,最终产生多份临时分片。

可以先看连接概况:

ss -s
ss -ant state established

再根据应用访问日志观察故障时间窗口内是否存在以下特征:

  • 同一个 URI、上传任务 ID 或对象名称反复出现;
  • 5xx、超时、断开连接数量突然升高;
  • 同一客户端或同一批来源地址频繁提交相同任务;
  • 请求成功,但对应的临时文件没有在任务完成后清理。

如果使用了远程文件系统,还要确认目录并不是 NFS 等网络挂载:

findmnt -t nfs,nfs4
findmnt -T /var/lib/app

网络层只能解释“为什么文件创建突然增多”,不能代替文件系统证据。只有当请求日志的增长时间与文件数量增长时间一致时,才适合把网络重试列为根因。

系统层:确认挂载点、文件系统和特殊目录

先确认根目录、日志目录和应用数据目录是否位于同一文件系统。df -i /var/log 和 df -i /var/lib/app 可能显示不同结果,不能只检查 /。

df -hP / /var/log /var/lib /tmp /var/tmp
df -iP / /var/log /var/lib /tmp /var/tmp

常见系统级增长位置包括:

  • /tmp 和 /var/tmp 中长期未清理的临时文件;
  • /var/lib/systemd/coredump 中的崩溃转储;
  • /var/cache 中按任务拆分的缓存;
  • 包管理器下载目录;
  • 容器存储目录中的层文件、缓存和临时目录;
  • 某个异常挂载点下生成了大量文件,实际占用并不在原本预期的路径上。

不要直接对整个 / 执行无边界的递归扫描。/proc、/sys、/dev 等伪文件系统可能产生干扰,跨挂载扫描还会把其他磁盘的数据混入统计。优先使用 -xdev,限制在当前文件系统内。

服务层:日志轮转和队列目录是高频来源

日志增长需要区分两种情况:

  1. 单个日志文件不断变大,主要消耗块容量;
  2. 每小时、每分钟或每个任务生成一个新日志文件,主要消耗 inode。

检查 journald 使用量:

sudo journalctl --disk-usage

检查日志目录中的文件数量和大文件:

sudo find /var/log -xdev -type f -printf x 2>/dev/null | wc -c

sudo find /var/log -xdev -type f -size +100M \
  -printf '%s %p\n' 2>/dev/null | sort -n | tail -20

如果使用 logrotate,先用调试模式查看配置逻辑,不会直接执行轮转:

sudo logrotate -d /etc/logrotate.conf

重点核对:

  • rotate 保留份数是否过高;
  • daily、hourly 或自定义轮转是否过于频繁;
  • 是否为每个虚拟主机、租户、请求类型拆分了过多文件;
  • 压缩任务是否失败,导致旧日志长期保留;
  • 应用是否自行创建日志文件,绕过了系统轮转。

systemd-journald 的历史日志也可能形成多个文件。清理前必须确认审计、故障追踪和合规保留要求。下面的命令会删除旧日志,不能视为无影响操作:

sudo journalctl --vacuum-time=14d

只有在确认可以缩短保留周期,并完成必要备份后,才应执行这类清理。若问题是队列或邮件 spool 目录,则不能简单删除文件,因为删除可能造成任务丢失,应先停止生产者或让服务进入维护状态,再按服务自身的清理机制处理。

应用层:寻找“一个业务动作对应一个文件”的模式

应用层最常见的 inode 根因包括:

  • 每个用户或会话生成独立文件;
  • 图片缩略图、上传分片、导出任务中间文件没有过期清理;
  • 缓存使用随机 UUID 作为文件名,但没有上限;
  • 失败任务只标记状态,不删除临时目录;
  • 多进程同时写入,异常退出后留下大量 .tmp、.part 或隐藏文件;
  • 定时任务重复执行,文件名带时间戳,轮转周期又过短。

应用目录不应只用 ls -lh 判断。ls 可能因为目录项过多而非常缓慢,且默认不显示隐藏文件。可以先统计当前文件系统内的文件数量:

sudo find /var/lib/app -xdev -type f -printf x 2>/dev/null | wc -c
sudo find /var/lib/app -xdev -type d -printf x 2>/dev/null | wc -c

查看最近一天创建或修改的文件,可先限定到明确业务目录:

sudo find /var/lib/app -xdev -type f -mtime -1 \
  -printf '%TY-%Tm-%Td %TH:%TM:%TS %s %p\n' 2>/dev/null | head -200

这里的输出仅用于定位模式。不要把大量扫描结果重定向到故障文件系统中的新文件,否则排查过程本身也会产生额外文件和 I/O。文件名可能包含换行符时,应优先使用 -print0,避免普通文本解析造成误判。

逐层排除:从低风险统计到具体文件

第一步:确定哪个目录真正消耗 inode

GNU coreutils 支持按 inode 数量统计目录:

sudo du -x --inodes --max-depth=2 /var 2>/dev/null | sort -n | tail -30

如果系统上的 du 不支持 --inodes,可以用 find 统计指定目录下的文件和目录数量:

for p in /var/log /var/tmp /var/cache /var/lib; do
    [ -d "$p" ] || continue
    files=$(sudo find "$p" -xdev -type f -printf x 2>/dev/null | wc -c)
    dirs=$(sudo find "$p" -xdev -type d -printf x 2>/dev/null | wc -c)
    printf '%-20s files=%12s dirs=%12s\n' "$p" "$files" "$dirs"
done

如果某个目录远高于其他目录,再进入该目录按直接子目录拆分。目录本身看起来很大,不等于目录 inode 特别多;真正需要关注的是其中的文件、子目录和目录项数量。

第二步:判断是小文件风暴、日志轮转还是目录异常

可以用文件名后缀、前缀和时间分布寻找规律:

sudo find /var/lib/app -xdev -type f \
  \( -name '*.tmp' -o -name '*.part' -o -name '*.cache' -o -name 'core.*' \) \
  -printf '%TY-%Tm-%Td %TH:%TM:%TS %s %p\n' 2>/dev/null | head -200

目录异常通常有以下表现:

  • 某一层目录下出现数十万甚至更多的平级文件;
  • 大量隐藏文件或临时后缀文件长期不变;
  • 目录命名包含同一秒或同一分钟的大量时间戳;
  • 应用重启后仍持续产生旧任务文件;
  • 文件都很小,但访问、删除和 stat 操作明显变慢。

如果文件名包含不可见字符或异常空格,可以使用转义方式查看:

sudo find /var/lib/app -xdev -maxdepth 2 -print0 |
  while IFS= read -r -d '' p; do
    printf '%q\n' "$p"
  done | head -200

第三步:检查已删除但仍被进程打开的文件

du 统计目录中的现存文件,而进程打开后又被删除的文件不会出现在目录中;但只要文件描述符仍然打开,它占用的块和 inode 通常还没有释放。

sudo lsof -nP +L1

模拟输出可能类似:

COMMAND   PID USER   FD   TYPE DEVICE SIZE/OFF NLINK NODE NAME
worker   2810 app    12w  REG  252,1  734003200     0 4217 /var/log/app/task.log (deleted)

这说明 worker 进程仍持有已删除的日志文件。处理时应优先使用服务支持的重新打开日志、平滑重载或受控重启方式,并评估业务中断影响。直接杀死进程可能丢失未写入数据;直接操作 /proc/PID/fd 清空文件也不可逆,除非已经完成证据留存并明确接受日志丢失。

第四步:把文件创建时间与服务日志对齐

当目录中出现大量相似文件时,不能只看文件数量,还要把时间线对齐:

  1. 记录 df -i 第一次接近上限的时间;
  2. 统计异常目录中最近创建文件的时间分布;
  3. 对照 Web、任务队列、上传服务或定时器日志;
  4. 查看对应进程是否在同一时间出现重试、崩溃或超时;
  5. 检查清理任务是否执行过,以及执行后是否真的删除了文件。

例如,若 10:00 至 10:05 生成 80 万个 .part 文件,同时访问日志出现大量重复上传请求,根因更接近“请求重试叠加临时文件清理失败”;若每天凌晨轮转后生成数万份小日志,则要检查轮转粒度和应用日志配置,而不是优先怀疑网络。

定位根因后的处置边界

先停止继续产生文件,再处理存量

如果应用仍在持续生成文件,清理速度可能跟不上增长速度。可以先让相关任务暂停、降低并发或进入维护模式,但要提前确认影响范围:

  • 暂停上传可能影响新订单或文件提交;
  • 停止队列消费者可能造成任务积压;
  • 重启日志服务可能导致短时间日志缺失;
  • 停止容器运行时或业务进程可能影响多个服务。

如果不能停止生产者,至少要先修复触发条件,例如关闭异常重试、限制并发上传、修正临时目录策略或临时提高清理频率。

清理前保留证据,避免使用宽泛删除

删除文件能够释放 inode,但也可能永久丢失日志、任务状态和审计证据。尤其是以下命令风险较高:

find /var/lib/app -type f -delete
rm -rf /var/lib/app/*

它们没有区分文件年龄、业务状态和目录边界,不应直接用于生产环境。

更稳妥的方式是先使用精确条件列出候选文件:

sudo find /var/lib/app/tmp -xdev -type f \
  -name '*.part' -mtime +7 -print

确认目录、后缀、文件年龄和业务规则都正确,并将必要文件备份到其他存储后,才考虑执行删除:

sudo find /var/lib/app/tmp -xdev -type f \
  -name '*.part' -mtime +7 -delete

这条命令会永久删除匹配文件,回滚只能依赖备份;-xdev 只能限制文件系统边界,不能替代业务核对。若目录中存在仍在处理的任务,单纯依靠 mtime 也不够,应结合任务状态或排除活动文件。

对于旧日志,优先修正 logrotate 或应用自身的保留策略。不要直接删除正在写入的日志文件,否则应用可能继续写入已打开的文件描述符,目录中的文件虽然消失,空间却不会立即释放。对已删除但仍打开的日志,通常需要让进程按正确方式重新打开日志或受控重启。

如果 inode 反复耗尽,即使每次清理都能恢复,也要检查文件系统创建时的 inode 密度。部分文件系统的 inode 规划与格式化参数有关,不能通过临时删除永久解决。长期迁移或重建文件系统前,需要完成完整备份、业务停机安排、数据校验和回滚方案,不能在故障中直接格式化生产盘。

验证恢复是否真正完成

清理或修复配置后,至少重新检查以下项目:

df -hP
df -iP
sudo journalctl -k -b --no-pager | tail -100
iostat -xz 1 3

同时确认:

  • inode 使用率下降,而不是只有 du 数字变化;
  • 业务目录仍能创建正常的临时文件;
  • Web、任务队列、上传和日志服务恢复正常;
  • ENOSPC、No space left on device 不再持续出现;
  • I/O 等待没有因清理任务而长时间升高;
  • 被删除的文件没有继续出现在 lsof +L1 中;
  • 新文件数量在一段观察时间内保持稳定。

如果删除后 df -i 仍然是 100%,先再次执行:

sudo lsof -nP +L1

若没有已删除打开文件,检查是否清理了错误的挂载点,或者是否存在权限导致的漏扫。仍无法解释时,应停止高风险操作,保留现场并安排文件系统检查。fsck 和 xfs_repair 通常需要在未挂载状态或救援环境中执行,不能直接对正在使用的根文件系统运行修复命令。

恢复后需要持续监控的点

inode 问题适合同时做“当前值”和“增长速度”监控,而不是只设置一个固定阈值。建议至少监控以下对象:

  • 根文件系统、/var、应用数据盘的 inode 使用率;
  • 同一挂载点的块容量使用率;
  • 临时目录、上传目录、缓存目录的文件数量;
  • 每小时新增文件数和删除文件数;
  • 日志轮转是否成功、最旧日志的保留时间;
  • ENOSPC、Read-only file system、I/O 错误和服务重启次数;
  • 磁盘 await、队列长度、利用率和写入速率。

如果使用 Prometheus Node Exporter,可关注 node_filesystem_files、node_filesystem_files_free 以及容量相关指标,并排除 proc、sysfs、tmpfs 等伪文件系统。没有监控平台时,也可以通过定时任务记录 df -iP 和关键目录文件数量,但应把监控结果写到独立的监控盘或远程日志系统,避免监控自身继续占用故障文件系统。

典型做法是将 inode 使用率达到约 70%至80%设为预警,达到约 90%设为高优先级告警;具体阈值还要结合增长速度。如果每天增长 3 个百分点,90%时距离耗尽可能只有约 3 天,单纯等待达到 95%再处理通常已经没有足够缓冲。娱乐主管

面对日志、队列和应用临时文件等持续写入场景,A5数据提供香港物理服务器租用,涵盖SSD、NVMe存储配置及大容量存储方案,可为业务程序、数据库和文件数据部署提供不同的硬件基础。香港服务器还可选择CN2或国际带宽线路,便于结合业务访问与数据存储需求规划运行环境。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/4861.html

相关推荐