日本服务器磁盘未满却因inode耗尽无法写入,怎样定位小文件集中目录?

发布人:A5数据发布时间:2026-11-06 18:34阅读量:70

应用日志开始出现 No space left on device,但在日本服务器上执行 df -h,磁盘容量仍有余量。这时先不要扩容或清空日志:如果 df -i 显示应用所在文件系统的 inode 已用尽,新增文件、创建目录和部分文件替换操作仍会失败。定位的关键是先确认报错路径落在哪个文件系统,再沿目录层级统计 inode 数量,逐步缩小到产生大量小文件的目录。

运维排查时,我会把“容量未满”和“inode 耗尽”当作两个独立指标。前者反映数据块使用情况,后者反映文件系统还能否分配文件记录。下面的命令以 Linux 服务器、可使用 GNU df 和 du 为前提;涉及清理的步骤只在确认文件用途、备份和恢复方式后执行。

先确认:失败路径是否真的耗尽 inode

先从应用报错中取得具体路径。例如,写入失败的是 /var/lib/myapp/cache/new-file,就检查它现存的父目录 /var/lib/myapp/cache,而不是只检查 /。容器、独立挂载的数据盘和系统盘可能分别有自己的 inode 用量。

先确认:失败路径是否真的耗尽 inode配图

df -h /var/lib/myapp/cache
df -i /var/lib/myapp/cache
findmnt -T /var/lib/myapp/cache

df -h 看容量,df -i 看 inode;findmnt -T 确认该路径对应的挂载点、来源和文件系统类型。如果路径本身尚未创建,应换成已存在的上级目录。执行前也应确认是在应用写入的环境中检查:宿主机路径与容器内路径不一定指向同一个挂载。

下面是一组示例结果,用于说明判断方式,而非读者服务器的实测值:

先确认:失败路径是否真的耗尽 inode配图

Filesystem      Size  Used Avail Use% Mounted on
/dev/vdb1        100G   38G   62G  38% /var/lib/myapp

Filesystem      Inodes   IUsed IFree IUse% Mounted on
/dev/vdb1       6553600 6553600     0  100% /var/lib/myapp

容量还有 62G,但该文件系统的 IFree 为 0,这就能解释为什么创建新文件失败。如果 df -i 仍有大量空闲 inode,不应强行按“小文件过多”处理;还要核对报错是否发生在另一挂载点,以及权限、只读挂载、用户配额或容器可写层限制。应用报错中的 No space left on device 也不能单独证明 inode 已耗尽。

inode 是文件系统记录文件、目录等对象所需的资源。一个只有几百字节的缓存文件通常也要占用一个 inode;几百万个小文件可能只用掉部分容量,却先用尽 inode。不同文件系统的 inode 管理方式并不完全相同,因此后续是否能通过扩容改善,还要结合 findmnt 显示的文件系统类型判断。

由挂载点向内缩小范围

确定目标挂载点后,先看它的直接子目录,不要立即在整台机器上运行递归 find,更不要先统计每个文件名。大量小文件目录的遍历本身会产生磁盘 I/O;在业务繁忙的日本服务器上,应优先选择低峰时段,并观察遍历对业务延迟的影响。

以下以挂载点 /var/lib/myapp 为例。先确认服务器提供的 du 支持所需选项;不同发行版或精简环境中的工具实现可能不同。

du --help | grep -E -- '--inodes|--one-file-system|--max-depth'
findmnt -T /var/lib/myapp

若为 GNU du,可按一级目录统计 inode,并将结果按数量排序:

sudo du --inodes --one-file-system --max-depth=1 /var/lib/myapp | sort -nr | head -n 15

这里 --inodes 统计 inode,而不是文件占用的字节数;--max-depth=1 只控制输出层级,du 仍需遍历其下的内容;--one-file-system 避免进入其他设备上的文件系统。执行前用 findmnt 留意目录下是否还有绑定挂载等特殊挂载,必要时分别核查,避免把它们误认为普通业务子目录。

假设示例输出中 /var/lib/myapp/cache 远高于同级目录,就继续向内查:

sudo du --inodes --one-file-system --max-depth=1 /var/lib/myapp/cache | sort -nr | head -n 15

逐层重复,直到定位到能够对应业务用途的目录,例如缓存分片、会话文件目录、邮件队列或任务临时目录。每层只处理一个较小范围,比一次性列出全部文件再排序更容易控制负载。输出首行可能是父目录的合计值,不能把它与子目录数值相加。

由挂载点向内缩小范围配图

找到可疑目录后,再对照容量统计:

sudo du --inodes --one-file-system --max-depth=1 /var/lib/myapp/cache | sort -nr | head -n 10
sudo du -h --one-file-system --max-depth=1 /var/lib/myapp/cache | sort -hr | head -n 10

如果某子目录 inode 数极高、容量却不大,就符合小文件集中的特征。如果两项都高,说明它既可能是 inode 压力源,也是容量压力源;清理时要同时考虑数据价值,而不是仅按文件大小判断。

由挂载点向内缩小范围配图

du 报权限错误时,先确认是否有权使用 sudo,不要通过递归放宽目录权限来换取统计结果。若命令持续运行、I/O 延迟明显上升,可中断遍历,改在低峰时段针对已知业务目录逐个检查;中断只会停止统计,不会修改文件。

定位后按结果分支处理

缓存、会话或临时文件集中。先查看应用对过期文件的定义、当前是否仍在读取这些文件,以及是否有自带的清理任务。目录名叫 cache 不代表所有内容都能删;有些文件承担锁、状态或尚未完成的任务。优先修复持续生成小文件却不回收的程序逻辑,再设置与业务有效期相符的清理周期。

日志目录集中。先分辨是少数大日志占容量,还是大量按请求、日期或任务拆分的日志占 inode。后一种情况需要检查日志拆分粒度与保留策略。直接截断一个大日志主要释放容量,未必能释放 inode;继续轮转而不清理旧文件,反而可能增加 inode 占用。调整日志策略前,应确认审计和故障追溯所需的保留期。

应用目录统计不高,但整个挂载点的 df -i 仍接近 100%。检查是否遗漏同一文件系统上的其他目录、挂载关系或权限受限的目录;重新核对统计路径是否覆盖了 df -i 所指的挂载点。已删除但仍被进程打开的文件,也值得作为旁支检查:它常用于解释容量迟迟不回落,但不应未经核实就当成 inode 集中目录。

容量和 inode 都有余量。停止按 inode 耗尽清理文件,回到失败进程的实际写入路径与错误信息。文件系统只读、配额限制或应用写入目标变化,都需要分别验证;在错误分支上继续删除文件既无效,也会增加恢复成本。

清理前先限定范围,清理后双重验证

清理是排查链中风险较高的一步。应先明确目录归属、文件失效条件和业务影响,再确认备份或快照可用。备份目标必须位于不同且有足够空间的存储位置;把文件移动到同一个文件系统的另一目录,不会释放 inode。

以应用文档已确认“超过 7 天、位于 /var/cache/myapp/sessions 顶层的普通文件可清理”为例,先只预览候选,不做删除:

sudo find /var/cache/myapp/sessions -xdev -mindepth 1 -maxdepth 1 -type f -mtime +7 -print

-mtime +7 按文件修改时间筛选,不等同于业务上的会话过期时间。只有应用的失效规则确实允许这样判断、候选清单已核对、备份已完成并验证可恢复,且已评估清理期间新增文件的影响,才可在维护窗口执行对应删除:

sudo find /var/cache/myapp/sessions -xdev -mindepth 1 -maxdepth 1 -type f -mtime +7 -delete

这条命令只处理指定目录顶层符合条件的普通文件,不会递归删除子目录;不要为追求速度随意扩大路径或去掉筛选条件。它会永久删除匹配文件。若误删,应先停止相关写入,按事先验证过的备份恢复到隔离目录,核对文件后再按应用要求恢复;没有可用备份时,不应把这条命令作为试探手段。若应用提供自身清理机制,应优先使用该机制而非通用 find。

完成处理后,回到最初写入失败的路径复测,而不只看清理目录:

df -h /var/lib/myapp/cache
df -i /var/lib/myapp/cache
findmnt -T /var/lib/myapp/cache

成功的验收不是 IFree 刚好大于 0,而是应用写入恢复、错误日志不再增长,且 inode 空闲量足以覆盖下一轮正常生成量。持续记录该挂载点的 inode 已用比例、空闲 inode、容量和 I/O 延迟,并观察小文件目录的增长速度。如果刚清理完又迅速耗尽,应回到文件生成与回收流程排查,而不是把定期删除当作唯一修复。

A5idc数据提供日本、中国香港、美国等地区的物理服务器资源,覆盖常规建站、业务后台、数据库、容器和多任务运行场景。日本产品包含Xeon Gold、AMD EPYC及NVMe存储方案,可承载对文件读写和并发处理有要求的业务;面向大容量文件、备份与归档,也提供配备企业级机械硬盘的存储型服务器,帮助企业建立与业务规模相匹配的服务器资源基础。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/7948.html

相关推荐