Linux服务器inode耗尽导致写入失败,如何定位小文件与目录占用?

发布人:A5数据发布时间:2026-10-20 09:59阅读量:150

写入时报 No space left on device,但 df -h 显示磁盘还有空间,并不一定是磁盘容量统计异常:文件系统可能已经没有可用 inode,无法再为新文件或目录分配元数据。反过来,如果 df -i 显示 inode 尚有余量,也要继续核对挂载点、容器文件系统、打开但已删除的文件,以及 I/O 错误,不能只凭一条命令判断故障原因。

排查时先确认报错进程实际写入的位置,再比较该文件系统的容量和 inode 使用率,随后从挂载点逐层缩小到具体目录和文件类型。定位后优先采用可控的清理、轮转或迁移措施;删除前确认文件用途和进程状态,并在操作后复测写入与监控。下面的命令以常见 Linux 发行版为例,执行前应确认命令版本、权限和目标路径。

一、先确认现象与写入位置

1. 区分 inode 耗尽、容量耗尽和其他写入错误

先查看报错进程、错误日志和目标路径。常见错误包括:

  • No space left on device:可能是数据块用尽,也可能是 inode 用尽。
  • Disk quota exceeded:可能触发用户、用户组或项目配额,不等同于整个文件系统耗尽。
  • Read-only file system:文件系统已只读,或被系统以只读方式挂载。
  • Input/output error:可能涉及存储设备、文件系统或链路问题,应优先检查内核日志和存储健康状态。

然后查看整体容量和 inode 使用情况:

一、先确认现象与写入位置配图

df -hT
df -i

df -hT 显示挂载点、文件系统类型和数据块使用情况;df -i 显示 inode 总量、已用量和剩余量。若某个挂载点的 IUse% 达到 100%,而 df -hT 的 Use% 尚有余量,inode 耗尽的可能性较高。若两者都接近或达到 100%,则可能同时存在数据块和 inode 压力,清理时必须分别考虑。

示例结果如下,数值仅用于说明判断方式:

Filesystem     Inodes  IUsed  IFree IUse% Mounted on
/dev/sda1      1000000 999500    500  100% /

这里可用 inode 只剩 500,即使磁盘还有数 GB 空间,新建大量文件时仍可能失败。反之,如果 df -i 的使用率明显低于 100%,不要急着删除文件,应确认报错路径实际落在哪个文件系统上。

2. 确认路径对应的挂载点

findmnt -T /实际写入路径
df -hT /实际写入路径
df -i /实际写入路径

将 /实际写入路径 替换为发生写入失败的目录或文件路径。findmnt -T 会显示该路径所属的挂载点;后两条命令只检查对应文件系统,能避免把根分区的结果误用于独立挂载的 /var、/tmp、数据盘或容器卷。

如果服务运行在容器中,应在容器内检查写入路径,同时在宿主机确认对应的挂载或可写层。宿主机和容器看到的文件系统视图可能不同;容器目录也可能由独立卷、叠加文件系统或临时文件系统提供。不要只根据宿主机根目录的 df -i 推断容器内空间状态。

二、由外到内缩小问题范围

1. 先排除检查范围错误和挂载干扰

查看已挂载文件系统:

findmnt

确认故障路径是否经过独立挂载点。比如,/var/log 若单独挂载,扫描 /var 时不能把其他文件系统的文件混算进去。后续命令使用 -xdev,可限制在当前文件系统设备范围内,避免跨入其他挂载点。

若根目录扫描很慢,或目录中包含大量网络挂载、伪文件系统,先确认挂载关系,再对目标文件系统的挂载点执行统计。某些网络文件系统、特殊文件系统或容器文件系统对 inode 统计的支持方式不同;此时以对应文件系统的实际表现、挂载配置和平台监控为准。

2. 用 inode 统计定位占用较高的目录

若系统安装的 GNU du 支持 --inodes,可按目录层级查看 inode 使用量:

du -x --inodes -d 2 /目标挂载点 2>/dev/null | sort -n

例如,故障发生在根文件系统,可以将 /目标挂载点 替换为 /。-x 限制在同一文件系统,-d 2 最多显示两层目录深度,结果按 inode 数量升序排列,末尾通常是 inode 占用较多的目录。若想先查看占用最大的目录,可使用:

du -x --inodes -d 2 /目标挂载点 2>/dev/null | sort -nr | head -20

不同发行版自带的 du 版本不一定支持这些选项,可先检查:

du --help | grep -E -- '--inodes|--max-depth'

如果不支持,不要直接照抄其他系统的参数;可改用 find 统计,或安装并使用该发行版提供的 GNU coreutils。目录权限不足会让统计结果不完整,命令输出中的 Permission denied 不应忽略;在确认扫描范围后,可以用有权限的账号执行。

也可以先观察指定路径下一级目录的 inode 分布:

find /目标挂载点 -xdev -mindepth 1 -maxdepth 1 -type d -print

然后对可疑子目录分别运行 du。逐层缩小范围比一次递归打印海量文件名更容易控制扫描时间和终端输出。

3. 判断是否由大量小文件造成

inode 记录文件、目录和其他文件系统对象的元数据。一个目录里放有大量小文件时,数据块占用可能不高,但 inode 消耗很快;文件越小并不代表不占 inode。排查时,先按文件类型和目录分布计数,不要马上输出或删除文件内容。

二、由外到内缩小问题范围配图

对某个可疑目录统计普通文件数量:

find /可疑目录 -xdev -type f -printf '.' | wc -c

这会为每个普通文件输出一个点,再计数;它不会把所有文件路径写入终端。请将 /可疑目录 替换为已确认的路径。目录本身、符号链接等对象不计入这项统计,因此它不等同于 df -i 的总数。

若系统的 find 不支持 -printf,可使用兼容性更好的写法:

find /可疑目录 -xdev -type f -print | wc -l

这个方法会把路径交给管道计数,路径含换行符时计数可能不准确;在 Linux 常见业务路径中通常足以做初步判断。无论采用哪种方式,遍历范围都要尽量限定在已知的可疑目录。

如果 du --inodes 显示某一层目录数量异常高,再检查该目录的业务含义和文件命名规律。常见来源包括会话文件、缓存项、邮件队列、构建产物、临时文件、应用日志分片、容器运行时数据,以及未设置保留策略的业务数据。不要仅因为目录名含有 cache、tmp 或 log 就认定可删。

三、检查容易遗漏的占用来源

1. 检查已删除但仍被进程占用的文件

文件已经从目录中删除,不代表空间和 inode 立即释放。如果进程仍持有该文件的文件描述符,文件系统会继续保留其资源,直到最后一个引用关闭。可用 lsof 检查已删除但仍打开的文件:

三、检查容易遗漏的占用来源配图

lsof +L1

重点查看 NAME 标记为 (deleted) 的记录,以及文件所属进程、文件大小和挂载位置。此命令主要用于发现已删除但仍占用数据块的文件;不能把它当作所有 inode 耗尽场景的唯一检查方式。如果系统没有安装 lsof,可在确认软件源和变更流程后安装,或结合 /proc 中进程的文件描述符进行进一步检查。

确认目标文件属于哪个服务后,优先使用服务支持的日志重开方式,或在评估影响后平滑重启相关服务。不要直接结束不明进程,也不要尝试通过写入 /proc/<pid>/fd/... 来截断文件;错误操作可能破坏服务状态或丢失日志。操作后再次运行 lsof +L1 和 df -i,确认引用已释放、指标有所变化。

2. 核对文件系统、内核日志和 I/O 状态

inode 不高、数据块也有余量,但写入仍失败时,继续检查挂载和内核日志:

mount | grep ' /目标挂载点 '
dmesg -T | tail -100

第一条用于核对挂载参数和是否为只读挂载;第二条用于查看近期内核消息。部分系统限制普通用户读取 dmesg,可使用有权限的账号查看系统日志。重点关注文件系统错误、设备重置、I/O error、只读重挂载等信息。出现此类信号时,先保护数据并按存储平台和文件系统的维护流程处理,不要把问题简单归因于“小文件过多”。

如果怀疑 I/O 延迟,需结合系统已有监控、iostat 等工具查看设备等待和队列情况。高 I/O 延迟可能让写入变慢或超时,但它本身不等于 inode 耗尽;应将容量、inode、设备状态和应用错误时间线对齐后判断。文件系统修复工具也不是常规排查命令:不要在已挂载且正在提供服务的文件系统上贸然运行修复操作。

3. 了解不同文件系统的 inode 特点

df -i 是常用的入口,但不同文件系统的 inode 管理方式存在差异。部分文件系统在创建时就确定了 inode 数量;以 ext 系列为例,可在只读核查前提下查看文件系统参数:

tune2fs -l /dev/设备分区

命令需要替换为实际设备,且通常需要管理员权限。执行前用 findmnt -T /目标路径 确认设备与文件系统,不能把示例设备名原样用于生产机器。不要为了确认 inode 情况直接运行格式化、重建文件系统或修复命令。

XFS 等文件系统的 inode 管理方式与 ext 系列不同;具体剩余空间和元数据状态应结合文件系统工具、内核信息和存储平台文档判断。对于 LVM、容器叠加层、网络存储等场景,还要确认扩容目标是否是实际承载故障路径的文件系统。仅扩大某个宿主机磁盘或虚拟磁盘,不一定会自动扩大容器卷或文件系统可用容量。

四、根据结果选择处理方式

定位出目录后,处理方式取决于文件归属、保留要求和 inode 来源。操作前先确认文件是否仍被业务读取、是否需要留存,以及备份或归档是否可用。对于生产环境,清理前记录目标路径、文件数量和服务状态;涉及业务数据时,应先经数据所有者确认。

排查结果优先处理方向需要避免的做法
某业务目录内大量过期缓存或临时文件使用应用提供的清理机制,或按业务保留规则分批清理按目录名直接递归删除,不核对文件归属
日志目录文件数量持续增长检查日志轮转、保留周期和应用是否正确重开日志直接删除正在写入的日志,导致空间未释放或日志链路异常
邮件队列、会话目录或任务目录文件积压查明上游处理失败原因,并清理可确认过期的对象清空整个队列或会话目录,造成未处理任务、会话丢失
存在已删除但仍打开的文件通过服务支持的方式重开日志或释放文件句柄结束未知进程,或尝试直接改写进程文件描述符
inode 低但无法安全清理评估迁移数据、拆分存储或按文件系统能力调整容量规划未备份就重建文件系统,或误扩展了非目标卷
inode、数据块均有余量,但仍有写入错误检查权限、配额、只读挂载、文件系统和设备错误将所有 No space left on device 都当作 inode 问题

1. 先修正文件增长原因,再清理存量

如果目录中文件数量持续增加,删除一批文件可能只会暂时恢复写入。先确认生产这些文件的应用、任务或定时作业,检查是否存在失败重试、无上限缓存、日志分片不轮转、临时文件未清理等情况。对日志,可核对 logrotate 配置及服务是否支持重开日志;对应用缓存,则应确认其清理接口和缓存重建成本。

清理范围应按业务规则限定到具体文件类型、时间或任务状态。优先使用应用自带的清理命令或管理接口。如果必须在文件系统层处理,先用 find 列出候选范围并抽样核对,再由业务方确认。生产环境不应把未经检查的通配符、递归删除命令或宽泛的 find -delete 当作默认方案。

2. 迁移和扩容要针对正确的文件系统

当文件不能删除、且 inode 余量不足以承接业务增长时,可以评估将部分数据迁移到另一个文件系统,或调整存储布局。但迁移可能影响文件权限、所有者、扩展属性、硬链接和服务路径;应根据业务停机要求制定复制、校验、切换及回退步骤,并保留原数据,直到新路径验证通过。

扩容是否能增加可用 inode,取决于文件系统类型、当前配置和扩容方式。对于创建时固定 inode 总量的文件系统,增加底层容量不一定会按预期补充 inode;有些文件系统的管理方式不同,不能把一种文件系统的处理经验套用到另一种上。若需要重建文件系统,必须先完成数据备份与恢复演练,并安排维护窗口;这属于高风险变更,不应作为线上紧急排查的第一步。

针对数据库、容器、日志及大规模文件存储等不同负载,A5数据提供香港、美国、日本、韩国、中国台湾、新加坡和马来西亚等地区的物理服务器资源,覆盖NVMe、SSD与大容量企业级机械硬盘配置,并配备不同内存、CPU和网络线路方案。企业可依托这些存储与计算资源进行业务数据、归档文件及应用运行环境的分层部署,为文件系统容量规划和持续增长管理提供硬件基础。

五、修复后复测并持续观察

清理、迁移或释放文件句柄后,立即复查故障路径对应的文件系统,而不是只检查根分区:

df -hT /实际写入路径
df -i /实际写入路径

如果 inode 使用率下降,但仍接近上限,应评估业务增长速度和剩余容量是否足以覆盖下一周期。确认数据块和 inode 指标都处于可接受范围后,再以应用实际写入路径执行受控的写入测试;不要在生产目录中创建未登记的测试文件。测试内容、路径和清理动作应遵循服务自身的运维规范。

如果复测仍失败,按结果分支继续处理:

五、修复后复测并持续观察配图

  • df -i 仍为 100%:确认清理对象确实位于目标文件系统,检查权限、文件系统视图和占用目录是否遗漏。
  • inode 使用率下降,但应用仍报 No space left on device:再检查数据块、用户或项目配额、容器可写层以及应用实际写入路径。
  • 指标正常,但写入仍报错:结合应用日志、mount、dmesg 和设备监控,排查只读挂载、I/O 错误或文件系统异常。
  • 清理后指标短暂恢复又快速上升:追踪持续产生日志、缓存或任务文件的进程,修复增长原因并设置容量与 inode 告警。

持续观察应同时覆盖数据块使用率和 inode 使用率,并按目录增长特点设置阈值与告警。阈值不宜只在达到 100% 时触发;可依据业务增长速率、处置时间和文件系统余量设置提前告警。故障关闭前,记录受影响挂载点、主要占用目录、根因、处理动作及复测结果,便于后续判断同类增长是否复发。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/4692.html

相关推荐