香港服务器inode耗尽导致无法写入,如何定位小文件与目录占用

发布人:A5数据发布时间:2026-10-31 10:38阅读量:94

香港服务器出现“磁盘还有空间,却无法创建文件、写入日志或上传文件”时,优先检查的不是带宽,而是目标文件系统的 inode 是否耗尽。inode 用于记录文件、目录、软链接等对象的元数据;小文件数量过多时,可能先用完 inode,导致应用收到 No space left on device,即使 df -h 仍显示有几十 GB 可用空间。

定位这类故障,应先确认写入失败发生在哪个挂载点,再区分磁盘块、inode、权限、配额、只读挂载和文件句柄等原因。香港服务器所在地域不会改变 Linux 文件系统的 inode 机制,但远程挂载、控制面板统计口径和应用实际路径可能造成误判。

面向网站、业务后台和数据服务,A5idc数据提供香港物理服务器租用,涵盖入门建站、Xeon Gold与AMD EPYC等配置,并有SSD或NVMe存储方案。不同资源组合可承载应用运行、日志与缓存等文件密集型业务,为香港节点部署提供硬件和网络选择。

确认症状:空间耗尽还是 inode 耗尽

先在服务器内部检查,而不要只依据主机面板中的磁盘使用率。以下命令为 Linux 常见环境示例,输出仅用于说明判断方法,不代表已经在某台服务器上执行。

df -hT
df -ih

重点关注同一个挂载点的两组数据:

确认症状:空间耗尽还是 inode 耗尽配图

Filesystem     Type  Size  Used Avail Use% Mounted on
/dev/vda1      ext4   80G   39G   37G  52% /

Filesystem        Inodes  IUsed   IFree IUse% Mounted on
/dev/vda1        2500000 2500000       0  100% /

这个结果说明磁盘块只使用了约一半,但 inode 已经全部分配,创建新文件或目录很可能失败。典型影响包括:

  • Nginx、PHP、Java 或 Node.js 无法写入临时文件、PID 文件和缓存;
  • 日志无法追加,导致排障信息丢失;
  • 上传文件的分片、会话文件或任务状态无法创建;
  • 数据库无法创建临时文件、套接字或日志;
  • SSH 仍然可以登录,但执行某些命令、写入用户目录时失败。

如果 df -h 和 df -i 都接近 100%,则是容量和 inode 双重压力;如果只有 df -h 接近 100%,优先排查大日志、备份、镜像和上传文件;如果只有 df -i 接近 100%,则应转向小文件和目录数量定位。

香港服务器面板显示的“磁盘已用空间”通常是块设备或虚拟磁盘层面的统计,不一定等于某个应用路径对应的文件系统状态。因此还需要针对应用实际目录检查:

target=/var/lib/myapp

df -hT "$target"
df -ih "$target"
findmnt -T "$target" -o TARGET,SOURCE,FSTYPE,OPTIONS

其中 findmnt 可以确认路径实际落在哪个挂载点。例如 /var/lib/myapp 可能是独立磁盘、Docker overlay 文件系统、NFS 挂载,或者只是根分区下的普通目录。

建立原因树:按网络、系统、服务和应用分层

故障现象相同,原因可能完全不同。可以先用下面的判断关系缩小范围。

观察结果优先怀疑方向下一步
所有本地路径都无法创建文件,df -i 接近 100%文件系统 inode 耗尽使用 du --inodes 和 find 定位目录
磁盘空间和 inode 都正常,但应用报无法写入权限、用户配额、只读挂载或应用路径错误检查 findmnt、权限、配额和应用日志
df 显示空间紧张,但 du 汇总明显偏小删除但仍被进程打开的文件,或挂载路径不一致检查 lsof +L1 和实际挂载点
只有上传、远程存储或共享目录失败网络文件系统、远端配额或连接异常检查 NFS/SMB 挂载和远端文件系统
本地写入正常,服务写入失败服务用户权限、服务目录或应用配置用服务运行用户测试目标目录
服务日志出现 Too many open files文件描述符耗尽,不是 inode 耗尽检查进程限制和打开的文件数量
写入时报 Read-only file system文件系统被只读挂载或发生 I/O 错误先保护数据,再查看内核日志和存储状态

网络与挂载层:确认写入目标是否在远端

网络延迟、SSH 卡顿或上传超时不能直接证明 inode 耗尽。如果应用写入的是 NFS、SMB 或其他远程挂载,df -i 看到的可能是远端文件系统状态,甚至在远端异常时出现命令长时间阻塞。

先确认路径来源和文件系统类型:

findmnt -T /mnt/uploads -o TARGET,SOURCE,FSTYPE,OPTIONS
df -hT /mnt/uploads
df -ih /mnt/uploads

如果 FSTYPE 为 nfs、nfs4、cifs 等,需要同时检查远端存储的空间、inode、配额和连接状态。不要只在香港服务器本机清理 /mnt/uploads,因为实际资源限制可能位于远端存储。

如果本地临时目录可以创建文件,但远程上传目录失败,问题更可能出现在远程文件系统、网络连接、远端配额或应用超时设置,而不是本机根分区 inode。

系统与文件系统层:排除只读、配额和文件系统错误

确认文件系统类型和挂载选项:

findmnt -T /var/lib/myapp -o TARGET,SOURCE,FSTYPE,OPTIONS
lsblk -f

再查看内核和系统日志中是否出现 I/O 错误、文件系统错误或只读重挂载:

sudo dmesg -T | tail -n 80
sudo journalctl -k -b --no-pager | tail -n 100

如果日志中出现以下类型的信息,不能简单通过删除小文件处理:

  • I/O error
  • EXT4-fs error
  • XFS
  • Remounting filesystem read-only
  • Buffer I/O error

此时应先停止高风险写入,保留必要数据和快照,并根据文件系统类型、云盘状态和服务商控制台信息进一步处理。不要在没有备份、快照或维护窗口的情况下强行执行 mount -o remount,rw,因为它可能掩盖底层存储故障,增加数据损坏风险。

还要注意用户配额和项目配额。配额限制可能导致系统仍有可用空间,但某个用户或项目无法继续创建文件:

sudo quota -s appuser
sudo repquota -a

XFS 环境可在确认已安装相关工具后检查配额:

sudo xfs_quota -x -c 'report -h' /

不同发行版、文件系统和配额配置的命令可能不同。如果命令不存在,应先通过 findmnt 确认文件系统类型,再选择对应工具,不要直接套用其他系统的配置方式。

服务层:区分 inode、文件句柄和服务自身限制

服务报错中的关键词非常重要:

  • No space left on device:可能是磁盘块或 inode 耗尽;
  • Too many open files:更像是进程文件描述符达到上限;
  • Permission denied:优先检查目录权限和运行用户;
  • Read-only file system:优先检查挂载状态和存储错误;
  • Cannot create temporary file:需要确认临时目录所在挂载点。

检查服务进程的文件限制:

pid=$(pgrep -xo myapp)
sudo cat "/proc/$pid/limits" | grep -i "open files"
sudo sh -c "ls -1 /proc/$pid/fd | wc -l"

如果服务名或进程名不确定,可以先查看失败的 systemd 单元:

systemctl list-units --failed
journalctl -p err..alert -b --no-pager

日志和临时目录是服务层最常见的 inode 来源。/var/log 下大量轮转文件、应用错误重试产生的独立日志、每个请求一个临时文件,都可能在短时间内消耗大量 inode。

应用层:小文件通常来自状态、缓存和分片机制

应用产生大量小文件时,常见目录包括:

  • /var/lib 下的会话、队列、任务状态和上传分片;
  • /var/cache 下的缓存对象;
  • /tmp 或应用自定义临时目录;
  • 用户上传目录中的缩略图、断点续传分片;
  • CI 构建目录、依赖缓存和解压后的临时目录;
  • 容器的 overlay、构建缓存和未清理的临时层。

如果只清理日志而没有处理应用生成小文件的逻辑,inode 使用率很快会再次升高。特别是应用遇到错误后不断重试时,可能形成“错误日志增长—写入失败—重试更频繁”的循环。

逐层排除:先做低风险检查,再扫描目录

先检查 I/O 延迟与系统负载

inode 耗尽不一定伴随高 I/O,但目录扫描、日志风暴和大量元数据操作可能造成 I/O 延迟。若系统安装了 sysstat,可以执行:

iostat -xz 1 5
vmstat 1 5

重点观察:

  • await 是否持续高于平时;
  • %util 是否长期接近设备饱和;
  • vmstat 中的 wa 是否明显升高;
  • I/O 延迟升高时,是否与 inode 使用率快速增长同时发生。

可以按下面方式理解结果:

  • inode 已接近 100%,但 await 和 wa 正常:更像是结构性的小文件数量过多;
  • inode 已接近 100%,同时 I/O 延迟很高:可能存在目录扫描、日志风暴或存储本身拥堵;
  • inode 正常但 I/O 延迟持续偏高:应单独排查磁盘性能、备份、数据库或其他 I/O 任务,不要强行归因于 inode。

扫描大目录本身会产生读取压力。业务高峰期不要直接对整个 / 做递归扫描,优先针对 /var、/home、应用数据目录和上传目录逐一检查。必要时使用低优先级执行:

command -v ionice >/dev/null && command -v nice >/dev/null && \
ionice -c 3 nice -n 19 du -x --inodes -d 2 /var 2>/dev/null | sort -nr | head -30

如果系统没有 du --inodes,先确认工具版本:

du --help 2>&1 | grep -- --inodes

使用 du --inodes 定位高占用目录

GNU Coreutils 提供的 du --inodes 适合定位目录树中的 inode 数量:

du -x --inodes -d 2 /var 2>/dev/null | sort -nr | head -30
du -x --inodes -d 2 /var/lib 2>/dev/null | sort -nr | head -30
du -x --inodes -d 2 /home 2>/dev/null | sort -nr | head -30

示例输出:

逐层排除:先做低风险检查,再扫描目录配图

1864200 /var/lib/myapp/sessions
1864300 /var/lib/myapp
  92400 /var/log/myapp
  31800 /var/cache/myapp

这表示 /var/lib/myapp/sessions 下的文件和目录数量明显高于其他路径,下一步应在该目录内继续细分。du 输出的父目录通常包含子目录统计,因此不能简单把所有层级的数字相加。

-x 或 --one-file-system 用于避免扫描时跨入其他挂载点。如果目标目录本身就是独立挂载点,应直接以该目录为参数再次执行:

du -x --inodes -d 2 /var/lib/myapp 2>/dev/null | sort -nr | head -30
df -ih /var/lib/myapp

统计小文件、普通文件和目录数量

定位到可疑目录后,可以分别统计文件类型:

target=/var/lib/myapp/sessions

find "$target" -xdev -type f 2>/dev/null | wc -l
find "$target" -xdev -type d 2>/dev/null | wc -l
find "$target" -xdev -type l 2>/dev/null | wc -l

如果怀疑是大量小文件,可以统计小于 16 KiB 的文件,并按直接父目录聚合:

find "$target" -xdev -type f -size -16384c -printf '%h\n' 2>/dev/null \
  | sort | uniq -c | sort -nr | head -30

其中 -size -16384c 表示文件大小小于 16384 字节。结果类似:

842310 /var/lib/myapp/sessions/2025/06
631004 /var/lib/myapp/cache/objects
 98200 /var/lib/myapp/upload/chunks

这类结果通常比单纯查看文件大小更有价值:缓存对象即使总容量不大,也可能因为每个对象独立成文件而消耗大量 inode。

还可以查看文件的时间和大小,判断是否由某个时间段的异常任务产生:

find "$target" -xdev -type f -mtime +30 -printf '%T@ %s %p\n' 2>/dev/null \
  | sort -n | head -50

这些命令只用于列出和统计,不会删除文件。文件名包含换行符时,普通文本管道的展示可能不够准确;在处理不熟悉的目录时,应先使用 find ... -print 检查样本,再进行任何清理操作。

定位根因:小文件为何持续增长

日志轮转和错误重试

检查应用是否启用了过于细粒度的日志轮转,例如每次请求、每个任务或每个错误都生成一个独立文件。重点查看:

find /var/log/myapp -xdev -type f -printf '%TY-%Tm-%Td %s %p\n' 2>/dev/null \
  | sort | tail -50

如果目录中的文件数量每天持续增加,应检查日志保留周期、轮转规则、压缩失败和日志目录权限。修改日志策略前先备份配置,并用配置工具的 dry-run 模式验证,不要直接删除整个日志目录。

会话、缓存和上传分片

会话文件和分片文件通常具有明确的生命周期。检查文件名、修改时间和应用配置是否对应:

  • 会话过期后是否有清理任务;
  • 缓存是否设置了上限;
  • 上传中断后分片是否长期保留;
  • 失败任务是否重复生成新目录;
  • 定时任务是否因权限或 inode 耗尽而停止。

清理时优先使用应用自身的过期清理机制。应用自带清理通常知道数据库状态、锁文件和正在使用的任务,直接删除目录可能造成任务丢失或数据库与文件系统不一致。

删除但仍被进程打开的文件

如果 df -h 显示空间使用较高,但 du 汇总明显偏小,可能是文件已经删除,但进程仍保持打开状态:

sudo lsof +L1

输出中带有 (deleted) 的文件仍占用磁盘块,直到对应进程关闭文件描述符。处理步骤应是:

定位根因:小文件为何持续增长配图

  1. 记录进程、文件路径和占用量;
  2. 使用 ps -fp PID 确认进程归属;
  3. 找到对应的 systemd 服务或容器;
  4. 在维护窗口内进行优雅重启,让进程正常关闭文件;
  5. 重启后再次检查 df -h、df -i 和服务健康状态。

服务重启会造成短暂中断,不能在未知业务影响的情况下直接执行:

sudo systemctl restart myapp.service
sudo systemctl is-active myapp.service
sudo journalctl -u myapp.service -n 100 --no-pager

执行前应确认配置和数据已有备份,并准备好恢复原配置、重新启动旧版本服务或回滚最近变更。不要先使用 kill -9,强制终止可能导致未落盘数据丢失,也不一定是最小影响的处理方式。

容器和独立挂载导致的统计偏差

如果应用运行在容器中,应同时检查容器视角和宿主机挂载点。容器内的 /tmp、应用目录和 overlay 层可能对应宿主机不同位置。可以先查看容器的磁盘统计:

docker system df -v

该命令主要用于查看,不会自动删除数据。不要直接进入宿主机的 overlay 存储目录手工删除文件,否则可能破坏镜像层和容器元数据。容器缓存、未使用镜像和构建产物,应通过容器运行时提供的管理方式,在确认影响范围、备份必要数据并安排维护窗口后处理。

处理与验证:释放 inode 后确认业务恢复

定位根因后,处理顺序应是“先停止继续增长,再清理已确认对象”。

处理前的安全条件

清理缓存、会话、日志或上传分片前,应完成以下核对:

  • 确认目标路径和所属服务,不能只凭目录名称判断;
  • 备份配置、数据库关联信息和必要文件;
  • 确认正在运行的任务不会继续使用待处理文件;
  • 先列出候选对象,再进行小范围验证;
  • 优先使用应用、日志轮转或容器运行时提供的清理机制;
  • 记录清理前后的 inode 数、文件数量和服务状态。

rm -rf、批量 find -delete、直接清空日志等操作不可逆。即使路径看起来像缓存,也可能包含待处理任务或恢复所需的状态文件。没有备份时,不应把删除作为第一步。若必须清理,应先在维护窗口内处理少量、明确过期的对象,并准备从备份或快照恢复;同一文件系统内简单移动到另一个目录并不会释放 inode。

验证文件系统是否恢复

清理或服务重启后,重新执行:

df -hT "$target"
df -ih "$target"
sudo lsof +L1

对于服务用户可写的测试目录,可以进行一次受控创建和删除测试。该操作会短暂创建一个临时文件,因此应选择明确的测试目录,并确认不会触发业务监听器:

target=/var/lib/myapp
sudo -u appuser -- sh -c '
f=$(mktemp "$1/.inode-check.XXXXXX") || exit 1
rm -f -- "$f"
' sh "$target"

如果测试失败,需要根据错误信息继续区分:

  • No space left on device:重新检查块空间、inode 和用户配额;
  • Permission denied:检查服务用户、目录所有者和上级目录执行权限;
  • Read-only file system:回到挂载状态和内核日志分支;
  • 测试成功但应用仍失败:核对应用真正使用的路径、容器挂载和运行用户。

最终验证不能只看命令返回成功,还应检查服务状态、实际业务写入和新日志是否正常生成:

systemctl is-active myapp.service
journalctl -u myapp.service --since "10 minutes ago" --no-pager

如果是网站服务,还应通过正常业务请求验证上传、登录、会话创建或任务提交,而不是只测试根目录。

复发监控点:同时监控容量、inode和增长速度

仅监控磁盘百分比不足以发现小文件问题,建议对每个实际业务挂载点同时监控以下指标:

  • 块空间使用率;
  • inode 使用率;
  • node_filesystem_readonly 或等价的只读状态;
  • inode 使用数量的增长速度;
  • /var/log、会话、缓存、上传分片等重点目录的文件数量;
  • I/O await、设备利用率和系统 I/O 等待;
  • 应用日志中的 ENOSPC、No space left on device;
  • 被删除但仍打开的文件数量。

如果使用 Prometheus Node Exporter,可关注 node_filesystem_files、node_filesystem_files_free 和 node_filesystem_avail_bytes,并排除 tmpfs、proc、sysfs 等伪文件系统。没有监控系统时,也可以先用只读命令进行人工巡检:

df -P -i | awk 'NR > 1 && $5 + 0 >= 80 {print}'
df -P -h | awk 'NR > 1 && $5 + 0 >= 80 {print}'

80%、90% 和 95% 可以作为初始告警参考,但具体阈值应结合业务增长速度、维护响应时间和文件系统类型调整。对 inode 增长速度设置告警往往比只看绝对百分比更早发现问题:如果每天新增几十万文件,即使当前只使用 60%,也可能在短期内再次触发写入故障。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/6728.html

相关推荐