香港服务器inode耗尽导致无法写入,如何定位小文件与目录占用
香港服务器出现“磁盘还有空间,却无法创建文件、写入日志或上传文件”时,优先检查的不是带宽,而是目标文件系统的 inode 是否耗尽。inode 用于记录文件、目录、软链接等对象的元数据;小文件数量过多时,可能先用完 inode,导致应用收到 No space left on device,即使 df -h 仍显示有几十 GB 可用空间。
定位这类故障,应先确认写入失败发生在哪个挂载点,再区分磁盘块、inode、权限、配额、只读挂载和文件句柄等原因。香港服务器所在地域不会改变 Linux 文件系统的 inode 机制,但远程挂载、控制面板统计口径和应用实际路径可能造成误判。
面向网站、业务后台和数据服务,A5idc数据提供香港物理服务器租用,涵盖入门建站、Xeon Gold与AMD EPYC等配置,并有SSD或NVMe存储方案。不同资源组合可承载应用运行、日志与缓存等文件密集型业务,为香港节点部署提供硬件和网络选择。
确认症状:空间耗尽还是 inode 耗尽
先在服务器内部检查,而不要只依据主机面板中的磁盘使用率。以下命令为 Linux 常见环境示例,输出仅用于说明判断方法,不代表已经在某台服务器上执行。
df -hT
df -ih
重点关注同一个挂载点的两组数据:

Filesystem Type Size Used Avail Use% Mounted on
/dev/vda1 ext4 80G 39G 37G 52% /
Filesystem Inodes IUsed IFree IUse% Mounted on
/dev/vda1 2500000 2500000 0 100% /
这个结果说明磁盘块只使用了约一半,但 inode 已经全部分配,创建新文件或目录很可能失败。典型影响包括:
- Nginx、PHP、Java 或 Node.js 无法写入临时文件、PID 文件和缓存;
- 日志无法追加,导致排障信息丢失;
- 上传文件的分片、会话文件或任务状态无法创建;
- 数据库无法创建临时文件、套接字或日志;
- SSH 仍然可以登录,但执行某些命令、写入用户目录时失败。
如果 df -h 和 df -i 都接近 100%,则是容量和 inode 双重压力;如果只有 df -h 接近 100%,优先排查大日志、备份、镜像和上传文件;如果只有 df -i 接近 100%,则应转向小文件和目录数量定位。
香港服务器面板显示的“磁盘已用空间”通常是块设备或虚拟磁盘层面的统计,不一定等于某个应用路径对应的文件系统状态。因此还需要针对应用实际目录检查:
target=/var/lib/myapp
df -hT "$target"
df -ih "$target"
findmnt -T "$target" -o TARGET,SOURCE,FSTYPE,OPTIONS
其中 findmnt 可以确认路径实际落在哪个挂载点。例如 /var/lib/myapp 可能是独立磁盘、Docker overlay 文件系统、NFS 挂载,或者只是根分区下的普通目录。
建立原因树:按网络、系统、服务和应用分层
故障现象相同,原因可能完全不同。可以先用下面的判断关系缩小范围。
| 观察结果 | 优先怀疑方向 | 下一步 |
|---|---|---|
所有本地路径都无法创建文件,df -i 接近 100% | 文件系统 inode 耗尽 | 使用 du --inodes 和 find 定位目录 |
| 磁盘空间和 inode 都正常,但应用报无法写入 | 权限、用户配额、只读挂载或应用路径错误 | 检查 findmnt、权限、配额和应用日志 |
df 显示空间紧张,但 du 汇总明显偏小 | 删除但仍被进程打开的文件,或挂载路径不一致 | 检查 lsof +L1 和实际挂载点 |
| 只有上传、远程存储或共享目录失败 | 网络文件系统、远端配额或连接异常 | 检查 NFS/SMB 挂载和远端文件系统 |
| 本地写入正常,服务写入失败 | 服务用户权限、服务目录或应用配置 | 用服务运行用户测试目标目录 |
服务日志出现 Too many open files | 文件描述符耗尽,不是 inode 耗尽 | 检查进程限制和打开的文件数量 |
写入时报 Read-only file system | 文件系统被只读挂载或发生 I/O 错误 | 先保护数据,再查看内核日志和存储状态 |
网络与挂载层:确认写入目标是否在远端
网络延迟、SSH 卡顿或上传超时不能直接证明 inode 耗尽。如果应用写入的是 NFS、SMB 或其他远程挂载,df -i 看到的可能是远端文件系统状态,甚至在远端异常时出现命令长时间阻塞。
先确认路径来源和文件系统类型:
findmnt -T /mnt/uploads -o TARGET,SOURCE,FSTYPE,OPTIONS
df -hT /mnt/uploads
df -ih /mnt/uploads
如果 FSTYPE 为 nfs、nfs4、cifs 等,需要同时检查远端存储的空间、inode、配额和连接状态。不要只在香港服务器本机清理 /mnt/uploads,因为实际资源限制可能位于远端存储。
如果本地临时目录可以创建文件,但远程上传目录失败,问题更可能出现在远程文件系统、网络连接、远端配额或应用超时设置,而不是本机根分区 inode。
系统与文件系统层:排除只读、配额和文件系统错误
确认文件系统类型和挂载选项:
findmnt -T /var/lib/myapp -o TARGET,SOURCE,FSTYPE,OPTIONS
lsblk -f
再查看内核和系统日志中是否出现 I/O 错误、文件系统错误或只读重挂载:
sudo dmesg -T | tail -n 80
sudo journalctl -k -b --no-pager | tail -n 100
如果日志中出现以下类型的信息,不能简单通过删除小文件处理:
I/O errorEXT4-fs errorXFSRemounting filesystem read-onlyBuffer I/O error
此时应先停止高风险写入,保留必要数据和快照,并根据文件系统类型、云盘状态和服务商控制台信息进一步处理。不要在没有备份、快照或维护窗口的情况下强行执行 mount -o remount,rw,因为它可能掩盖底层存储故障,增加数据损坏风险。
还要注意用户配额和项目配额。配额限制可能导致系统仍有可用空间,但某个用户或项目无法继续创建文件:
sudo quota -s appuser
sudo repquota -a
XFS 环境可在确认已安装相关工具后检查配额:
sudo xfs_quota -x -c 'report -h' /
不同发行版、文件系统和配额配置的命令可能不同。如果命令不存在,应先通过 findmnt 确认文件系统类型,再选择对应工具,不要直接套用其他系统的配置方式。
服务层:区分 inode、文件句柄和服务自身限制
服务报错中的关键词非常重要:
No space left on device:可能是磁盘块或 inode 耗尽;Too many open files:更像是进程文件描述符达到上限;Permission denied:优先检查目录权限和运行用户;Read-only file system:优先检查挂载状态和存储错误;Cannot create temporary file:需要确认临时目录所在挂载点。
检查服务进程的文件限制:
pid=$(pgrep -xo myapp)
sudo cat "/proc/$pid/limits" | grep -i "open files"
sudo sh -c "ls -1 /proc/$pid/fd | wc -l"
如果服务名或进程名不确定,可以先查看失败的 systemd 单元:
systemctl list-units --failed
journalctl -p err..alert -b --no-pager
日志和临时目录是服务层最常见的 inode 来源。/var/log 下大量轮转文件、应用错误重试产生的独立日志、每个请求一个临时文件,都可能在短时间内消耗大量 inode。
应用层:小文件通常来自状态、缓存和分片机制
应用产生大量小文件时,常见目录包括:
/var/lib下的会话、队列、任务状态和上传分片;/var/cache下的缓存对象;/tmp或应用自定义临时目录;- 用户上传目录中的缩略图、断点续传分片;
- CI 构建目录、依赖缓存和解压后的临时目录;
- 容器的 overlay、构建缓存和未清理的临时层。
如果只清理日志而没有处理应用生成小文件的逻辑,inode 使用率很快会再次升高。特别是应用遇到错误后不断重试时,可能形成“错误日志增长—写入失败—重试更频繁”的循环。
逐层排除:先做低风险检查,再扫描目录
先检查 I/O 延迟与系统负载
inode 耗尽不一定伴随高 I/O,但目录扫描、日志风暴和大量元数据操作可能造成 I/O 延迟。若系统安装了 sysstat,可以执行:
iostat -xz 1 5
vmstat 1 5
重点观察:
await是否持续高于平时;%util是否长期接近设备饱和;vmstat中的wa是否明显升高;- I/O 延迟升高时,是否与 inode 使用率快速增长同时发生。
可以按下面方式理解结果:
- inode 已接近 100%,但
await和wa正常:更像是结构性的小文件数量过多; - inode 已接近 100%,同时 I/O 延迟很高:可能存在目录扫描、日志风暴或存储本身拥堵;
- inode 正常但 I/O 延迟持续偏高:应单独排查磁盘性能、备份、数据库或其他 I/O 任务,不要强行归因于 inode。
扫描大目录本身会产生读取压力。业务高峰期不要直接对整个 / 做递归扫描,优先针对 /var、/home、应用数据目录和上传目录逐一检查。必要时使用低优先级执行:
command -v ionice >/dev/null && command -v nice >/dev/null && \
ionice -c 3 nice -n 19 du -x --inodes -d 2 /var 2>/dev/null | sort -nr | head -30
如果系统没有 du --inodes,先确认工具版本:
du --help 2>&1 | grep -- --inodes
使用 du --inodes 定位高占用目录
GNU Coreutils 提供的 du --inodes 适合定位目录树中的 inode 数量:
du -x --inodes -d 2 /var 2>/dev/null | sort -nr | head -30
du -x --inodes -d 2 /var/lib 2>/dev/null | sort -nr | head -30
du -x --inodes -d 2 /home 2>/dev/null | sort -nr | head -30
示例输出:

1864200 /var/lib/myapp/sessions
1864300 /var/lib/myapp
92400 /var/log/myapp
31800 /var/cache/myapp
这表示 /var/lib/myapp/sessions 下的文件和目录数量明显高于其他路径,下一步应在该目录内继续细分。du 输出的父目录通常包含子目录统计,因此不能简单把所有层级的数字相加。
-x 或 --one-file-system 用于避免扫描时跨入其他挂载点。如果目标目录本身就是独立挂载点,应直接以该目录为参数再次执行:
du -x --inodes -d 2 /var/lib/myapp 2>/dev/null | sort -nr | head -30
df -ih /var/lib/myapp
统计小文件、普通文件和目录数量
定位到可疑目录后,可以分别统计文件类型:
target=/var/lib/myapp/sessions
find "$target" -xdev -type f 2>/dev/null | wc -l
find "$target" -xdev -type d 2>/dev/null | wc -l
find "$target" -xdev -type l 2>/dev/null | wc -l
如果怀疑是大量小文件,可以统计小于 16 KiB 的文件,并按直接父目录聚合:
find "$target" -xdev -type f -size -16384c -printf '%h\n' 2>/dev/null \
| sort | uniq -c | sort -nr | head -30
其中 -size -16384c 表示文件大小小于 16384 字节。结果类似:
842310 /var/lib/myapp/sessions/2025/06
631004 /var/lib/myapp/cache/objects
98200 /var/lib/myapp/upload/chunks
这类结果通常比单纯查看文件大小更有价值:缓存对象即使总容量不大,也可能因为每个对象独立成文件而消耗大量 inode。
还可以查看文件的时间和大小,判断是否由某个时间段的异常任务产生:
find "$target" -xdev -type f -mtime +30 -printf '%T@ %s %p\n' 2>/dev/null \
| sort -n | head -50
这些命令只用于列出和统计,不会删除文件。文件名包含换行符时,普通文本管道的展示可能不够准确;在处理不熟悉的目录时,应先使用 find ... -print 检查样本,再进行任何清理操作。
定位根因:小文件为何持续增长
日志轮转和错误重试
检查应用是否启用了过于细粒度的日志轮转,例如每次请求、每个任务或每个错误都生成一个独立文件。重点查看:
find /var/log/myapp -xdev -type f -printf '%TY-%Tm-%Td %s %p\n' 2>/dev/null \
| sort | tail -50
如果目录中的文件数量每天持续增加,应检查日志保留周期、轮转规则、压缩失败和日志目录权限。修改日志策略前先备份配置,并用配置工具的 dry-run 模式验证,不要直接删除整个日志目录。
会话、缓存和上传分片
会话文件和分片文件通常具有明确的生命周期。检查文件名、修改时间和应用配置是否对应:
- 会话过期后是否有清理任务;
- 缓存是否设置了上限;
- 上传中断后分片是否长期保留;
- 失败任务是否重复生成新目录;
- 定时任务是否因权限或 inode 耗尽而停止。
清理时优先使用应用自身的过期清理机制。应用自带清理通常知道数据库状态、锁文件和正在使用的任务,直接删除目录可能造成任务丢失或数据库与文件系统不一致。
删除但仍被进程打开的文件
如果 df -h 显示空间使用较高,但 du 汇总明显偏小,可能是文件已经删除,但进程仍保持打开状态:
sudo lsof +L1
输出中带有 (deleted) 的文件仍占用磁盘块,直到对应进程关闭文件描述符。处理步骤应是:

- 记录进程、文件路径和占用量;
- 使用
ps -fp PID确认进程归属; - 找到对应的 systemd 服务或容器;
- 在维护窗口内进行优雅重启,让进程正常关闭文件;
- 重启后再次检查
df -h、df -i和服务健康状态。
服务重启会造成短暂中断,不能在未知业务影响的情况下直接执行:
sudo systemctl restart myapp.service
sudo systemctl is-active myapp.service
sudo journalctl -u myapp.service -n 100 --no-pager
执行前应确认配置和数据已有备份,并准备好恢复原配置、重新启动旧版本服务或回滚最近变更。不要先使用 kill -9,强制终止可能导致未落盘数据丢失,也不一定是最小影响的处理方式。
容器和独立挂载导致的统计偏差
如果应用运行在容器中,应同时检查容器视角和宿主机挂载点。容器内的 /tmp、应用目录和 overlay 层可能对应宿主机不同位置。可以先查看容器的磁盘统计:
docker system df -v
该命令主要用于查看,不会自动删除数据。不要直接进入宿主机的 overlay 存储目录手工删除文件,否则可能破坏镜像层和容器元数据。容器缓存、未使用镜像和构建产物,应通过容器运行时提供的管理方式,在确认影响范围、备份必要数据并安排维护窗口后处理。
处理与验证:释放 inode 后确认业务恢复
定位根因后,处理顺序应是“先停止继续增长,再清理已确认对象”。
处理前的安全条件
清理缓存、会话、日志或上传分片前,应完成以下核对:
- 确认目标路径和所属服务,不能只凭目录名称判断;
- 备份配置、数据库关联信息和必要文件;
- 确认正在运行的任务不会继续使用待处理文件;
- 先列出候选对象,再进行小范围验证;
- 优先使用应用、日志轮转或容器运行时提供的清理机制;
- 记录清理前后的 inode 数、文件数量和服务状态。
rm -rf、批量 find -delete、直接清空日志等操作不可逆。即使路径看起来像缓存,也可能包含待处理任务或恢复所需的状态文件。没有备份时,不应把删除作为第一步。若必须清理,应先在维护窗口内处理少量、明确过期的对象,并准备从备份或快照恢复;同一文件系统内简单移动到另一个目录并不会释放 inode。
验证文件系统是否恢复
清理或服务重启后,重新执行:
df -hT "$target"
df -ih "$target"
sudo lsof +L1
对于服务用户可写的测试目录,可以进行一次受控创建和删除测试。该操作会短暂创建一个临时文件,因此应选择明确的测试目录,并确认不会触发业务监听器:
target=/var/lib/myapp
sudo -u appuser -- sh -c '
f=$(mktemp "$1/.inode-check.XXXXXX") || exit 1
rm -f -- "$f"
' sh "$target"
如果测试失败,需要根据错误信息继续区分:
No space left on device:重新检查块空间、inode 和用户配额;Permission denied:检查服务用户、目录所有者和上级目录执行权限;Read-only file system:回到挂载状态和内核日志分支;- 测试成功但应用仍失败:核对应用真正使用的路径、容器挂载和运行用户。
最终验证不能只看命令返回成功,还应检查服务状态、实际业务写入和新日志是否正常生成:
systemctl is-active myapp.service
journalctl -u myapp.service --since "10 minutes ago" --no-pager
如果是网站服务,还应通过正常业务请求验证上传、登录、会话创建或任务提交,而不是只测试根目录。
复发监控点:同时监控容量、inode和增长速度
仅监控磁盘百分比不足以发现小文件问题,建议对每个实际业务挂载点同时监控以下指标:
- 块空间使用率;
- inode 使用率;
node_filesystem_readonly或等价的只读状态;- inode 使用数量的增长速度;
/var/log、会话、缓存、上传分片等重点目录的文件数量;- I/O
await、设备利用率和系统 I/O 等待; - 应用日志中的
ENOSPC、No space left on device; - 被删除但仍打开的文件数量。
如果使用 Prometheus Node Exporter,可关注 node_filesystem_files、node_filesystem_files_free 和 node_filesystem_avail_bytes,并排除 tmpfs、proc、sysfs 等伪文件系统。没有监控系统时,也可以先用只读命令进行人工巡检:
df -P -i | awk 'NR > 1 && $5 + 0 >= 80 {print}'
df -P -h | awk 'NR > 1 && $5 + 0 >= 80 {print}'
80%、90% 和 95% 可以作为初始告警参考,但具体阈值应结合业务增长速度、维护响应时间和文件系统类型调整。对 inode 增长速度设置告警往往比只看绝对百分比更早发现问题:如果每天新增几十万文件,即使当前只使用 60%,也可能在短期内再次触发写入故障。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/6728.html


