Linux中lsof显示已删除文件仍占空间,如何确认占用进程并安全释放

发布人:A5数据发布时间:2026-10-24 12:01阅读量:110

磁盘告警显示 /var 所在文件系统接近写满,但清理日志后,df 中的已用空间没有下降。运维排查时,如果 lsof 仍能看到名称带有 (deleted) 的大文件,通常意味着文件的目录项已被删除,而某个进程仍持有它的文件描述符。删除文件名不等于立即释放磁盘块:最后一个引用关闭后,文件系统才能回收相应空间。

正文开篇配图

处理的关键不是再执行一次 rm,而是确认文件属于哪个文件系统、由哪个进程持有,以及业务是否允许该进程关闭文件。优先让应用重新打开日志或由进程管理器平稳重启;只有无法等待且确认文件内容可以丢弃时,才考虑直接截断已删除文件。

先确认告警对应的文件系统

在安装了 GNU 工具的常见 Linux 服务器上,先对实际告警路径检查容量和 inode。以下以日志目录 /var/log 为例;若告警来自数据目录,应替换成相应路径。

df -hT /var/log
df -i /var/log
findmnt -T /var/log -o TARGET,SOURCE,FSTYPE,OPTIONS

df -hT 用于确认已用空间、文件系统类型及挂载点;df -i 用于区分“块空间耗尽”和“inode 耗尽”。如果 IUse% 很高而容量使用率不高,重点应转向大量小文件,而不是寻找单个被删除的大文件。findmnt 则帮助确认 /var/log 究竟位于根分区、独立日志分区,还是其他挂载之下。

随后可粗略查看仍有路径可访问的日志占用:

sudo du -x -sh /var/log

du 统计能遍历到的文件,df 统计整个文件系统;两者不能在统计范围不同时直接相减。例如,/var/log 不是独立挂载点时,df /var/log 包含同一文件系统上的其他目录。du 也可能带来明显磁盘 I/O,大目录应避开业务高峰,先看监控和目录规模再决定是否深入扫描。

如果已确认比较的是同一挂载范围,且可见文件占用明显小于 df 的已用空间,被删除但仍打开的文件是一个值得优先排查的方向,并非唯一解释。文件系统预留空间、快照或写时复制、其他目录的增长,以及挂载关系变化,也可能造成观测差异。

用 lsof 从文件定位到持有进程

在宿主机上使用具备相应权限的账号运行:

sudo lsof -nP +L1

+L1 筛选链接数小于 1 的打开文件,即常见的“目录项已删除、进程仍持有”的情况;-nP 避免名称解析拖慢排查。输出是执行瞬间的快照,文件和进程可能随时变化。没有输出不代表磁盘没有问题,也可能是权限不足、文件刚好已关闭,或占用来自其他机制。

一条示例输出可能如下:

用 lsof 从文件定位到持有进程配图

COMMAND   PID USER  FD   TYPE DEVICE   SIZE/OFF NLINK   NODE NAME
java     2816 app  12w  REG  253,0 8589934592     0 917504 /var/log/app/service.log (deleted)

这里需要分别读取几个字段:

  • PID 是持有文件的进程号;FD 中的 12 是文件描述符编号,w 表示以写入方式打开。也可能看到读写标记,不能仅凭命令名推断文件用途。
  • TYPE 为 REG 表示普通文件;NLINK 为 0 说明已无目录硬链接。
  • SIZE/OFF 在此表示文件大小。示例中的 8589934592 字节是 8 GiB,但不能据此断言立刻能回收 8 GiB:稀疏文件的逻辑大小可能大于实际分配空间,同一文件也可能出现在多个进程或多个 FD 的输出中。
  • DEVICE、NODE 分别提供设备和 inode 线索。核对同一文件时,不要只凭旧路径名或把多条输出的 SIZE/OFF 简单相加。

确认进程身份和文件描述符时,把示例 PID、FD 替换为现场数值:

PID=2816
FD=12

ps -p "$PID" -o pid,ppid,user,stat,lstart,comm,args
sudo readlink "/proc/$PID/fd/$FD"
sudo stat -Lc 'type=%F device=%d inode=%i links=%h size=%s blocks=%b block_size=%B' "/proc/$PID/fd/$FD"
sudo lsof -nP -a -p "$PID" +L1

ps 用于核对启动命令、运行账号和父进程,避免把同名但不同用途的进程混为一谈。readlink 应指向预期文件并显示 (deleted);stat 应显示普通文件、链接数为 0。blocks 与 block_size 可帮助估计已分配块的量级,但在稀疏文件、压缩或写时复制文件系统上,回收量仍需以处理后的 df 结果为准。

如果 /proc/$PID/fd/$FD 已不存在,说明进程可能关闭了描述符或已经退出,应重新运行 lsof,不要沿用旧 PID、FD 执行后续操作。PID 也可能被系统复用,因此实施任何变更前都要再次核对进程身份、目标文件类型及 inode。

根据排查结果选择处理路径

找到了已删除的大日志文件

最常见的场景是轮转或人工删除日志后,应用仍向原文件描述符写入。应先查明该进程由谁管理,以及应用是否支持重新打开日志。对于明确支持“重新打开日志”操作的程序,可按其运行文档使用对应的管理命令;不要对不熟悉的进程直接发送信号,因为同一信号在不同程序中的含义可能不同。

根据排查结果选择处理路径配图

如果应用没有可确认的重新打开方式,而业务允许短暂中断,优先通过其进程管理器安排重启。由 systemd 管理的服务,应先核对进程所属单元和依赖关系,例如:

systemctl status 2816 --no-pager

确认单元名称、维护窗口、启动条件和业务方许可后,才对核实过的单元执行重启。重启会关闭旧文件描述符,通常也会释放文件占用;但它可能中断请求、任务或连接。操作前应确认应用配置、状态恢复方式及所需日志留存。若服务无法正常启动,回滚重点是按既定预案恢复服务与配置,而不是试图“撤销”已经释放的临时文件。

文件名虽然以 .log 结尾,也不能自动认定可以丢弃:程序可能把审计记录、待发送数据或其他重要内容写在其中。需要保留内容时,应先评估目标文件大小、增长速度和备份位置的剩余容量,在另一块有足够空间的文件系统中留存所需内容,再关闭原文件;不要为备份把已经写满的分区进一步填满。

暂时不能重启,需要紧急腾出空间

直接截断持有中的文件属于较高风险操作,仅适用于已经确认是可丢弃内容的普通文件、目标 inode 没变、业务方接受日志缺口,并且常规重新打开或重启暂不可行的情况。不能把它用于数据库文件、事务日志或用途不明的文件。若内容需要保留,必须先完成可用备份;截断后无法从该文件描述符恢复原有内容。

在再次执行 readlink、stat 并核对 PID、FD 后,才可考虑:

sudo truncate -s 0 "/proc/$PID/fd/$FD"

这会修改文件内容,不只是关闭引用。部分程序若未采用追加写入,可能继续从原有偏移写入,形成新的稀疏文件;权限或进程状态变化也可能使命令失败。因此执行后仍需观察 df、文件大小及应用写入行为,并尽快安排应用以受支持的方式重新打开日志。此操作没有能够恢复原文件内容的简单“反向命令”;回滚依赖事先保存的内容及应用自身的数据恢复流程。

lsof 没有发现可解释差额的文件

此时不要为了“试一试”而重启服务。按现象回到外层检查:

  • df -i 异常:排查小文件数量和产生目录,已删除大文件未必是主因。
  • lsof +L1 有结果,但大小不足以解释告警:检查其他挂载点、正常可见的增长文件,以及同一文件系统上的其他目录。
  • 运行在容器中:先分清告警是宿主机文件系统、容器可写层,还是挂载进容器的数据卷;宿主机 PID、容器内 PID 和路径可能不同。应在发生容量告警的对应文件系统上核对挂载与占用,不能只看容器内的路径名。
  • 删除的是镜像层中的文件:容器内看到文件消失,不一定意味着宿主机镜像层空间随之回收,应检查相应存储层,而不是套用“关闭 FD 即释放”的判断。

释放后如何确认确实恢复

变更完成后,对同一个挂载点复测,而不是改看另一条路径:

df -hT /var/log
df -i /var/log
sudo lsof -nP +L1

如果原进程仍在,或应用已重新启动,还应检查服务状态、新日志路径和写入情况。理想结果是:原目标 inode 不再出现在 lsof +L1 中,df 的已用空间下降,应用能够持续写入新的有效日志,业务指标没有因重启或重新打开而恶化。

若 lsof 中已没有该文件,df 却没有明显下降,先核对它是否原本就未占用多少实际磁盘块、是否还有其他进程持有同一 inode,以及复测路径是否落在同一文件系统。若空间下降后很快再次上涨,则重点转向日志增长速率、轮转规则和应用重新打开日志的机制:仅释放这一次占用,不能解决持续写入导致的下一次告警。

后续持续观察容量、inode、日志生成速率及轮转后的文件描述符。对需要长期运行的服务,应让日志轮转方式与应用支持的重新打开机制相匹配,并在轮转后抽查新日志是否正常写入,避免“路径已经删除,进程仍写旧文件”再次积累成磁盘故障。

对于承载 Linux 服务的网站、业务后台和数据库,A5数据提供香港、美国、日本等地区的物理服务器租用,配置覆盖多种 CPU、内存及 SSD、NVMe 存储方案,也有面向大容量数据需求的存储型产品。不同地区和资源组合可为应用运行、业务数据存放及日志所在文件系统提供部署基础。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5512.html

相关推荐