如何把Linux中用lsof检查已删除但仍被占用文件的操作改为定时巡检?

发布人:A5数据发布时间:2026-11-16 13:27阅读量:13

已有 Linux 主机上若要把人工执行 lsof 的检查改成定时巡检,可以用 lsof -nP +L1 查找链接数小于 1、但仍被进程打开的文件,再由 systemd timer 周期执行。巡检只负责发现和记录,不应自动结束进程或修改文件;释放空间通常需要由服务正常关闭文件描述符。

文件被删除后,目录中看不到它,进程持有的文件描述符却可能仍然有效。此时磁盘块要等到最后一个引用关闭后才释放,所以 df 显示的已用空间可能高于 du 汇总的可见文件。lsof +L1 是用于发现这类情况的筛选条件;不需要再通过匹配文件名中的 (deleted) 来判断。

文件删除与占用机制配图

确认巡检范围与依赖

建议先在目标主机上手动检查一次:

command -v lsof
sudo lsof -nP +L1

-nP 让 lsof 不解析主机名和端口服务名,减少额外查询并使输出更直接。使用 root 权限可以扩大可见范围;非特权用户运行时,可能看不到其他用户的进程或文件描述符。

通常会关注输出中的 PID、USER、FD、SIZE/OFF、NLINK 和 NAME。一行代表一条文件描述符记录,不一定对应一个互不重复的文件;同一文件可能被多个进程或描述符持有。容器、不同 PID 命名空间及受限的 /proc 访问也会影响结果范围,部署前应确认巡检进程实际能看到哪些进程。

巡检频率要结合主机负载和发现时效确定。每 15 分钟一次可以作为示例起点,但不是所有环境都适用;进程数量多、文件描述符规模大的主机,应观察扫描耗时后再调整。

编写巡检脚本

下面的脚本会检查权限和依赖、用 flock 防止任务重叠,并把结果写入 systemd journal。发现记录时输出 FOUND 标记;命令执行失败或产生标准错误时输出 SCAN_ERROR,避免把不完整扫描误报成正常。

将内容保存为 /usr/local/sbin/lsof-deleted-scan:

#!/usr/bin/env bash

set -u
umask 077
PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
export PATH

log() {
    printf '%s %s\n' "$(date '+%Y-%m-%dT%H:%M:%S%z')" "$*"
}

if (( EUID != 0 )); then
    log "SCAN_ERROR: must run as root"
    exit 2
fi

if ! command -v lsof >/dev/null 2>&1; then
    log "SCAN_ERROR: lsof not found"
    exit 2
fi

if ! command -v flock >/dev/null 2>&1; then
    log "SCAN_ERROR: flock not found"
    exit 2
fi

if ! command -v awk >/dev/null 2>&1; then
    log "SCAN_ERROR: awk not found"
    exit 2
fi

exec 9>/run/lock/lsof-deleted-scan.lock || {
    log "SCAN_ERROR: cannot open lock file"
    exit 2
}

if ! flock -n 9; then
    log "SKIP: another scan is still running"
    exit 0
fi

tmpdir=$(mktemp -d) || {
    log "SCAN_ERROR: cannot create temporary directory"
    exit 2
}
trap 'rm -rf -- "$tmpdir"' EXIT

lsof_bin=$(command -v lsof)

"$lsof_bin" -nP +L1 >"$tmpdir/output" 2>"$tmpdir/error"
lsof_status=$?

rows=$(awk '
    NF {
        if ($1 == "COMMAND" && $2 == "PID") {
            next
        }
        count++
    }
    END {
        print count + 0
    }
' "$tmpdir/output")

if (( lsof_status != 0 )) || [[ -s "$tmpdir/error" ]]; then
    log "SCAN_ERROR: lsof_exit=$lsof_status"
    if [[ -s "$tmpdir/error" ]]; then
        cat "$tmpdir/error" >&2
    fi
    if (( rows > 0 )); then
        log "PARTIAL: entries=$rows"
        cat "$tmpdir/output"
    fi
    exit 2
fi

if (( rows == 0 )); then
    log "CLEAN: no matching entries"
else
    log "FOUND: entries=$rows"
    cat "$tmpdir/output"
fi

设置权限并手动运行:

sudo chown root:root /usr/local/sbin/lsof-deleted-scan
sudo chmod 0750 /usr/local/sbin/lsof-deleted-scan
sudo /usr/local/sbin/lsof-deleted-scan

脚本会把任意标准错误也视为扫描异常。这种处理较保守:若某个发行版或主机环境持续输出已知的无害警告,应先确认警告不意味着结果不完整,再决定是否调整错误判定。不要在未核实的情况下忽略所有标准错误。

配置 systemd 定时执行

创建 /etc/systemd/system/lsof-deleted-scan.service:

[Unit]
Description=Check for deleted files still held open

[Service]
Type=oneshot
User=root
Group=root
UMask=0077
ExecStart=/usr/local/sbin/lsof-deleted-scan
StandardOutput=journal
StandardError=journal
NoNewPrivileges=true

再创建 /etc/systemd/system/lsof-deleted-scan.timer:

[Unit]
Description=Run deleted-file scan periodically

[Timer]
OnCalendar=*-*-* *:0/15:00
RandomizedDelaySec=2m
Persistent=true
Unit=lsof-deleted-scan.service

[Install]
WantedBy=timers.target

该示例按每小时的第 0、15、30、45 分钟触发,并允许最多 2 分钟随机延迟,以减少多台主机同时扫描的概率。Persistent=true 会在主机错过计划时间后,于下次启动时补触发一次;它不代表系统会重放错过的每一次运行。修改频率前,可用下面的命令校验时间表达式:

配置 systemd 定时执行配图

systemd-analyze calendar '*-*-* *:0/15:00'

先加载配置并运行一次服务,再启用 timer:

sudo systemctl daemon-reload
sudo systemctl start lsof-deleted-scan.service
sudo journalctl -u lsof-deleted-scan.service -n 50 --no-pager
sudo systemctl enable --now lsof-deleted-scan.timer
sudo systemctl list-timers --all | grep lsof-deleted-scan

systemctl start 用于立即验证扫描;timer 才负责后续定时触发。检查日志时,CLEAN 表示本次没有匹配记录,FOUND 表示有匹配记录,SCAN_ERROR 表示本次结果不能作为完整巡检结论。可以让现有日志采集或监控系统针对 FOUND 和 SCAN_ERROR 设置通知;发现记录时服务仍可能显示执行成功,因此仅监控 systemd 服务的成功或失败并不足以发现文件占用问题。

配置 systemd 定时执行配图

纳入配置管理与审计

将脚本和两个 unit 文件作为版本化配置管理文件部署,确保权限与启用状态一致。下面是 Ansible 任务示例,假设三个源文件分别放在控制端的 files/ 目录中:

- name: Deploy deleted-file scan
  hosts: linux_hosts
  become: true
  tasks:
    - name: Install scan script
      ansible.builtin.copy:
        src: files/lsof-deleted-scan
        dest: /usr/local/sbin/lsof-deleted-scan
        owner: root
        group: root
        mode: '0750'

    - name: Install systemd service
      ansible.builtin.copy:
        src: files/lsof-deleted-scan.service
        dest: /etc/systemd/system/lsof-deleted-scan.service
        owner: root
        group: root
        mode: '0644'

    - name: Install systemd timer
      ansible.builtin.copy:
        src: files/lsof-deleted-scan.timer
        dest: /etc/systemd/system/lsof-deleted-scan.timer
        owner: root
        group: root
        mode: '0644'

    - name: Reload systemd and enable timer
      ansible.builtin.systemd:
        name: lsof-deleted-scan.timer
        daemon_reload: true
        enabled: true
        state: started

正式下发前,先在测试主机验证脚本输出、定时器表达式和 journal 记录;逐步扩大主机范围,并保留部署版本及变更记录。巡检结果会暴露进程名、用户名和文件路径,日志访问权限与保留策略应沿用主机现有安全规范,不宜无控制地转发到普通用户可见的渠道。

发现记录后的处理

先复查进程和文件描述符信息,再联系对应服务负责人确认文件用途:

sudo lsof -nP +L1
sudo ps -p 1234 -o pid,ppid,user,lstart,cmd
sudo lsof -nP -p 1234

将 1234 替换为实际 PID。PID 可能在两次检查之间退出或被系统复用,因此处理前要重新确认进程身份、启动时间和当前文件描述符,不能只依据过期日志操作。

常见原因是日志轮转后,应用仍持有旧日志文件的描述符。若服务支持重新打开日志,可按该服务文档执行受控的 reopen 或 reload;若必须重启,则先评估业务影响、连接中断和任务状态,并按维护流程进行。对于数据库、运行时文件或尚未确认用途的文件,不要直接结束进程或写入其文件描述符。

定时巡检应保持只读。不要在脚本中加入自动 kill -9、清空文件或操作 /proc/PID/fd 的步骤:强制关闭进程可能导致服务中断或数据损坏,文件已删除后也不应再依赖路径删除来释放空间。占用解除后,进程关闭对应描述符,相关磁盘块才可能回收;df 的变化可用于辅助确认,但文件系统缓存、其他写入及稀疏文件等因素会影响数值表现。

变更失败与恢复

如果脚本或 unit 配置部署错误,先停止定时任务,避免反复执行:

sudo systemctl disable --now lsof-deleted-scan.timer

随后通过配置管理恢复上一版脚本和 unit 文件,或从部署前保存的副本恢复。恢复文件后重新加载 systemd,并在确认配置正确后再启用 timer:

sudo systemctl daemon-reload
sudo systemctl start lsof-deleted-scan.service
sudo journalctl -u lsof-deleted-scan.service -n 50 --no-pager
sudo systemctl enable --now lsof-deleted-scan.timer

这类回滚只影响巡检配置,不会恢复已经被进程关闭的文件描述符,也不会自动处理已发现的业务进程。若问题来自脚本误判或日志噪声,应先修正判定方式并完成手动验证,再恢复定时运行。

A5idc数据提供香港、美国、日本等地区的物理服务器租用,覆盖 Xeon Gold、AMD EPYC 等平台,并有 SSD、NVMe 与不同内存配置,可为网站、业务后台及数据库所在的 Linux 主机提供计算和存储资源,承载服务进程与定时巡检脚本运行。多地区及不同配置方案,也便于结合业务部署区域和负载安排服务器资源。

上线验收

  • lsof 和 flock 已存在,脚本以 root 身份运行,权限为 0750。
  • 手动运行能分别输出 CLEAN、FOUND 或 SCAN_ERROR,没有把扫描错误当作正常结果。
  • systemd timer 已启用,下一次触发时间与预期频率一致。
  • journal 中可以查询到执行结果,监控侧能区分发现记录和扫描失败。
  • 日志查看权限、保留策略和配置版本记录符合主机管理要求。
  • 发现问题后的处置由服务负责人确认,不会通过巡检任务自动终止进程或修改业务文件。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/9804.html

相关推荐