Linux磁盘空间被日志持续占用,如何定位增长文件与写入服务
磁盘使用率持续上升时,先确认是哪个挂载点、哪类资源接近耗尽,再找出增长文件及其写入进程。df 用于判断文件系统整体容量和 inode,du 用于定位仍能通过目录访问的文件,进程文件描述符检查则用于发现已删除但仍被程序占用的日志。不要一看到大日志就直接删除:如果服务仍持有该文件,空间通常不会立即释放;如果日志包含故障证据,贸然清理还会影响后续分析。
排查顺序建议从只读检查开始,再确认写入服务,最后才调整日志保留或服务状态。以下命令适用于常见 Linux 发行版;部分工具可能需要安装,执行前应确认自己具有相应权限,并避免在生产高峰期运行范围过大的扫描。
一、确认空间是怎么被占用的
先区分容量不足与 inode 耗尽
df -hT
df -i
df -hT 查看挂载点、文件系统类型和已用容量;df -i 查看 inode 使用情况。两者要结合判断:

- 容量使用率接近 100%,但 inode 仍充足:可能是少数大文件持续增长。
- inode 使用率接近 100%,但容量尚未用尽:通常是大量小文件导致,日志切片、应用临时文件或任务输出目录都值得检查。
- 两项都正常:问题可能出现在容器、独立挂载点、配额限制或监控统计口径中,继续核对挂载关系和运行环境。
例如,根分区使用率达到 95%,不代表日志一定在根分区;日志目录可能被单独挂载。结合 df 输出中的挂载点,确认问题所在的文件系统。
findmnt -T /var/log
findmnt -T /
findmnt -T 会显示指定路径实际落在哪个挂载点。若 /var/log 位于独立分区,应针对该分区继续排查,而不是只查看根目录。
检查文件系统和底层设备
lsblk -f
该命令用于核对块设备、文件系统类型和挂载位置。若磁盘使用率正常但业务仍报告写入失败,还要检查是否为只读挂载、空间配额或文件系统异常。不要在生产环境中未经评估直接运行修复文件系统的命令;文件系统检查与修复通常需要卸载或进入维护窗口,操作前应确认备份和恢复方案。
对于容量增长同时伴随写入变慢的情况,可查看设备 I/O 指标。安装了 sysstat 的系统通常可以使用:
iostat -xz 1 5
重点关注设备的等待时间、队列和利用率变化。单次高值不足以判定磁盘故障,应结合业务延迟和连续观测判断;若工具未安装,不要因此中断排查,可先完成文件和服务定位,再按发行版的软件源安装监控工具。
二、由挂载点向目录和文件收敛
找出占用较大的目录
确认目标挂载点后,以该路径为范围检查目录。下面以 /var 所在文件系统为例:
sudo du -xhd1 /var 2>/dev/null | sort -h
-x 限制在当前文件系统内,避免跨入其他挂载点;-d1 只统计一层目录,结果更便于逐步缩小范围。sort -h 按容量大小排序。不同版本的 du 对参数支持可能有差异,若提示参数无效,可先查看 du --help,或使用兼容写法:
sudo du -x -h --max-depth=1 /var 2>/dev/null | sort -h
如果 /var/log 占用突出,再向下一层检查:
sudo du -xhd1 /var/log 2>/dev/null | sort -h
sudo find /var/log -xdev -type f -printf '%s %p\n' 2>/dev/null | sort -nr | head -20
第一条用于比较日志子目录大小;第二条列出较大的普通文件,字节数在前、路径在后。find 输出不等于文件一定仍在增长,只说明扫描时文件较大。对权限不足或受保护目录,结果可能不完整,使用 sudo 后仍应留意错误输出。
区分单个大文件和大量小文件
若容量涨得快,检查大文件及其时间戳:
sudo find /var/log -xdev -type f -printf '%s %TY-%Tm-%Td %TH:%TM %p\n' 2>/dev/null | sort -nr | head -20
若 inode 耗尽,则统计文件数量,优先从可疑的应用日志目录开始:
sudo find /var/log -xdev -type f 2>/dev/null | wc -l
对目录范围很大时,递归扫描本身会产生一定 I/O,宜按实际日志路径分段运行,不要反复对整个根文件系统执行高强度扫描。小文件过多时,直接删除“旧文件”也未必安全:先确认文件归属、保留要求和应用是否仍会读取它们。
三、确认是谁在持续写入
比较文件大小,确认是否增长
选定疑似日志后,间隔一段时间查看大小与修改时间:
stat /var/log/example/app.log
sleep 60
stat /var/log/example/app.log
如果 Size 持续增加且修改时间更新,说明文件很可能仍在写入。这里的路径只是示例,应替换为实际发现的文件。单次大小变化只能说明这一分钟内发生过写入,不能单独证明服务异常;正常访问日志也会随着请求增加。
通过进程和文件描述符识别写入者
若系统安装了 lsof:
sudo lsof /var/log/example/app.log
输出中的进程名、PID 和文件描述符可帮助判断写入者。FD 字段末尾若带 w,通常表示该进程以可写方式打开文件;权限不足或进程退出后,查询结果可能为空。
也可以查看文件的系统调用占用情况:
sudo fuser -v /var/log/example/app.log
lsof 或 fuser 未安装时,可从 /proc 查找已删除但仍被打开的文件:
sudo find /proc/[0-9]*/fd -lname '*deleted*' -printf '%p -> %l\n' 2>/dev/null | head -50
该结果会列出指向已删除文件的进程文件描述符。若路径中出现 (deleted),文件名虽已从目录中消失,进程仍持有它,所占空间通常要等最后一个文件描述符关闭后才释放。可以从输出中的 /proc/PID/fd/编号 识别 PID,再核对进程信息:

ps -fp PID
将 PID 替换为实际数字。不要为了释放空间直接关闭未知进程的文件描述符:这可能导致服务异常,也会丢失尚未归档的日志内容。
将 PID 对应到服务或容器
对普通系统服务,可检查进程和 systemd 单元:
systemctl status 服务名
ps -p PID -o pid,ppid,comm,args
把示例占位符替换为实际服务名或 PID。systemctl status 显示的单元状态、主进程和近期日志有助于确认服务归属;如果进程由容器运行,宿主机上看到的可能是运行时进程,而非容器内的业务进程。

对于 Docker 环境,可先列出容器,再查看对应容器日志配置和大小:
docker ps --no-trunc
docker inspect --format='{{.Name}} {{.LogPath}}' 容器名或ID
容器日志路径可能位于 Docker 数据目录下。不要手动删除运行时管理的日志文件;应依据实际日志驱动和运行时配置调整轮转策略,并安排维护窗口验证。Kubernetes 等环境也应区分节点上的容器运行时日志与集群日志采集,不要把节点文件清理当成应用日志保留策略。
四、根据结果选择处理方式
发现 systemd journal 占用较大
先查看 journal 当前占用:
sudo journalctl --disk-usage
若容量确实由 journal 占用,可检查其保留配置和日志策略。journalctl 的清理操作会删除历史记录,可能影响审计、故障复盘或合规要求。确认保留期限、备份和审批要求后,才考虑按时间或容量清理,例如:
sudo journalctl --vacuum-time=14d
该命令会删除超过指定期限的归档 journal 日志;它不是无损操作。执行前记录当前占用和保留要求,执行后用 journalctl --disk-usage 验证。若结果不符合预期,应停止继续清理,按已确认的日志备份或集中日志副本恢复所需记录。不要为了快速释放空间随意缩短所有系统的保留周期。
发现应用日志持续增长
优先查明增长原因,再确认日志轮转是否生效。常见原因包括访问量变化、调试级别被打开、错误重试循环、异常堆栈重复输出,或轮转规则未覆盖当前路径。可先查看应用配置、服务近期日志和轮转规则,不要只根据文件名判断。
对 logrotate 环境,可检查配置文件是否覆盖了目标日志,并查看上次轮转状态:
sudo grep -R --line-number '/var/log/example' /etc/logrotate.conf /etc/logrotate.d 2>/dev/null
sudo cat /var/lib/logrotate/status
检查时关注匹配路径、轮转周期、保留份数、压缩规则以及 postrotate 动作。postrotate 通常用于通知服务重新打开日志;具体信号和命令必须与应用文档及现有配置一致,不能照搬其他服务的设置。
不要在未检查规则的情况下直接强制轮转。某些配置可能产生空文件、重复轮转或影响正在写入的日志。若需要验证,可先在维护窗口使用调试模式查看将执行的动作:
sudo logrotate -d /etc/logrotate.conf
调试模式主要用于检查规则,不应把它误认为已完成轮转。实际更改配置前备份原文件,并记录原有内容;修改后先复查配置,再按系统既有管理方式执行。回滚时恢复备份配置,并按服务支持的方式重新加载或打开日志。
发现已删除但仍被进程占用
这种情况的关键是让持有文件的服务安全关闭旧文件描述符。先确认 PID、服务身份和影响范围,再查看应用是否支持重新打开日志或无中断轮转。若没有安全的重开机制,通常需要在批准的维护窗口重启对应服务;重启会中断该服务或其部分请求,应先评估集群冗余、业务影响和回退步骤。
执行前保存必要的故障证据,并记录服务当前状态。重启后再次检查文件描述符和 df -hT:若空间释放,说明旧描述符已关闭;若仍未释放,应重新查找其他持有者,而不是重复删除同一路径。不要使用向 /proc/PID/fd/编号 写入空内容的方式处理未知日志,这可能绕过应用自身的日志管理并造成数据丢失。
五、处理前后的验证与持续观察
每次只调整一个原因,便于确认效果。处理前记录目标挂载点使用率、inode 使用率、日志文件大小、服务状态和时间;处理后用相同命令复查:
df -hT
df -i
sudo journalctl --disk-usage
stat /var/log/example/app.log
若使用了 logrotate,还要确认新日志文件是否生成、旧文件是否按策略归档,以及应用是否仍向预期路径写入。若空间没有下降,检查是否存在其他大文件、已删除但仍被打开的文件、独立挂载点或文件系统保留空间;若空间短暂释放后又快速增长,则应回到写入者和应用错误原因排查,而不是反复清理。
建议在观察窗口内记录增长速度。比如每隔数分钟采集目标文件大小与文件系统使用率,结合服务日志和 I/O 指标判断增长是否恢复到业务可接受范围。若容量持续逼近告警阈值、inode 快速耗尽、文件系统变为只读,或 I/O 等待明显恶化,应按生产故障流程升级处理,避免在压力持续增加时进行大范围扫描或未经评估的清理。
Linux业务服务的日志写入与长期留存,离不开匹配负载的计算和存储资源。A5数据提供香港、美国、日本等多个地区的物理服务器,覆盖常规建站、AMD计算及存储型配置,可选择SSD、NVMe或大容量机械硬盘方案,为网站、数据库、后台服务及日志数据存放提供不同的硬件基础。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5327.html



