Docker OverlayFS磁盘占用持续增长,怎样定位镜像层与容器写入

发布人:A5数据发布时间:2026-10-23 11:39阅读量:133

宿主机的 df -h 显示 Docker 所在磁盘持续变满,不一定代表镜像数量增加:容器可写层、镜像层、日志、挂载卷和构建缓存都可能占用空间;文件系统 inode 耗尽或磁盘 I/O 异常也会让问题表现为“磁盘不够用”。排查时先确认告警对应的文件系统,再用 Docker 的统计信息缩小范围,最后检查具体目录和文件。

OverlayFS 通常把镜像的只读层作为下层,把容器的可写层作为上层,两者合并后提供容器内的文件视图。容器修改下层文件时,常见配置会将文件内容复制到可写层;删除镜像层中的文件则可能只生成遮蔽标记,并不会释放镜像原有空间。因此,看到容器内文件已删除,不等于宿主机上的镜像层空间已回收。

OverlayFS层机制配图

先确认告警对应的文件系统

以下命令用于 Linux Docker 主机,均为只读检查。请使用与日常 docker ps 相同的 Docker context 和权限;rootless Docker 与通过 sudo 连接的系统级 Docker 可能指向不同 daemon。

docker info --format 'driver={{.Driver}} root={{.DockerRootDir}} logging={{.LoggingDriver}}'
ROOT="$(docker info --format '{{.DockerRootDir}}')"

df -hT "$ROOT"
df -i "$ROOT"
findmnt -T "$ROOT" -o SOURCE,FSTYPE,OPTIONS

DockerRootDir 是当前 daemon 的数据目录,常见位置是 /var/lib/docker,但也可能由管理员修改。以命令输出为准,不要仅凭默认路径判断。df -hT 查看容量、文件系统类型和可用空间;df -i 查看 inode。如果空间尚多而 inode 已接近 100%,问题更可能来自大量小文件,而不是少数大文件。findmnt 可确认 Docker 数据目录实际落在哪个挂载点,避免只检查系统盘却漏掉独立的数据盘。

再看 Docker 目录下各一级目录的粗略用量:

sudo du -xhd1 "$ROOT" 2>/dev/null | sort -h

-x 限制在同一文件系统内,减少跨挂载点统计的干扰。du 扫描大量文件时会产生额外 I/O;生产主机负载较高时应选择低峰执行。若 df 显示已用空间明显大于 du 的统计值,可能存在已删除但仍被进程打开的文件、文件系统预留空间等情况,后续需结合 lsof 和挂载信息判断。

如果磁盘空间没有明显耗尽,但容器响应变慢,可在已安装 sysstat 的主机上观察 I/O:

iostat -xz 1 5

持续偏高的 await、队列长度或设备利用率值得关注,但单一指标不能独立证明磁盘故障,尤其是并行度较高的设备。可将结果与应用延迟、内核日志及文件系统错误对照。需要查看内核日志时,可使用:

sudo journalctl -k --since "1 hour ago" | grep -Ei 'I/O error|filesystem|ext4|xfs|overlay'

若出现 I/O error、文件系统错误或只读挂载提示,优先保护数据并调查底层存储,不要先做镜像清理或在线修复。若 Docker 使用 overlay2 且底层文件系统为 XFS,还应确认文件系统具备 Docker 所需的 ftype=1;不要为了验证这一点直接重格式化或修改线上文件系统。

用 Docker 统计区分镜像、容器和缓存

docker system df -v
docker ps -a --size

docker system df -v 汇总镜像、容器、卷和构建缓存,并尽可能显示可回收空间;共享镜像层可能被多个镜像或容器共同引用,不能把每个镜像显示的大小简单相加当作实际磁盘占用。docker ps -a --size 中的容器可写层大小有助于发现写入较多的容器;镜像相关的虚拟大小通常包含共享层,不等同于该容器独占的物理空间。

如果 Docker 统计结果与主机 df 差异很大,检查数据目录中的日志、其他主机进程和挂载路径。Docker 的统计不会完整反映所有绑定挂载目录的实际用量;应用把数据写到宿主机目录时,该目录可能位于 Docker 数据目录之外。

查看容器使用的挂载:

CID="容器名称或ID"
docker inspect -f '{{json .Mounts}}' "$CID"

输出中的 Source 是宿主机路径,Destination 是容器内挂载点。若数据位于绑定挂载或卷中,容器可写层大小可能并不大,但宿主机挂载目录仍可能持续增长。检查时应对照 Source 所在的文件系统,而不是只看 DockerRootDir。

检查容器挂载配图

检查容器可写层与镜像层

对可疑容器查看存储驱动、可写层路径和变更列表:

docker inspect -f 'name={{.Name}} driver={{.GraphDriver.Name}} upper={{.GraphDriver.Data.UpperDir}}' "$CID"
docker diff "$CID"

在 overlay2 环境中,UpperDir 通常指向该容器的可写层目录;docker diff 用 A、C、D 标记新增、变更和删除的路径。它能帮助定位变化发生在哪里,但不是按文件大小排序的报表。若驱动不是 overlay2,或 UpperDir 没有实际路径,不要据此拼接目录,应按当前驱动和 Docker 版本的方式继续检查。

当 UpperDir 输出为实际路径时,可只读统计该目录的空间和大文件:

sudo du -xhd1 /实际的/UpperDir路径 | sort -h
sudo find /实际的/UpperDir路径 -xdev -type f -printf '%s\t%p\n' | sort -nr | head -n 20

将示例路径替换为上一步显示的完整路径。结果较大时,先确认文件用途:应用日志、缓存、临时文件和业务数据的处理方式不同。不要直接在 overlay2 目录中删除文件、改权限或移动目录;这会绕过 Docker 的元数据管理,可能导致容器或镜像损坏。

镜像本身持续增长时,进一步检查镜像和构建缓存统计。若某次构建在一个镜像层中生成文件、之后又在另一个层中删除,先前层的数据仍可能保留。临时文件的创建与清理宜放在同一构建步骤中;已经发布的镜像则需重新构建并替换,单纯在运行容器内删除文件不会改写现有镜像层。

单独排查日志、inode 与已删除文件

容器采用 json-file 日志驱动时,日志文件可能位于 Docker 数据目录内。不要假设所有日志都在同一固定路径,应先查询容器配置:

docker inspect -f 'driver={{.HostConfig.LogConfig.Type}} config={{json .HostConfig.LogConfig.Config}} path={{.LogPath}}' "$CID"

如果输出中有日志路径,可检查其大小,并查看近期日志是否出现重复错误或异常高频输出:

sudo du -h /实际的/日志文件路径
docker logs --since 30m --tail 200 "$CID"

日志可能包含敏感信息,不要未经脱敏就公开粘贴。若使用 journald 等其他日志驱动,应检查对应日志系统的存储,而不是只盯着 LogPath。

日志增长应通过日志驱动的轮转配置和应用日志级别管理。以下 Compose 配置是一个示例,表示每个日志文件约 20 MiB、最多保留 5 个文件;实际占用可能因活动文件和轮转时机略有差异:

services:
  app:
    logging:
      driver: json-file
      options:
        max-size: "20m"
        max-file: "5"

修改配置通常需要按部署方式重建目标容器,才能让新配置生效;现有容器不会因为修改 Compose 文件就自动采用新设置。重建可能造成服务中断,也可能丢失只保存在容器可写层中的数据。操作前应确认业务数据已迁移或备份,保存当前镜像、配置和必要日志,并安排合适的维护窗口。不要直接删除或截断 Docker 管理的日志文件,可能造成日志丢失或记录异常。

inode 耗尽时,按目录统计 inode 有助于缩小范围。GNU du 支持以下用法;扫描大型数据目录可能耗时较长:

sudo du --inodes -x -d 2 "$ROOT" 2>/dev/null | sort -n | tail

如果某个应用目录包含大量小文件,应结合应用自身的缓存、临时文件或日志保留策略处理,而不是批量删除未知文件。若怀疑文件已删除但空间尚未归还,可查看仍被进程打开的已删除文件:

sudo lsof +L1

如果输出显示 Docker daemon 或应用进程仍持有大文件,先确认文件归属及用途,再按服务支持的方式重新打开日志或安排受控重启。不要仅为释放空间就直接重启整个 Docker daemon;其影响范围取决于主机配置、容器编排和是否启用相关恢复机制。

按结果选择处理方式

  • 容器可写层持续变大: 对照 docker diff 和 UpperDir 找出具体路径,再判断是应用日志、缓存还是业务数据。缓存可按应用规则清理;业务数据应通过应用自身功能迁移或清理,并在变更前备份。确认数据应长期保留时,可规划挂载卷或绑定挂载,但迁移前要核对容器内外路径和权限。
  • 镜像或构建缓存占用较多: 先核对镜像是否仍用于部署、是否存在本地独有版本,以及缓存清理后是否能从代码和依赖源重新构建。docker image prune 会删除未使用的悬空镜像,不能作为不经核对的通用清理命令;更广泛的清理会影响更多本地镜像或缓存。若镜像无法从仓库重新拉取,应先推送到仓库或用适当方式备份,再考虑清理。被删除的缓存通常只能通过重新构建恢复。
  • 日志文件占用突出: 先按保留要求归档必要日志,再配置轮转并控制异常重复输出。若当前配置不支持预期的轮转方式,先确认日志驱动和 Docker 版本,再调整,不要把适用于一种驱动的参数直接套给另一种驱动。
  • 卷或绑定挂载占用突出: 按宿主机 Source 定位实际目录,使用应用支持的保留策略或数据迁移流程。删除卷或卷内文件可能导致业务数据不可恢复;操作前应备份并明确回滚数据的方式。
  • 容量、inode 与 Docker 统计都解释不了告警,或内核日志出现文件系统/I/O 错误: 先排查其他宿主机进程、已删除但仍打开的文件和存储设备状态。涉及文件系统修复时,按文件系统类型制定维护方案;不要在仍挂载并承载 Docker 数据的文件系统上贸然运行修复操作。

确认原因并完成变更后,重新检查 df -hT、df -i、docker system df -v 和相关目录大小,并观察应用错误率与 I/O 指标。容器可写层减少不代表镜像层或卷也会减少;应以实际占用对应的文件系统为准。建议在变更后持续观察一段时间,再按小时或按日比较用量变化。如果容量继续线性增长,记录增长最快的目录、容器和日志来源,沿同一排查路径追踪,而不是重复执行全局清理。

容器镜像、可写层与业务数据共同依赖宿主机的计算和存储资源。A5数据提供香港、美国、日本等地区的物理服务器,配置涵盖SSD、NVMe及大容量机械硬盘,可为Docker主机、数据库和应用服务提供不同的存储与硬件资源基础;多地区方案也适用于部署面向不同区域用户的业务。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5330.html

相关推荐