Docker OverlayFS为什么会占用磁盘,怎样定位可回收层与增长来源
Docker 使用 OverlayFS 时,磁盘占用不只来自容器可写层。镜像只读层、容器运行后新增或修改的文件、容器日志、构建缓存和挂载卷,都可能位于同一块文件系统上;其中有些由 Docker 管理,有些需要按各自的生命周期处理。因而,看到 /var/lib/docker 变大,并不能直接推断是某个容器的可写层失控,也不能仅凭删除容器就认定空间会释放。
定位时要区分“哪个文件系统变满”“哪些文件或 inode 增长”“哪些数据属于 Docker 可回收对象”。先用 df、du 和 Docker 的对象统计确定范围,再核对容器日志、挂载卷和文件系统状态。不要直接删除 overlay2 目录里的文件:镜像层可能被多个容器共享,手工删除会破坏 Docker 的元数据与挂载关系。
对于需要长期运行容器、数据库与业务后台的场景,A5idc数据提供中国香港、美国、日本、韩国、中国台湾、新加坡和马来西亚等地区的物理服务器资源,覆盖Xeon Gold、AMD EPYC、NVMe存储及不同内存和带宽配置,可为Docker主机、镜像仓库、日志存储与多任务服务提供独立的计算、磁盘和网络基础。
OverlayFS占用的边界
OverlayFS 是一种联合文件系统:它把一个或多个只读目录与一个可写目录合并呈现为统一的文件树。Docker 的 overlay2 存储驱动使用这一机制管理镜像层和容器文件系统。镜像通常由多个只读层组成;启动容器时,Docker 在其上方创建可写层,容器看到的是合并后的视图。

实际占用大致可分为以下几类:
| 数据类型 | 常见来源 | 是否属于容器可写层 |
|---|---|---|
| 镜像只读层 | 拉取镜像、构建镜像 | 否 |
| 容器可写层 | 应用写入容器文件系统、修改镜像中已有文件 | 是 |
| 容器日志 | json-file 等日志驱动写出的日志文件 | 通常不算可写层 |
| 卷与绑定挂载 | 数据库目录、主机目录、持久化文件 | 否,按挂载位置和驱动判断 |
| 构建缓存 | Docker 构建过程产生的缓存对象 | 否 |
| Docker 元数据及其他文件 | 配置、运行时状态、插件数据等 | 否 |
这些数据可能落在不同文件系统上。Docker 数据目录常见于 /var/lib/docker,但可以通过 data-root 改到其他位置;容器日志也可能在该目录下,也可能因驱动或配置不同而位于其他位置。应先确认实际路径和挂载点,不能把默认路径当成所有主机的固定事实。
OverlayFS 视图中的文件大小也不等于“Docker 独占、可立即回收的磁盘空间”。只读层可能被多个镜像或容器引用;同一个文件在上层被修改时,可能触发复制;删除上层文件后,底层文件仍可能存在,只是在合并视图中被隐藏。因此,文件在容器内不可见,不代表对应底层数据已被物理删除。
OverlayFS如何产生磁盘增长
新增、修改与删除文件
容器向可写层新增文件,通常会增加该容器的可写层占用。若容器修改只读层中的文件,OverlayFS 会触发 copy-up:把底层文件复制到可写层,再在上层执行修改。比如,镜像中有一个较大的配置或应用文件,容器启动后只改动其中一部分,实际写入上层的内容可能仍接近整个文件大小,而不是只等于修改的字节数。具体表现受文件大小、操作方式和内核实现等因素影响。
删除镜像只读层中的文件时,OverlayFS 通常会在上层创建 whiteout 等标记,使合并视图不再显示该文件;底层镜像层仍由镜像引用。此类删除不会自动缩小镜像层,真正释放底层空间需要相应镜像层不再被引用,并由 Docker 清理其存储对象。
共享镜像层与容器生命周期
镜像由多层组成,不同镜像也可能共享相同层。容器创建时通常不会把所有只读层复制一份,但每个容器会有自己的可写层。删除一个容器,最多能释放该容器不再被引用的可写层及相关对象;若镜像仍被其他容器、镜像标签或构建缓存引用,对应只读层不会因此全部回收。
因此,docker system df 中的镜像总量、可回收量和 du 的目录大小可能不相等。前者按 Docker 对象和共享关系统计,后者按文件系统目录实际占用统计;硬链接、稀疏文件、元数据、未被 Docker 统计的文件以及统计时机不同,都可能造成差异。
不在可写层里的增长
容器日志、卷和绑定挂载经常被误认为 OverlayFS 增长。以 json-file 日志驱动为例,日志文件通常单独存储在 Docker 管理的容器目录中,不属于容器的合并文件系统。应用持续输出错误堆栈或访问日志时,即使容器可写层基本不变,磁盘仍可能迅速增长。
卷和绑定挂载则可能位于 Docker 数据目录之外。数据库将数据写到挂载卷时,宿主机磁盘会增长,但 docker system df 对卷的统计方式和实际占用位置需要结合具体驱动核对。容器内执行 df 看到的是挂载后的视图,不一定能说明宿主机上哪个目录占用最多。
影响容量、inode和I/O的因素
容量用尽与 inode 用尽是两类问题。大量小文件可能先耗尽 inode,表现为创建文件失败,但 df -h 仍显示有剩余空间;大文件或日志持续增长则更容易先耗尽数据块。排查时两者都要看。
OverlayFS 的 copy-up、频繁小文件写入与目录元数据操作也会带来 I/O。若磁盘空间充足但容器响应变慢,不能只看占用百分比,还应检查设备延迟、队列和宿主机负载。底层存储性能、文件系统状态、同步写入、日志量及其他进程争用,都可能影响延迟;OverlayFS 本身不是所有 I/O 问题的唯一来源。
文件系统类型和挂载参数同样重要。Docker 的 overlay2 在某些文件系统及配置下有兼容性要求,例如 XFS 环境需要核对 ftype 等属性;不同发行版、内核和 Docker 版本的支持条件也可能不同。不能仅凭目录名是 overlay2 就确认底层文件系统配置合适。
按风险由低到高定位
1. 确认哪个挂载点变满
先确认 Docker 实际使用的数据目录,再检查相关文件系统的容量、inode 和挂载关系:
docker info --format 'DockerRootDir={{.DockerRootDir}} Driver={{.Driver}}'
df -hT
df -ih
findmnt
如果 Docker 根目录位于单独分区,重点查看该分区;如果容器数据或日志目录经绑定挂载放在其他文件系统,也要分别检查。df -hT 用于观察容量与文件系统类型,df -ih 用于观察 inode 使用情况。两者显示接近满载时,后续排查方向不同。

2. 比较主机目录与Docker对象统计
使用 Docker 提供的统计信息查看镜像、容器可写层、卷和构建缓存:
docker system df
docker system df -v
docker ps -as
docker image ls
docker volume ls
docker builder du
docker system df -v 能展开部分对象信息,但不应把它当作文件系统精确账本。若 df 显示数据目录所在分区占用很高,而 Docker 对象统计偏小,可在确认路径后查看目录用量:
sudo du -xhd1 /var/lib/docker 2>/dev/null | sort -h
这里的 /var/lib/docker 仅是常见示例,实际命令应替换为 docker info 返回的根目录。-x 可避免跨入其他挂载点,-d1 只汇总一层子目录。对非常大的目录执行递归 du 会产生额外磁盘读取,繁忙主机上应控制扫描范围和执行时间。
若 overlay2 目录较大,还要结合容器与镜像的引用关系判断,不能按单个目录名称直接认定“可删”。不建议通过手工查看并删除 overlay2 下的随机目录来腾空间。
3. 检查容器可写层与挂载
先找出可写层异常大的容器,再查看其挂载配置:
docker ps -as
docker inspect --format '{{.Name}} {{json .GraphDriver.Data}}' CONTAINER
docker inspect --format '{{json .Mounts}}' CONTAINER
将 CONTAINER 替换为容器名称或 ID。docker ps -as 展示的可写层大小可帮助筛选,但它不是容器全部数据的统计:挂载卷和日志不一定包含在其中。检查 Mounts 时,应确认应用写入的目录究竟位于可写层、命名卷还是宿主机绑定目录。
如果容器中某个路径增长明显,先确认它是否为挂载点,再检查对应的宿主机位置。对运行中的业务,不要仅为“看目录大小”就贸然进入容器执行大范围扫描;大目录遍历会产生 I/O,且不同容器镜像未必包含相同工具。
4. 单独核对日志增长
查看容器日志驱动及其配置:
docker inspect --format '{{.Name}} log={{.HostConfig.LogConfig.Type}} options={{json .HostConfig.LogConfig.Config}}' CONTAINER
若使用 json-file,可进一步查明 Docker 数据目录中对应容器的日志文件大小;路径应依据实际数据目录、容器 ID 与驱动确认,不宜把固定路径硬编码成通用结论。也可以先从 Docker 层面观察日志:
docker logs --tail 100 CONTAINER
若日志量异常,常见原因包括错误重试循环、调试级别长期开启或应用重复输出同一异常。解决方向通常是修正日志来源并配置合适的轮转与保留策略,而不是直接删除仍被 Docker 管理的日志文件。正在写入的日志文件可能被进程持有,直接操作文件可能造成统计不一致或丢失诊断信息。
5. 处理“文件已删但空间未释放”与I/O异常
Linux 文件被删除后,如果仍有进程持有打开的文件描述符,目录中看不到该文件,但磁盘空间要等到最后一个引用关闭后才释放。遇到 df 占用明显高于 du 汇总的情况,可检查已删除但仍打开的文件:
sudo lsof +L1
输出中的进程、文件描述符和大小能帮助确认是否存在此类情况。重启或重载服务可能关闭文件句柄,但会影响业务;先确认进程用途、服务影响和恢复方式,不要仅凭输出直接杀进程。
若主要问题是 I/O 延迟,可在主机上观察设备指标:
iostat -xz 1 5
该命令依赖系统已安装相应工具。重点关注设备繁忙程度、队列和读写延迟是否与业务变慢同时出现,并结合系统负载、容器写入和日志增长判断。单次高延迟不能证明是 OverlayFS 导致;设备、文件系统、云盘限额或其他进程都可能是原因。
6. 回收前先判定对象与影响
Docker 的清理命令会删除对象,执行前应先确认范围、保留需求和可恢复来源。docker system prune、docker image prune、docker volume prune 等命令的作用对象不同;带有 -a 或卷清理选项时,范围可能扩大到当前未使用但仍有保留价值的镜像或卷。卷尤其可能包含业务数据,不能因为暂时没有容器引用就视为无用。

清理前应核实镜像能否重新获取或重建、卷数据是否已备份、当前容器是否依赖目标对象,并在维护窗口执行。清理后用 df -h、df -i 和 docker system df 复查。Docker 删除对象通常没有简单的本地回滚;如需恢复,应依靠已保存的镜像、配置和数据备份。不要用 rm -rf 直接清除 Docker 数据目录内容。
一个容量差异的判断示例
假设某主机的 Docker 数据目录所在分区为 100 GB,df 显示已用 92 GB;docker system df 统计的镜像、容器、卷与缓存合计约 54 GB。这个差值并不能直接证明 OverlayFS 泄漏。可以继续观察:

du -xhd1显示日志目录占 28 GB:优先检查日志驱动、日志文件和应用输出。du汇总仍明显小于df,且lsof +L1显示有已删除的大文件被进程持有:磁盘空间可能尚未释放。- inode 使用率接近 100%,但容量仍有余量:重点查小文件数量,而不是只清理最大的镜像。
- OverlayFS 相关目录占用大、容器可写层也持续增长:进一步检查容器写入路径、copy-up 行为和容器生命周期。
这些数字只是用于说明判断方法的示例,不构成固定阈值。关键是让文件系统统计、Docker 对象统计和具体目录变化能够相互解释。
适用限制与判断边界
上述方法主要适用于 Linux 上由 Docker 管理、使用 OverlayFS 或 overlay2 的环境。Docker Desktop、Rootless Docker、使用 containerd 的不同快照器、非默认日志驱动,以及自定义 data-root 或卷插件,目录布局和统计口径可能不同,应以当前主机的 Docker 信息、挂载关系和实际文件系统为准。
docker system df 适合识别 Docker 管理对象,不能单独说明所有宿主机空间;du 适合定位目录,却不能解释镜像共享关系、已删除但仍打开的文件或所有稀疏文件占用;容器可写层大小也不包含所有挂载数据。三者相互核对,才能把增长来源逐步归到镜像层、容器可写层、日志、卷或主机文件。
最终判断可按一个边界来做:如果 Docker 对象和对应目录同步增长,且容器写入路径明确,才优先处理容器层或镜像引用;如果增长集中在日志或挂载卷,应沿各自的保留策略和生命周期处理;如果 df 与 du 差距明显,则先查打开文件、挂载点和统计口径。完成回收后,复查容量、inode 与业务 I/O;空间下降但延迟未改善,说明容量问题和性能问题可能并非同一原因。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/8175.html



