Linux Btrfs元数据空间不足怎么办?如何判断清理、扩容还是迁移
当 Btrfs 报出 No space left on device、创建文件失败或服务日志中出现 metadata ENOSPC 时,df -h 仍可能显示有几十 GB 可用。这通常不是普通数据空间耗尽,而是 Btrfs 用于保存 inode、目录项、扩展树、校验信息、快照引用和延迟回收信息的元数据块组无法继续分配。
处理顺序不应是直接删除文件或执行完整 balance。先确认是元数据块组、底层设备、快照与日志增长,还是 I/O 故障;再根据证据选择清理、扩容或迁移。一般来说,短期增长且存储健康时优先清理,设备仍有业务增长空间时扩容,底层介质异常或在线扩展受限时迁移。
先确认:到底是哪一种空间不足
查看挂载点和文件系统类型
以下命令适用于常见 Linux 发行版,需要将 /srv/data 替换为实际挂载点:
findmnt -no SOURCE,FSTYPE,OPTIONS,TARGET --target /srv/data
df -hT /srv/data
df -ih /srv/data
lsblk -o NAME,TYPE,SIZE,FSTYPE,MOUNTPOINTS,UUID
预期结果是 FSTYPE 为 btrfs,并且能够看到实际后端设备。df -hT 用于观察逻辑文件空间,df -ih 可以辅助观察文件数量,但 Btrfs 没有 ext4 那种固定大小的 inode 表,因此 df -i 不是判断 Btrfs 元数据耗尽的主要依据。
如果 findmnt 显示的是 /dev/mapper/...,说明可能位于 LVM 上;如果显示多个设备,则可能是 Btrfs 多设备文件系统。后续扩容方式不同,不能只根据挂载目录判断。
查看 Data、Metadata 和设备未分配空间
sudo btrfs filesystem usage -h /srv/data
sudo btrfs filesystem df -h /srv/data
sudo btrfs filesystem show /srv/data
重点观察以下几类数据:
Data:普通文件内容占用的块组。Metadata:inode、目录、文件范围、快照引用、校验树等所使用的块组。System:文件系统自身的系统块组。GlobalReserve:Btrfs 为处理元数据事务保留的空间。Device unallocated:底层设备尚未分配给任何 Btrfs 块组的空间。Metadata,DUP、Metadata,RAID1等配置:元数据冗余策略会影响实际消耗。
下面是便于理解的模拟输出,不代表已经在读者环境执行过:

Data, single: total=780.00GiB, used=620.00GiB
Metadata, DUP: total=16.00GiB, used=15.80GiB
System, DUP: total=8.00MiB, used=144.00KiB
GlobalReserve, single: total=512.00MiB, used=480.00MiB
Device size: 1.00TiB
Device allocated: 796.01GiB
Device unallocated: 227.99GiB
这个例子中,df -h 可能仍显示一定可用空间,但元数据已经接近分配上限。Metadata,DUP 表示单设备上保存两份元数据副本,并不代表有两块物理磁盘;在元数据密集型场景下,其空间消耗会高于 single 配置。
如果 Device unallocated 仍较大,但元数据块组已经接近满载,可能存在快照引用、海量小文件、事务积压或块组碎片问题。如果 Device unallocated 接近零,则扩容或增加设备的优先级更高。
检查内核日志和设备错误
sudo journalctl -k -b --no-pager | grep -Ei 'btrfs|enospc|I/O error|checksum|readonly'
sudo btrfs device stats /srv/data
如果出现以下信息,应先把问题按存储故障处理,而不是马上 balance:
I/O erroruncorrectablechecksum error- 文件系统被重新挂载为只读
- 设备统计中的读、写或校验错误持续增加
btrfs device stats 是累计计数,历史上曾出现过非零值不一定代表当前仍在增长。可以记录一次结果,经过一段读写压力后再次查看,比较计数是否变化。
从外到内排查:容量、I/O、inode 和增长源
先排除底层设备或虚拟磁盘没有真正扩容
如果业务运行在虚拟机、云主机、LVM 或硬件阵列上,平台侧显示磁盘扩大,并不等于分区、逻辑卷和 Btrfs 都已经识别到新空间。
可以先查看设备层级:
lsblk -o NAME,TYPE,SIZE,FSTYPE,MOUNTPOINTS
sudo btrfs filesystem show /srv/data
若 Btrfs 的 Device size 没有变化,先不要执行 btrfs filesystem resize。应按实际拓扑完成以下层级的扩展:

- 云平台或虚拟化平台扩大虚拟磁盘。
- 让操作系统重新识别设备容量。
- 扩大分区,或者扩大 LVM 物理卷和逻辑卷。
- 最后让 Btrfs 使用新增空间。
LVM 场景中,确认卷组有足够空闲 extents、设备路径无误后,示例命令如下:
sudo lvextend -L +20G /dev/vg_data/lv_btrfs
sudo btrfs filesystem resize max /srv/data
/dev/vg_data/lv_btrfs 只是示例路径。执行 lvextend 前必须通过 findmnt、lvs 和 lsblk 三方核对,不能把设备名直接照搬。扩容通常没有简单的“撤销”操作,错误选择逻辑卷可能造成严重后果;应先有可恢复备份,并把新增容量视为不可回滚的变更。
如果使用的是直接分区,分区扩展工具和操作步骤取决于分区表、设备类型及上层存储,不能用统一命令替代核验。确认设备已经扩大后,通常只需执行:
sudo btrfs filesystem resize max /srv/data
sudo btrfs filesystem usage -h /srv/data
如果是多设备 Btrfs,可以考虑添加一块已确认为空且设备路径正确的新设备:
sudo btrfs device add /dev/NEW_DEVICE /srv/data
sudo btrfs filesystem usage -h /srv/data
添加设备会改变文件系统结构,不能把它当成临时挂载。新设备必须经过容量、序列号、分区和文件系统类型核对;不要对含有重要数据的设备随意使用强制参数。添加后,现有数据和元数据不一定立即均匀分布,是否需要后续重新分配要根据使用率、冗余策略和 I/O 能力决定。
检查 I/O 延迟是否已经成为主要问题
元数据紧张时,事务提交、快照删除、目录操作和空间回收都可能变慢。此时如果直接启动大范围 balance,可能进一步放大延迟。
iostat -xz 1 5
vmstat 1 5
重点观察:
await是否持续升高;%util是否长期接近 100%;vmstat中的wa是否明显偏高;- 系统是否伴随内存回收、磁盘队列堆积或进程 D 状态。
如果只是元数据使用率高,但设备延迟正常,可以继续检查增长源。如果同时存在高延迟和设备错误,优先备份或迁移,暂缓 balance、全量 scrub 和大规模删除。
检查小文件、目录项和快照
Btrfs 没有传统意义上的“inode 用完就不能创建文件”这一固定上限,但大量小文件、深层目录、频繁改名、容器层文件和快照引用都会增加元数据压力。
先查看子卷:
sudo btrfs subvolume list -t /srv/data
再对重点目录进行空间分析:
sudo du -xhd1 /srv/data 2>/dev/null | sort -h
sudo btrfs filesystem du -s /srv/data
du 适合发现普通目录中的数据增长,但对快照共享 extent 的解释有限;btrfs filesystem du 能提供共享和独占空间信息,不过遍历大量文件时会产生额外 I/O,不建议在高延迟时反复执行。
如果需要估算文件数量,可以针对明确的业务目录执行:
sudo find /srv/data/app-cache -xdev -type f | wc -l
sudo find /srv/data/app-cache -xdev -type d | wc -l
不要直接对包含海量文件的整个生产根目录执行多次全量 find。文件数量本身不是故障结论,需要与 Metadata used 的增长趋势结合判断。
检查日志和已删除但仍被进程占用的文件
先查看 systemd journal 使用量:
sudo journalctl --disk-usage
再检查已经删除、但仍被进程打开的文件:
sudo lsof +L1 | grep '/srv/data\|/var/log'
如果日志文件已经被删除,但服务仍持有文件描述符,df -h 仍不会立即回收空间。此时应按照服务的无损重载或重启流程关闭文件描述符,而不是继续删除更多日志。重启服务前要确认连接中断、缓存丢失和主备切换影响。
在符合日志留存和审计要求的前提下,可以清理旧的归档 journal:
sudo journalctl --vacuum-size=1G
这个命令会删除旧日志,无法通过 Btrfs 命令直接回滚。生产环境应先确认日志已转存、业务不依赖本机旧日志,并根据保留策略选择 --vacuum-time 或 --vacuum-size,不要为了释放空间随意清空整个日志目录。
结果分支:该清理、扩容还是迁移
可以用下面的条件快速归类:

| 观察结果 | 优先方案 | 判断依据 | 主要风险 |
|---|---|---|---|
| 日志、缓存或无保留价值的快照短期增长,设备无 I/O 错误 | 受控清理 | 能明确指出可删除对象,删除后有预期回收空间 | 误删业务数据、破坏审计留存 |
| 元数据长期增长,底层设备仍可扩展 | 扩容 | Device unallocated 不足或业务容量仍会持续增加 | 扩容层级错误、容量未传递到 Btrfs |
| 有较多空闲块组,但元数据块组分配零散 | 小范围 balance | 使用率和设备延迟允许搬迁 | I/O 峰值、执行时间长、空间不足导致失败 |
| 底层设备出现错误、文件系统反复只读或无法在线扩展 | 迁移 | 需要更换介质或重新规划文件系统 | 迁移期间数据变化、权限和子卷语义丢失 |
报错为配额超限或 EDQUOT,而不是 ENOSPC | 检查 qgroup 配额 | 可能是配额限制,不是物理元数据不足 | 误做扩容,问题仍然存在 |
如果 btrfs quota status /srv/data 显示启用了配额,可以进一步查看:
sudo btrfs qgroup show /srv/data
只有错误明确指向配额限制时,才应沿着 qgroup 配额处理。不要为了消除普通 ENOSPC 盲目关闭配额或执行配额重扫。
低风险修复:先做受控清理和同步
清理确认无保留价值的内容
建议按以下顺序处理:
- 停止或限速持续写入缓存、临时文件和调试日志的服务。
- 核对目录归属、文件修改时间、备份状态和业务用途。
- 只删除已确认可以重建或已超过保留期的内容。
- 对快照使用快照管理工具或明确的子卷路径,不要把普通
rm -rf用在不了解结构的.snapshots目录上。 - 删除后等待事务完成,再观察元数据使用率。
查看快照后,确定某个子卷已经不再需要时,才考虑:
sudo btrfs subvolume delete /srv/data/.snapshots/<snapshot-name>
sudo btrfs subvolume sync /srv/data
sudo btrfs filesystem sync /srv/data
删除子卷属于破坏性操作,路径必须人工复核,重要快照应先复制到独立存储。Btrfs 子卷删除通常是异步回收,命令返回并不代表空间已经立即回收;如果其他快照仍引用相同 extent,释放空间也可能少于预期。
仅在条件满足时回收空元数据块组
如果检查确认设备健康、I/O 延迟正常,并且存在可回收的空块组,可以从最保守的 metadata balance 开始:
sudo btrfs balance start -musage=0 /srv/data
sudo btrfs balance status /srv/data
-musage=0 只选择使用率为零的元数据块组,通常比完整 balance 影响小。如果确实存在少量低使用率元数据块组,且有足够工作空间,可以谨慎提高阈值,例如:
sudo btrfs balance start -musage=5 /srv/data
不要一开始就执行不带过滤条件的:
sudo btrfs balance start /srv/data
完整 balance 可能搬迁大量数据和元数据,消耗很长时间,并且需要额外空间。执行期间应持续查看:
sudo btrfs balance status /srv/data
sudo btrfs filesystem usage -h /srv/data
iostat -xz 1 5
如果业务延迟明显升高,可以取消正在进行的 balance:
sudo btrfs balance cancel /srv/data
取消会保留已经完成的搬迁,不是事务级回滚,但文件系统应保持一致。不要在没有备份、设备错误或空间极度紧张时反复重启 balance。
扩容:解决持续增长,而不是掩盖故障
当日志和快照清理只能暂时缓解,且业务数据和小文件数量仍在增长时,扩容通常比周期性删除更可靠。
扩容前至少确认:
- 新增容量已经在云平台、阵列、虚拟磁盘或物理设备层完成;
lsblk能看到预期容量;findmnt确认的设备就是准备扩展的设备;- Btrfs 没有持续增长的 I/O、校验或只读错误;
- 已有可恢复备份;
- 业务能够承受在线扩容期间的少量延迟波动。
扩容完成后,使用前文的命令重新检查 Device size、Device unallocated 和 Metadata。如果设备已扩容,但 btrfs filesystem usage 仍没有变化,应回到分区、LVM 或设备重新扫描环节排查,不能连续重复执行 resize max。
扩容不能修复数据损坏、校验错误和错误的快照保留策略。如果元数据增长来自持续生成大量小文件,还应同步调整缓存目录、日志轮转、快照保留数量和应用写入模型。
针对Btrfs承载的数据库、业务后台、容器及文件存储场景,A5idc数据提供香港、美国、日本、新加坡等地区的物理服务器资源,覆盖NVMe、SSD、大容量HDD、AMD EPYC及Xeon等配置,可结合持续增长的数据规模、计算负载和访问区域构建扩容或迁移所需的硬件基础,并提供相应带宽与线路选择。
迁移:在介质异常或结构不适合扩展时止损
以下情况更适合迁移:
btrfs device stats错误持续增加;- 内核日志出现 I/O error、checksum error 或只读重挂载;
- 当前存储层不支持可靠在线扩展;
- 文件系统配置、冗余策略或快照规划已经不适合业务;
- 需要更换磁盘、云盘类型或存储节点。
如果源文件系统仍有足够元数据空间,并且需要保留 Btrfs 子卷和快照语义,可以使用只读快照配合 send/receive。以下路径是示例,实际子卷路径必须先通过 btrfs subvolume list 确认:
sudo btrfs subvolume snapshot -r /srv/data/@ /srv/data/@mig-ro
sudo btrfs send /srv/data/@mig-ro | sudo btrfs receive /mnt/newdata/
创建只读快照本身也需要元数据空间。如果源文件系统已经无法创建快照,应改用已有备份或普通文件级迁移,不要反复尝试创建快照。
迁移到新文件系统时,可以使用 rsync。首次复制不建议直接使用 --delete:
sudo rsync -aHAXS --numeric-ids --one-file-system \
/srv/data/ /mnt/newdata/
这里的参数分别用于保留权限、ACL、扩展属性、硬链接、稀疏文件和数字 UID/GID。源目录和目标目录必须再次核对,目标文件系统也应提前检查容量、挂载选项和权限支持。
业务停止写入后,可先进行一次演练式核对:
sudo rsync -aHAXSni --numeric-ids --one-file-system --delete \
/srv/data/ /mnt/newdata/
确认 dry-run 输出只包含预期差异后,再执行最终同步。--delete 会删除目标端多出的文件,误选目标路径可能造成数据丢失,因此必须保留源端数据,直到新文件系统完成抽样读取、权限验证和业务验收。
迁移完成后,不要立即销毁源文件系统。保留源端一段观察期,确认应用、定时任务、日志、备份和监控均已切换,再修改挂载配置或回收旧设备。
修复后的验证:不要只看 df -h
清理、扩容或迁移后,至少执行以下复测:
sudo btrfs filesystem sync /srv/data
df -hT /srv/data
df -ih /srv/data
sudo btrfs filesystem usage -h /srv/data
sudo btrfs device stats /srv/data
sudo btrfs balance status /srv/data
sudo journalctl -k -b --no-pager | grep -Ei 'btrfs|enospc|I/O error|checksum|readonly'
成功验证不只是“命令没有报错”,还应包括:
Metadata used与Metadata total之间重新形成可用余量;GlobalReserve不再持续逼近上限;Device unallocated或扩容后的设备容量符合预期;- 新文件、目录、临时文件和日志能够正常创建;
- 业务 I/O 延迟回到正常范围;
btrfs device stats没有新增错误;- 内核日志不再持续出现
ENOSPC、校验错误或只读重挂载。
可以根据业务写入速率设置趋势监控。例如,若元数据可用余量约为 10 GiB,过去一段时间平均每天增长 2 GiB,静态估算只剩约 5 天空间;但事务保留、快照突增和碎片都会缩短实际时间,因此不应等到理论耗尽前一天才扩容。
持续观察时,建议同时记录元数据使用率、设备未分配空间、快照数量、日志目录大小、重点目录文件数、I/O await 和设备错误计数。这样下一次出现“磁盘还有空间但无法写入”时,可以直接判断是增长过快、快照未释放、块组分配不足,还是底层设备已经不适合继续承载业务。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/6465.html



