Linux Btrfs元数据空间不足怎么办?如何判断清理、扩容还是迁移

发布人:A5数据发布时间:2026-10-29 15:18阅读量:126

当 Btrfs 报出 No space left on device、创建文件失败或服务日志中出现 metadata ENOSPC 时,df -h 仍可能显示有几十 GB 可用。这通常不是普通数据空间耗尽,而是 Btrfs 用于保存 inode、目录项、扩展树、校验信息、快照引用和延迟回收信息的元数据块组无法继续分配。

处理顺序不应是直接删除文件或执行完整 balance。先确认是元数据块组、底层设备、快照与日志增长,还是 I/O 故障;再根据证据选择清理、扩容或迁移。一般来说,短期增长且存储健康时优先清理,设备仍有业务增长空间时扩容,底层介质异常或在线扩展受限时迁移。

先确认:到底是哪一种空间不足

查看挂载点和文件系统类型

以下命令适用于常见 Linux 发行版,需要将 /srv/data 替换为实际挂载点:

findmnt -no SOURCE,FSTYPE,OPTIONS,TARGET --target /srv/data
df -hT /srv/data
df -ih /srv/data
lsblk -o NAME,TYPE,SIZE,FSTYPE,MOUNTPOINTS,UUID

预期结果是 FSTYPE 为 btrfs,并且能够看到实际后端设备。df -hT 用于观察逻辑文件空间,df -ih 可以辅助观察文件数量,但 Btrfs 没有 ext4 那种固定大小的 inode 表,因此 df -i 不是判断 Btrfs 元数据耗尽的主要依据。

如果 findmnt 显示的是 /dev/mapper/...,说明可能位于 LVM 上;如果显示多个设备,则可能是 Btrfs 多设备文件系统。后续扩容方式不同,不能只根据挂载目录判断。

查看 Data、Metadata 和设备未分配空间

sudo btrfs filesystem usage -h /srv/data
sudo btrfs filesystem df -h /srv/data
sudo btrfs filesystem show /srv/data

重点观察以下几类数据:

  • Data:普通文件内容占用的块组。
  • Metadata:inode、目录、文件范围、快照引用、校验树等所使用的块组。
  • System:文件系统自身的系统块组。
  • GlobalReserve:Btrfs 为处理元数据事务保留的空间。
  • Device unallocated:底层设备尚未分配给任何 Btrfs 块组的空间。
  • Metadata,DUP、Metadata,RAID1 等配置:元数据冗余策略会影响实际消耗。

下面是便于理解的模拟输出,不代表已经在读者环境执行过:

先确认:到底是哪一种空间不足配图

Data, single: total=780.00GiB, used=620.00GiB
Metadata, DUP: total=16.00GiB, used=15.80GiB
System, DUP: total=8.00MiB, used=144.00KiB
GlobalReserve, single: total=512.00MiB, used=480.00MiB
Device size: 1.00TiB
Device allocated: 796.01GiB
Device unallocated: 227.99GiB

这个例子中,df -h 可能仍显示一定可用空间,但元数据已经接近分配上限。Metadata,DUP 表示单设备上保存两份元数据副本,并不代表有两块物理磁盘;在元数据密集型场景下,其空间消耗会高于 single 配置。

如果 Device unallocated 仍较大,但元数据块组已经接近满载,可能存在快照引用、海量小文件、事务积压或块组碎片问题。如果 Device unallocated 接近零,则扩容或增加设备的优先级更高。

检查内核日志和设备错误

sudo journalctl -k -b --no-pager | grep -Ei 'btrfs|enospc|I/O error|checksum|readonly'
sudo btrfs device stats /srv/data

如果出现以下信息,应先把问题按存储故障处理,而不是马上 balance:

  • I/O error
  • uncorrectable
  • checksum error
  • 文件系统被重新挂载为只读
  • 设备统计中的读、写或校验错误持续增加

btrfs device stats 是累计计数,历史上曾出现过非零值不一定代表当前仍在增长。可以记录一次结果,经过一段读写压力后再次查看,比较计数是否变化。

从外到内排查:容量、I/O、inode 和增长源

先排除底层设备或虚拟磁盘没有真正扩容

如果业务运行在虚拟机、云主机、LVM 或硬件阵列上,平台侧显示磁盘扩大,并不等于分区、逻辑卷和 Btrfs 都已经识别到新空间。

可以先查看设备层级:

lsblk -o NAME,TYPE,SIZE,FSTYPE,MOUNTPOINTS
sudo btrfs filesystem show /srv/data

若 Btrfs 的 Device size 没有变化,先不要执行 btrfs filesystem resize。应按实际拓扑完成以下层级的扩展:

从外到内排查:容量、I/O、inode 和增长源配图

  1. 云平台或虚拟化平台扩大虚拟磁盘。
  2. 让操作系统重新识别设备容量。
  3. 扩大分区,或者扩大 LVM 物理卷和逻辑卷。
  4. 最后让 Btrfs 使用新增空间。

LVM 场景中,确认卷组有足够空闲 extents、设备路径无误后,示例命令如下:

sudo lvextend -L +20G /dev/vg_data/lv_btrfs
sudo btrfs filesystem resize max /srv/data

/dev/vg_data/lv_btrfs 只是示例路径。执行 lvextend 前必须通过 findmnt、lvs 和 lsblk 三方核对,不能把设备名直接照搬。扩容通常没有简单的“撤销”操作,错误选择逻辑卷可能造成严重后果;应先有可恢复备份,并把新增容量视为不可回滚的变更。

如果使用的是直接分区,分区扩展工具和操作步骤取决于分区表、设备类型及上层存储,不能用统一命令替代核验。确认设备已经扩大后,通常只需执行:

sudo btrfs filesystem resize max /srv/data
sudo btrfs filesystem usage -h /srv/data

如果是多设备 Btrfs,可以考虑添加一块已确认为空且设备路径正确的新设备:

sudo btrfs device add /dev/NEW_DEVICE /srv/data
sudo btrfs filesystem usage -h /srv/data

添加设备会改变文件系统结构,不能把它当成临时挂载。新设备必须经过容量、序列号、分区和文件系统类型核对;不要对含有重要数据的设备随意使用强制参数。添加后,现有数据和元数据不一定立即均匀分布,是否需要后续重新分配要根据使用率、冗余策略和 I/O 能力决定。

检查 I/O 延迟是否已经成为主要问题

元数据紧张时,事务提交、快照删除、目录操作和空间回收都可能变慢。此时如果直接启动大范围 balance,可能进一步放大延迟。

iostat -xz 1 5
vmstat 1 5

重点观察:

  • await 是否持续升高;
  • %util 是否长期接近 100%;
  • vmstat 中的 wa 是否明显偏高;
  • 系统是否伴随内存回收、磁盘队列堆积或进程 D 状态。

如果只是元数据使用率高,但设备延迟正常,可以继续检查增长源。如果同时存在高延迟和设备错误,优先备份或迁移,暂缓 balance、全量 scrub 和大规模删除。

检查小文件、目录项和快照

Btrfs 没有传统意义上的“inode 用完就不能创建文件”这一固定上限,但大量小文件、深层目录、频繁改名、容器层文件和快照引用都会增加元数据压力。

先查看子卷:

sudo btrfs subvolume list -t /srv/data

再对重点目录进行空间分析:

sudo du -xhd1 /srv/data 2>/dev/null | sort -h
sudo btrfs filesystem du -s /srv/data

du 适合发现普通目录中的数据增长,但对快照共享 extent 的解释有限;btrfs filesystem du 能提供共享和独占空间信息,不过遍历大量文件时会产生额外 I/O,不建议在高延迟时反复执行。

如果需要估算文件数量,可以针对明确的业务目录执行:

sudo find /srv/data/app-cache -xdev -type f | wc -l
sudo find /srv/data/app-cache -xdev -type d | wc -l

不要直接对包含海量文件的整个生产根目录执行多次全量 find。文件数量本身不是故障结论,需要与 Metadata used 的增长趋势结合判断。

检查日志和已删除但仍被进程占用的文件

先查看 systemd journal 使用量:

sudo journalctl --disk-usage

再检查已经删除、但仍被进程打开的文件:

sudo lsof +L1 | grep '/srv/data\|/var/log'

如果日志文件已经被删除,但服务仍持有文件描述符,df -h 仍不会立即回收空间。此时应按照服务的无损重载或重启流程关闭文件描述符,而不是继续删除更多日志。重启服务前要确认连接中断、缓存丢失和主备切换影响。

在符合日志留存和审计要求的前提下,可以清理旧的归档 journal:

sudo journalctl --vacuum-size=1G

这个命令会删除旧日志,无法通过 Btrfs 命令直接回滚。生产环境应先确认日志已转存、业务不依赖本机旧日志,并根据保留策略选择 --vacuum-time 或 --vacuum-size,不要为了释放空间随意清空整个日志目录。

结果分支:该清理、扩容还是迁移

可以用下面的条件快速归类:

结果分支:该清理、扩容还是迁移配图

观察结果优先方案判断依据主要风险
日志、缓存或无保留价值的快照短期增长,设备无 I/O 错误受控清理能明确指出可删除对象,删除后有预期回收空间误删业务数据、破坏审计留存
元数据长期增长,底层设备仍可扩展扩容Device unallocated 不足或业务容量仍会持续增加扩容层级错误、容量未传递到 Btrfs
有较多空闲块组,但元数据块组分配零散小范围 balance使用率和设备延迟允许搬迁I/O 峰值、执行时间长、空间不足导致失败
底层设备出现错误、文件系统反复只读或无法在线扩展迁移需要更换介质或重新规划文件系统迁移期间数据变化、权限和子卷语义丢失
报错为配额超限或 EDQUOT,而不是 ENOSPC检查 qgroup 配额可能是配额限制,不是物理元数据不足误做扩容,问题仍然存在

如果 btrfs quota status /srv/data 显示启用了配额,可以进一步查看:

sudo btrfs qgroup show /srv/data

只有错误明确指向配额限制时,才应沿着 qgroup 配额处理。不要为了消除普通 ENOSPC 盲目关闭配额或执行配额重扫。

低风险修复:先做受控清理和同步

清理确认无保留价值的内容

建议按以下顺序处理:

  1. 停止或限速持续写入缓存、临时文件和调试日志的服务。
  2. 核对目录归属、文件修改时间、备份状态和业务用途。
  3. 只删除已确认可以重建或已超过保留期的内容。
  4. 对快照使用快照管理工具或明确的子卷路径,不要把普通 rm -rf 用在不了解结构的 .snapshots 目录上。
  5. 删除后等待事务完成,再观察元数据使用率。

查看快照后,确定某个子卷已经不再需要时,才考虑:

sudo btrfs subvolume delete /srv/data/.snapshots/<snapshot-name>
sudo btrfs subvolume sync /srv/data
sudo btrfs filesystem sync /srv/data

删除子卷属于破坏性操作,路径必须人工复核,重要快照应先复制到独立存储。Btrfs 子卷删除通常是异步回收,命令返回并不代表空间已经立即回收;如果其他快照仍引用相同 extent,释放空间也可能少于预期。

仅在条件满足时回收空元数据块组

如果检查确认设备健康、I/O 延迟正常,并且存在可回收的空块组,可以从最保守的 metadata balance 开始:

sudo btrfs balance start -musage=0 /srv/data
sudo btrfs balance status /srv/data

-musage=0 只选择使用率为零的元数据块组,通常比完整 balance 影响小。如果确实存在少量低使用率元数据块组,且有足够工作空间,可以谨慎提高阈值,例如:

sudo btrfs balance start -musage=5 /srv/data

不要一开始就执行不带过滤条件的:

sudo btrfs balance start /srv/data

完整 balance 可能搬迁大量数据和元数据,消耗很长时间,并且需要额外空间。执行期间应持续查看:

sudo btrfs balance status /srv/data
sudo btrfs filesystem usage -h /srv/data
iostat -xz 1 5

如果业务延迟明显升高,可以取消正在进行的 balance:

sudo btrfs balance cancel /srv/data

取消会保留已经完成的搬迁,不是事务级回滚,但文件系统应保持一致。不要在没有备份、设备错误或空间极度紧张时反复重启 balance。

扩容:解决持续增长,而不是掩盖故障

当日志和快照清理只能暂时缓解,且业务数据和小文件数量仍在增长时,扩容通常比周期性删除更可靠。

扩容前至少确认:

  • 新增容量已经在云平台、阵列、虚拟磁盘或物理设备层完成;
  • lsblk 能看到预期容量;
  • findmnt 确认的设备就是准备扩展的设备;
  • Btrfs 没有持续增长的 I/O、校验或只读错误;
  • 已有可恢复备份;
  • 业务能够承受在线扩容期间的少量延迟波动。

扩容完成后,使用前文的命令重新检查 Device size、Device unallocated 和 Metadata。如果设备已扩容,但 btrfs filesystem usage 仍没有变化,应回到分区、LVM 或设备重新扫描环节排查,不能连续重复执行 resize max。

扩容不能修复数据损坏、校验错误和错误的快照保留策略。如果元数据增长来自持续生成大量小文件,还应同步调整缓存目录、日志轮转、快照保留数量和应用写入模型。

针对Btrfs承载的数据库、业务后台、容器及文件存储场景,A5idc数据提供香港、美国、日本、新加坡等地区的物理服务器资源,覆盖NVMe、SSD、大容量HDD、AMD EPYC及Xeon等配置,可结合持续增长的数据规模、计算负载和访问区域构建扩容或迁移所需的硬件基础,并提供相应带宽与线路选择。

迁移:在介质异常或结构不适合扩展时止损

以下情况更适合迁移:

  • btrfs device stats 错误持续增加;
  • 内核日志出现 I/O error、checksum error 或只读重挂载;
  • 当前存储层不支持可靠在线扩展;
  • 文件系统配置、冗余策略或快照规划已经不适合业务;
  • 需要更换磁盘、云盘类型或存储节点。

如果源文件系统仍有足够元数据空间,并且需要保留 Btrfs 子卷和快照语义,可以使用只读快照配合 send/receive。以下路径是示例,实际子卷路径必须先通过 btrfs subvolume list 确认:

sudo btrfs subvolume snapshot -r /srv/data/@ /srv/data/@mig-ro
sudo btrfs send /srv/data/@mig-ro | sudo btrfs receive /mnt/newdata/

创建只读快照本身也需要元数据空间。如果源文件系统已经无法创建快照,应改用已有备份或普通文件级迁移,不要反复尝试创建快照。

迁移到新文件系统时,可以使用 rsync。首次复制不建议直接使用 --delete:

sudo rsync -aHAXS --numeric-ids --one-file-system \
  /srv/data/ /mnt/newdata/

这里的参数分别用于保留权限、ACL、扩展属性、硬链接、稀疏文件和数字 UID/GID。源目录和目标目录必须再次核对,目标文件系统也应提前检查容量、挂载选项和权限支持。

业务停止写入后,可先进行一次演练式核对:

sudo rsync -aHAXSni --numeric-ids --one-file-system --delete \
  /srv/data/ /mnt/newdata/

确认 dry-run 输出只包含预期差异后,再执行最终同步。--delete 会删除目标端多出的文件,误选目标路径可能造成数据丢失,因此必须保留源端数据,直到新文件系统完成抽样读取、权限验证和业务验收。

迁移完成后,不要立即销毁源文件系统。保留源端一段观察期,确认应用、定时任务、日志、备份和监控均已切换,再修改挂载配置或回收旧设备。

修复后的验证:不要只看 df -h

清理、扩容或迁移后,至少执行以下复测:

sudo btrfs filesystem sync /srv/data
df -hT /srv/data
df -ih /srv/data
sudo btrfs filesystem usage -h /srv/data
sudo btrfs device stats /srv/data
sudo btrfs balance status /srv/data
sudo journalctl -k -b --no-pager | grep -Ei 'btrfs|enospc|I/O error|checksum|readonly'

成功验证不只是“命令没有报错”,还应包括:

  • Metadata used 与 Metadata total 之间重新形成可用余量;
  • GlobalReserve 不再持续逼近上限;
  • Device unallocated 或扩容后的设备容量符合预期;
  • 新文件、目录、临时文件和日志能够正常创建;
  • 业务 I/O 延迟回到正常范围;
  • btrfs device stats 没有新增错误;
  • 内核日志不再持续出现 ENOSPC、校验错误或只读重挂载。

可以根据业务写入速率设置趋势监控。例如,若元数据可用余量约为 10 GiB,过去一段时间平均每天增长 2 GiB,静态估算只剩约 5 天空间;但事务保留、快照突增和碎片都会缩短实际时间,因此不应等到理论耗尽前一天才扩容。

持续观察时,建议同时记录元数据使用率、设备未分配空间、快照数量、日志目录大小、重点目录文件数、I/O await 和设备错误计数。这样下一次出现“磁盘还有空间但无法写入”时,可以直接判断是增长过快、快照未释放、块组分配不足,还是底层设备已经不适合继续承载业务。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/6465.html

相关推荐