Linux Btrfs压缩如何影响磁盘占用与读写,怎样检查文件是否实际压缩
Btrfs 开启压缩后,磁盘占用不一定立刻下降,读写速度也不一定同时变快:挂载时设置压缩选项,通常只影响之后写入的数据;已经存在的文件不会因此自动改写。要判断压缩是否生效,不能只看挂载参数或 compression 属性,还要检查文件实际使用的 extent。对于文件级核验,compsize 通常比文件逻辑大小或 df 输出更有参考价值。
概念边界:配置压缩不等于文件已经压缩
Btrfs 的透明压缩发生在文件数据写入文件系统时。应用程序仍然读写原始内容,压缩和解压由文件系统在后台处理;应用一般无需知道磁盘上保存的是压缩数据。
需要区分三件事:
- 启用压缩策略:挂载选项或文件属性指定以后写入的数据尝试使用哪种压缩算法。
- 文件是否实际压缩:某个文件的数据 extent 是否以压缩形式存储。
- 文件系统占用了多少空间:除了文件数据,还包括元数据、校验和、空闲空间、RAID 配置及快照共享等因素。
因此,compress=zstd 说明文件系统采用了相应策略,不代表卷上所有文件都已压缩;ls -lh 显示的仍是文件逻辑长度,也不能用来判断磁盘实际占用。反过来,即使挂载时没有压缩选项,文件系统里也可能存在此前压缩写入的数据。
工作机制:压缩如何改变占用与读写
写入时压缩,读取时解压
写入数据时,Btrfs 根据压缩策略对数据进行尝试压缩,并将压缩后的内容保存为相应 extent。读取时则由文件系统解压,再把原始数据交给应用。因此,文件内容和目录中显示的逻辑大小不变,变化的是底层数据 extent 的存储方式。

以一个逻辑大小为 1 GiB 的文件为例,若其内容较易压缩,假设压缩后数据约为 600 MiB,那么数据部分的占用可能接近这一量级,而非完整的 1 GiB。这个例子只用于说明机制,不代表固定压缩比例。文件系统元数据、数据校验和、分配粒度及 RAID 副本等还会影响实际设备空间。
压缩通常以 extent 为单位发生。同一个文件可能有的部分压缩、有的部分未压缩;文件被局部修改后,新写入的数据也可能与旧 extent 使用不同状态。因此,不能只根据某个文件的扩展名、文件整体大小或单一挂载参数推断每段数据的存储方式。
为什么有时能省空间,有时几乎不变
文本、日志、未压缩的结构化数据往往包含重复模式,通常较容易压缩。JPEG、已经压缩的视频、压缩包、加密数据和随机数据则通常难以进一步缩小。Btrfs 的压缩启发式会尝试避免对已知难压缩的数据反复做无效工作;compress-force 可以绕过这类启发式,但不意味着任何数据都能变小。
如果压缩后的数据没有节省空间,收益可能很有限,个别场景还会增加 CPU 工作量。因此,不能仅凭“使用了 Zstd”判断文件一定占用更少空间。压缩算法和级别也会影响 CPU 消耗、压缩率及处理速度,实际效果取决于数据类型和系统负载。
读写速度为何可能变快,也可能变慢
压缩会增加 CPU 处理,但能减少需要从设备读取或写入的数据量。若存储设备吞吐较低、CPU 仍有余量,减少 I/O 数据量可能使读写更快;若 CPU 已成为瓶颈,或数据本身难压缩,压缩和解压反而可能增加延迟。

举例来说,读取可压缩数据时,设备只需传输较少的压缩数据,再由 CPU 解压。若设备吞吐受限,这种方式可能有利;若设备很快而 CPU 较忙,节省的传输时间可能抵不过解压时间。写入同理:压缩减少写入量,但需要先消耗 CPU 进行压缩。
性能测试应使用接近实际的数据和工作负载,并区分冷缓存与热缓存、顺序与随机访问。重复读取同一文件时,页缓存可能让数据大部分来自内存,测试结果便不再能直接代表磁盘读性能。
影响因素:压缩率不等于设备空间节省比例
以下因素会使“文件压缩率”和“磁盘占用变化”不完全一致:
| 因素 | 对结果的影响 |
|---|---|
| 文件内容 | 重复度高的数据通常更容易压缩;已压缩或随机数据收益较小 |
| 新旧数据混合 | 挂载压缩策略通常只影响后续写入,旧 extent 可能保持原状 |
| 文件修改方式 | 局部改写可能只更新部分 extent,单个文件可同时包含压缩与未压缩数据 |
| 元数据与校验和 | 压缩文件数据不会按同一比例减少这些开销 |
| 快照与共享 extent | 多个快照可能共享数据;文件逻辑大小之和不等于独占物理占用 |
| RAID 配置与分配状态 | 镜像等配置会增加设备层占用;已分配空间也不等同于当前有效文件数据 |
尤其要注意,df、du 和 Btrfs 的空间统计回答的问题并不相同。df 主要展示文件系统层面的容量与可用空间;普通 du 常按文件逻辑大小汇总;Btrfs 还涉及共享 extent、快照和配置文件。它们都不能单独替代文件级压缩检查。
验证方法:检查策略,再检查实际 extent
1. 确认目标路径所在文件系统及挂载参数
先检查文件实际所在的挂载点,避免误查到父目录或另一个子卷:
findmnt -T /data/example.bin -o TARGET,FSTYPE,OPTIONS
输出中如果包含类似 compress=zstd,说明该挂载点当前采用了压缩策略。若没有看到相关选项,不能据此断定文件里没有压缩数据:已有 extent 可能来自此前的压缩写入,文件属性也可能影响后续写入行为。
可以查看路径对应的 Btrfs compression 属性:
btrfs property get /data/example.bin compression
属性显示的是该对象的压缩设置,不是对已有文件数据的压缩率证明。不同发行版所带的 btrfs-progs 版本及属性支持情况可能有差异;如果命令不支持或没有返回该属性,应结合挂载参数和实际 extent 检查,不要把“查不到属性”解释成“文件没有压缩”。
2. 用 compsize 查看文件实际压缩情况
compsize 可以按文件或目录汇总 Btrfs extent 的压缩情况。各发行版的包名和安装方式不同,可先在系统软件源中查找该工具。检查单个文件或一批文件时,可执行:

compsize /data/example.bin
compsize /data/logs
工具通常会给出逻辑数据量、压缩后数据量、比例,以及不同压缩算法或未压缩数据的统计。以下为便于说明的假设结果:
| 对象 | 逻辑数据量 | 压缩后数据量 | 如何解读 |
|---|---|---|---|
| 文本日志目录 | 2.0 GiB | 0.9 GiB | 数据 extent 有明显压缩,整体比例仍不代表设备最终占用 |
| 视频文件 | 4.0 GiB | 3.9 GiB | 压缩收益很小,可能主要是难压缩内容 |
| 混合数据目录 | 3.0 GiB | 2.2 GiB | 目录中可能同时含压缩与未压缩 extent |
这里的数字是示例,不是实测数据。判断时重点看逻辑数据量与压缩后数据量的差异,以及是否存在未压缩数据;不要把工具报告的比例直接当作整个文件系统释放空间的比例。目录结果也可能受扫描范围、共享数据及工具版本影响。
3. 区分“已设置压缩”与“旧文件已经改写”
如果文件创建后才启用压缩,单查挂载参数无法让旧内容变成压缩 extent。要让旧数据采用新的压缩策略,需要实际重写数据。Btrfs 提供文件系统整理命令,可在支持的 btrfs-progs 版本中指定压缩算法,例如:

btrfs filesystem defragment -v -czstd /data/example.bin
对目录递归处理时可使用 -r,但不宜不加评估地对整个卷执行。整理会重写文件 extent,可能产生明显 I/O 和空间压力;对于已有快照的数据,还可能打破 extent 共享关系,使快照占用增加。执行前应确认备份、剩余空间和业务 I/O 窗口,并先用少量代表性文件测试。操作后再用 compsize 检查,才能确认实际结果。具体选项应以系统中 btrfs filesystem defragment --help 的说明为准。
4. 用其他统计工具时明确它们的边界
btrfs filesystem usage 适合查看文件系统级别的分配和使用情况,但不能说明某个文件的压缩比例。btrfs filesystem du 可用于观察文件或子卷的总量、独占量与共享量,帮助理解快照和共享 extent;它也不是压缩状态的直接证明。ls -l 和普通 du 更不适合单独判断 Btrfs 文件数据是否已压缩。
比较压缩前后的容量时,应尽量保持统计范围一致,并区分逻辑数据、压缩后的 extent 数据和设备分配空间。若有快照或冗余配置,系统级占用变化可能与文件级压缩结果不成比例。
适用限制:压缩不是所有负载的默认收益
Btrfs 压缩更适合 CPU 有余量、数据可压缩且存储 I/O 成本较高的场景,例如日志、文本和部分数据库导出文件。对已经压缩、加密或高随机度的数据,空间收益可能有限;对 CPU 紧张或对尾延迟敏感的负载,压缩与解压也可能带来额外开销。若启用 compress-force,应通过实际数据验证收益,而不是把它当作提高压缩率的无条件开关。
可靠的判断顺序是:先确认目标路径的挂载和属性策略,再用 compsize 检查实际 extent;若旧文件未压缩,评估重写带来的 I/O、空间和快照成本后再决定是否整理。最后用相同范围的文件级和文件系统级统计分别观察结果。挂载参数说明“打算怎样写”,文件 extent 才能说明“实际怎样存”,两者不能互相替代。
A5idc数据提供面向Linux文件系统与数据存储场景的物理服务器资源,香港、美国、日本等地区均有配备SSD或NVMe的服务器方案,可承载日志、数据库、业务文件及容器等持续读写负载;针对大容量备份与归档,也提供企业级机械硬盘存储服务器。结合不同CPU、内存、磁盘和网络配置,能够为Btrfs压缩相关的数据存储与I/O应用提供相应的硬件基础。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/8211.html



