Linux Btrfs压缩如何影响磁盘占用与读写性能,怎样验证实际效果?
Btrfs 开启压缩后,磁盘占用可能下降,读写速度却不一定同时提高:可压缩的数据能以更少的物理空间存放,但压缩和解压也会消耗 CPU。压缩效果取决于文件内容、存储设备和负载类型,不能只看挂载参数或一次顺序读写测试。
判断是否值得启用,至少要分别验证两件事:数据实际缩小了多少,以及目标工作负载的读写性能发生了什么变化。前者可通过 compsize 等工具观察已存数据的逻辑大小和实际占用,后者需要用接近真实数据和访问方式的测试对照。
压缩改变的是什么
Btrfs 压缩是文件系统透明处理数据的机制。应用通常仍按原有逻辑大小读写文件;Btrfs 在写入时尝试压缩数据,读取时再解压交给应用。应用不需要自行维护压缩包,文件路径和内容的逻辑表现也不因挂载压缩选项而改变。

因此,压缩率不是文件大小在应用层的变化,而是逻辑数据量与其磁盘占用的差异。例如,文件逻辑大小为 10 GiB,压缩后相关数据占用约 6 GiB,粗略压缩比就是 10 ÷ 6,约为 1.67:1;相对逻辑大小节省约 40%。这是对数据的估算,不代表整个文件系统可用空间也会增加 40%。
文件系统中还存在元数据、校验信息及其他文件的数据;快照、数据冗余配置和文件系统分配粒度也会影响整体占用。特别是有快照或共享数据块时,不能把某个文件的压缩节省直接等同于整个存储池的空间变化。
写入和读取时发生的机制
写入:先尝试压缩,再看数据是否值得压缩
写入采用压缩选项时,Btrfs 会对数据进行压缩尝试。文本、日志、未压缩的数据库导出文件等通常有较多重复内容,可能明显缩小;JPEG、视频、压缩包、已加密文件等往往难以进一步压缩,节省有限。对无法有效压缩的数据,文件系统可能改用不压缩的形式存储,避免为几乎没有收益的数据持续付出处理成本。具体行为受内核版本、压缩算法和挂载选项影响。
压缩会增加写入路径上的 CPU 工作。如果原本瓶颈是磁盘吞吐,减少写入的物理数据量可能缩短等待时间;如果 CPU 已经繁忙,压缩计算反而可能降低写入速度。对小文件或随机小块更新,元数据和访问开销也可能比压缩收益更显著。
读取:少读数据,但要解压
读取压缩数据时,Btrfs 需要先从存储设备取回压缩后的数据,再解压供应用使用。慢速或受限的存储设备可能因物理读取量减少而受益;低延迟 NVMe 设备则可能已经能快速提供数据,此时解压 CPU 开销可能抵消甚至超过节省的 I/O 时间。
所以,不能简单认为“压缩必然让读取更快”或“压缩必然拖慢读取”。同一份压缩数据,在机械盘、SSD、NVMe 和不同 CPU 上的表现可能不同;顺序读写结果也不一定能代表数据库随机访问或日志持续写入的表现。
算法与选项的作用范围
常见算法包括 zlib、LZO 和 Zstandard(zstd),可用算法和参数支持情况与系统内核及 Btrfs 工具版本有关。算法通常是在压缩率、CPU 开销和处理速度之间取舍;不能仅凭算法名称推断某台机器上的实际性能。
挂载参数中的 compress=zstd 表示请求使用相应压缩策略;compress-force 则会更积极地尝试压缩,包括对某些通常不易压缩的数据。强制尝试不等于保证得到更小文件,也可能增加无效的 CPU 工作。启用压缩通常不会自动把文件系统里已有的所有数据重新压缩:已有数据要在后续写入或经过专门重写处理后,才可能按新的策略重新存放。因此,刚开启参数后立刻检查旧文件,可能看不到预期变化。
| 条件 | 磁盘占用的可能变化 | 性能上需要关注 |
|---|---|---|
| 日志、文本、未压缩的结构化数据 | 通常较有压缩空间 | CPU 是否有余量,写入是否受存储吞吐限制 |
| 已压缩媒体、加密数据、压缩包 | 通常节省有限 | 强制压缩是否增加无效计算 |
| 慢速存储、以顺序 I/O 为主 | 减少物理读写可能带来收益 | 读取和写入是否确实受存储带宽限制 |
| 快速 NVMe、CPU 已繁忙 | 空间仍可能节省 | 解压或压缩开销是否成为瓶颈 |
| 小文件或频繁随机更新 | 收益依数据内容和更新方式而异 | 元数据、延迟和 CPU 负载不能被顺序测试替代 |
如何验证实际空间和性能
先确认挂载参数和工具
以下命令用于观察目标挂载点。把 /mnt/data 换成实际 Btrfs 挂载路径:
findmnt -no SOURCE,FSTYPE,OPTIONS /mnt/data
btrfs filesystem usage /mnt/data
findmnt 可确认挂载文件系统类型及当前可见选项;btrfs filesystem usage 用于查看文件系统空间使用情况。它们不能单独回答某个文件的数据究竟压缩了多少。
可以先检查系统是否已有 compsize:
command -v compsize
若未安装,应按当前发行版的软件包说明安装。compsize 可按压缩类型汇总已处理文件的数据大小、占用及比例。扫描目录时,建议使用有代表性的业务目录,而不是只挑一两个容易压缩的文件:
sudo compsize /mnt/data
输出中的逻辑数据量和磁盘占用可用于判断压缩情况。不同版本的输出格式可能略有差别,应以本机帮助信息为准。扫描范围也很重要:只检查少量文本,不能代表目录中大量视频或数据库文件的整体压缩率。
如果刚启用压缩,优先检查之后新写入、确实经过压缩策略处理的数据。旧文件未被重写时仍可能保持原来的存储形式。需要比较不同策略时,应使用隔离的测试目录和新文件,避免把已有文件状态误认为新策略的效果。
再用代表性数据对比读写
性能测试应在不影响生产业务的独立测试目录或测试文件系统上进行。测试文件可能占用大量空间并产生实际写入;运行前确认剩余容量充足、目标路径正确,并避免覆盖业务数据。不要只用全零数据做结论:它极易压缩,不能代表一般文件。
可选取几类业务代表样本,例如日志、文本数据、已压缩媒体和应用实际生成的数据。分别在压缩策略启用与未启用的环境中写入新样本,再用 compsize 检查空间占用,并用 fio 按真实访问模式测试。若要对比两种策略,尽量保持设备、文件大小、并发数、测试时长和系统负载一致;同时确认测试样本确实按各自策略新写入,而不是重复读取已有文件。
下面是一个顺序写入示例。路径应指向专用测试目录,文件名不得与现有文件冲突:
fio --name=seq-write \
--filename=/mnt/data-test/fio-test.bin \
--size=4G \
--rw=write \
--bs=1M \
--ioengine=sync \
--direct=0 \
--end_fsync=1
示例使用缓冲 I/O,最后要求同步写入完成;它可以帮助观察特定条件下的写入表现,但不等于所有应用的性能。测试文件如果小于可用内存,缓存可能使结果偏离存储设备的持续吞吐;首次写入、后续读取和系统后台任务也会影响结果。读取测试同样要注意缓存,避免把内存缓存命中误当成磁盘读取速度。
更可靠的对照方式是分别记录以下指标:
compsize报告的逻辑数据量与实际占用,用于比较空间收益。fio的带宽、IOPS 和延迟,用于比较指定访问模式下的性能。- 测试期间 CPU 使用率及设备 I/O 情况,用于判断瓶颈是否从存储转移到 CPU,或相反。
- 代表性业务任务的完成时间或持续处理能力,用于确认微基准结果是否能映射到实际负载。
例如,某个假设测试目录包含 20 GiB 逻辑数据,检查后实际数据占用约 12 GiB,则该目录数据的估算节省比例约为 (20 - 12) ÷ 20 = 40%。如果顺序写入带宽提高,但 CPU 使用率明显上升,仍需看这是否影响同机的其他任务;如果占用下降而应用延迟变差,也不能仅凭空间收益判定压缩适合当前业务。
结果怎么判断,哪些情况不适合直接套用
压缩是否有效,应分别看空间、性能和业务目标:
- 空间收益明显,业务性能稳定:对容量受限且 CPU 有余量的负载,压缩可能有实际价值。
- 空间收益明显,但延迟或 CPU 消耗上升:需要判断可接受的性能代价;数据库、在线服务等低延迟业务应优先以真实负载验证。
- 空间收益很少,CPU 消耗增加:数据可能本身已压缩或难以压缩,不宜仅为“开启了压缩”而假定有收益。
- 压缩率不错,性能却没有变化:可能是测试未触及存储瓶颈,也可能是压缩节省的 I/O 被计算开销抵消;此时检查 CPU、设备利用率和测试数据是否代表业务。
还要注意,压缩不是备份,也不提供数据加密或冗余保护。文件系统级压缩不能替代独立备份;空间统计还可能受到快照、共享数据块和冗余配置影响。测试时应区分“某个目录的数据占用减少”和“文件系统整体可用空间增加”,两者不是同一个指标。
判断边界很明确:用代表性新数据和 compsize 验证空间变化,用与业务接近的 I/O 测试验证性能变化,再结合 CPU 和存储负载解释原因。若样本类型、缓存条件、测试设备或写入策略不同,测试结果就不能直接外推到整个文件系统或其他业务负载。
Btrfs 压缩所涉及的存储与读写负载,也与服务器的磁盘类型、CPU和业务数据规模有关。A5idc数据提供香港、美国、日本等地区的物理服务器,涵盖 NVMe、SSD 及大容量 HDD 存储方案,并有不同 CPU 与内存配置,可用于承载网站、数据库、业务后台和文件存储等场景。多地区资源与多种存储组合,为不同数据规模和运行负载的业务提供了部署选择。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/7551.html



