Linux稀疏文件为什么显示大小与实际占用不同,怎样确认磁盘空间?

发布人:A5数据发布时间:2026-11-05 09:32阅读量:91

Linux中,稀疏文件的“文件大小”和“实际占用空间”本来就可能是两个不同数值。例如,一个文件可以显示为 1 TB,但在文件系统中只分配了几 MB,甚至几乎没有分配数据块。ls -lh 通常显示的是逻辑大小,而 du -h 更接近文件已经占用的文件系统空间;要确认整个磁盘还剩多少空间,则应查看 df -h。

因此,“实际占用”不能只用一个命令判断。需要先区分文件的逻辑长度、已经分配的数据块,以及整个文件系统的已用和可用空间,再根据场景选择验证方法。

先区分三个容易混淆的数值

逻辑大小:文件对外表现出来的长度

逻辑大小是文件从起始位置到文件末尾的长度,Linux 内核中对应文件的 st_size 属性。

例如,文件的最后一个有效位置位于 1 TB 附近,即使中间大部分区域没有真正保存数据,文件的逻辑大小仍然可以是 1 TB。常见的查看方式包括:

ls -lh /data/demo.img
stat --printf='logical_size=%s bytes\n' -- /data/demo.img

ls -lh 输出中的文件大小列,以及 stat 的 Size,通常都表示逻辑大小。它们回答的是:

应用程序访问这个文件时,文件的地址范围有多大?

这个数值适合描述虚拟磁盘镜像、数据库预分配文件、容器层文件或测试文件的容量上限,但不能直接当作已经消耗的磁盘空间。

已分配空间:文件实际获得了多少数据块

文件系统不会因为文件逻辑长度变大,就一定为整个范围分配物理数据块。对于没有写入内容的空洞区域,文件系统可以只记录“这里属于文件,但目前没有对应数据块”。

已经分配的空间通常可以通过以下命令观察:

du -h -- /data/demo.img

与之对比:

du -h --apparent-size -- /data/demo.img

前一个结果通常接近文件已经分配的数据块大小,后一个结果接近逻辑大小。

不过,“接近”比“绝对相等”更准确。du 还会受到块大小、文件系统计费方式、目录项、硬链接和压缩等因素影响。对普通本地文件系统而言,它是排查文件占用的常用工具,但不等于底层存储设备最终消耗的闪存单元数量。

文件系统空间:整个挂载点还剩多少

如果问题是“磁盘还能不能继续写入”,应查看文件所在挂载点,而不是只查看这个文件:

df -hT -- /data/demo.img

示例结果可能类似:

Filesystem     Type  Size  Used Avail Use% Mounted on
/dev/sdb1      ext4  2.0T  420G  1.5T  22% /data

这里的 Used 和 Avail 是整个文件系统的统计结果,包含该挂载点下所有文件、目录、文件系统元数据、日志区域以及部分保留空间等内容。它不等于某一个文件的 ls 大小,也不一定等于目录下所有 du 结果的简单相加。

可以把三种数值概括为:

数值常见查看方式主要含义适合回答的问题
逻辑大小ls -lh、stat文件的地址范围和末尾位置文件看起来有多大
已分配空间du -h、stat 的块信息文件已经获得多少文件系统数据块这个文件大致占了多少空间
文件系统空间df -hT挂载点整体的已用、可用容量磁盘还能写多少数据

稀疏文件是怎样形成的

空洞不是保存了大量零字节

稀疏文件的关键不是“文件中有很多零”,而是文件中存在没有分配数据块的空洞。

读取空洞时,应用程序通常会得到零字节,就像那里保存了大量 0x00 一样;但文件系统并没有为每一段零值实际分配数据块。内核只需要根据文件的元数据,知道这一段是未分配区域,并在读取时返回零。

稀疏文件是怎样形成的 / 空洞不是保存了大量零字节配图

例如,下面的命令会把文件的逻辑长度设置为 1 GiB:

truncate -s 1G /tmp/demo-sparse.img

如果目标路径是一个新文件,通常只会创建一个逻辑长度为 1 GiB 的稀疏文件。随后查看:

ls -lh -- /tmp/demo-sparse.img
du -h -- /tmp/demo-sparse.img
du -h --apparent-size -- /tmp/demo-sparse.img

在支持稀疏文件的常见文件系统上,结果可能接近:

-rw-r--r-- 1 root root 1.0G ... /tmp/demo-sparse.img
0       /tmp/demo-sparse.img
1.0G    /tmp/demo-sparse.img

实际结果可能因文件系统和元数据分配方式不同而变化,但“逻辑大小很大、du 占用很小”正是稀疏文件的典型表现。

需要注意,truncate 如果指向已有文件,可能改变文件长度并导致数据范围被截断。测试时应使用明确的新文件名和测试目录,不要直接对数据库文件、镜像文件或业务数据执行。

写入某个位置不等于填满中间区域

文件可以在较大的偏移位置写入少量数据,中间未写入的部分仍然保持为空洞。比如一个文件的逻辑长度为 1 TB,但只在文件开头和末尾各写入几 MB,那么中间接近 1 TB 的区域仍可能不占用数据块。

这也是虚拟磁盘镜像常见的工作方式。镜像对虚拟机表现为一个固定容量的磁盘,但宿主机只为已经写入的区域分配空间。

稀疏文件不是压缩文件

稀疏文件与压缩文件的原理不同:

  • 稀疏文件通过“不分配空洞的数据块”减少占用;
  • 压缩文件通过编码方式减少已保存数据的长度;
  • 稀疏文件读取空洞时仍然返回零;
  • 一个保存了大量真实零字节的普通文件,不一定是稀疏文件;
  • 文件系统压缩、去重和写时复制又是另外一层机制。

因此,不能仅根据文件内容看起来是零,就断定它是稀疏文件。应结合 du、stat 或文件系统的 extent 信息确认。

为什么不同命令显示的结果不一致

ls -l 主要看逻辑大小

下面的命令:

ls -lh -- /data/demo.img

适合快速查看文件的逻辑长度,但不适合确认磁盘空间消耗。

ls -ls 会额外显示一个块数列:

ls -lsh -- /data/demo.img

其中第一列通常表示已经分配的块数,但显示单位和格式会受 GNU ls 的块大小选项影响。为了避免把第一列和文件大小列混淆,精确判断时仍建议使用 stat 和 du。

du 默认看文件系统块,--apparent-size 改看逻辑长度

对单个文件进行对比:

du -h -- /data/demo.img
du -h --apparent-size -- /data/demo.img

对目录进行对比:

du -sh -- /data
du -sh --apparent-size -- /data

默认的 du 更接近已分配空间,--apparent-size 则按文件的逻辑大小统计。两者差距很大时,通常说明目录中存在稀疏文件;也可能存在压缩、硬链接或其他文件系统特性。

如果需要减少人类可读单位带来的四舍五入,可以使用字节作为输出单位:

du -B1 -- /data/demo.img
du -B1 --apparent-size -- /data/demo.img

这里的结果用于比较和排查,实际设备分配仍可能以文件系统块、extent 或底层存储单元为单位。

stat 可以同时查看逻辑大小和块信息

在 Linux 上,GNU stat 可以输出文件的逻辑字节数、分配块数和块单位:

stat --printf='size=%s bytes\nblocks=%b\nblock_unit=%B bytes\n' -- /data/demo.img

其中:

  • %s:文件逻辑大小,单位是字节;
  • %b:已分配块数量;
  • %B:每个 %b 块对应的字节数。

可以用下面的关系估算文件的内部分配量:

已分配空间 ≈ %b × %B

例如,某个示例文件可能显示:

size=1099511627776 bytes
blocks=8192
block_unit=512 bytes

那么它的逻辑大小是 1 TiB,而按文件块统计的分配量约为:

8192 × 512 = 4194304 bytes

也就是约 4 MiB。这里的 1 TiB 采用二进制换算,计算为:

1 TiB = 1024 × 1024 × 1024 × 1024 bytes
      = 1099511627776 bytes

stat 输出中的 IO Block 需要特别注意。它表示文件系统建议使用的 I/O 块大小,不一定等于这个文件已经分配的块数,也不能直接用来计算文件占用。

一套确认稀疏文件空间的验证流程

第一步:确认路径属于哪个文件系统

先确认目标文件所在的挂载点和文件系统类型:

findmnt -T /data/demo.img
df -hT -- /data/demo.img

这一步很重要,因为同一个目录树中可能挂载了多个文件系统。直接执行 du -sh /data 时,如果没有限制跨文件系统,统计范围可能包含其他挂载点;而 df 是按挂载的文件系统分别统计的。

统计单个文件系统时,可以使用:

du -xsh -- /data

-x 表示不跨越文件系统边界。对于 / 这类包含多个挂载点的路径,建议先用 findmnt 确认范围,再决定是否使用 du -x。

第二步:比较逻辑大小和已分配空间

对目标文件执行:

ls -lh -- /data/demo.img
du -h -- /data/demo.img
du -h --apparent-size -- /data/demo.img
stat --printf='size=%s bytes\nblocks=%b\nblock_unit=%B bytes\n' -- /data/demo.img

判断逻辑如下:

  • ls 和 stat size 很大,du 很小:通常存在明显空洞;
  • ls、du 和 du --apparent-size 接近:文件可能是普通文件,或者空洞较少;
  • du --apparent-size 大于 du,但差距不大:可能只有少量空洞,或受到块大小取整影响;
  • du 比预期大:可能文件已经被写入,或者目标文件系统启用了压缩、写时复制等机制,统计含义需要结合文件系统判断。

第三步:确认整个文件系统是否真的有空间

查看挂载点整体状态:

df -hT -- /data/demo.img
df -ih -- /data/demo.img

第二条命令查看 inode 使用情况。稀疏文件虽然可能只占用很少的数据块,但每个文件仍需要 inode 和目录项。大量创建小型稀疏文件时,可能出现字节容量尚有剩余,但 inode 已经耗尽的情况。

如果需要避免人类可读格式的四舍五入,可以使用:

df -B1 -P -- /data/demo.img

df 的结果是文件系统层面的容量统计,最适合回答“还可以继续写入多少”。但可写空间还可能受到用户配额、项目配额、容器限制或云平台卷限制影响,不能只看宿主机的总容量。

第四步:目录统计与 df 不一致时排查范围

如果执行:

du -xsh -- /data
df -hT -- /data

两者差距明显,不要立即认定某个普通文件“隐藏”了大量空间。常见原因包括:

  • 文件已经删除,但仍被进程打开;
  • 文件系统日志、元数据或保留空间未被普通 du 作为文件列出;
  • 目录下存在其他挂载点;
  • 文件系统快照仍保留旧数据;
  • CoW 或 reflink 机制让旧版本数据仍被引用;
  • 当前用户没有权限遍历某些目录;
  • 对象存储、云盘或底层阵列的计费空间与文件系统统计口径不同。

对于“删除后空间没有回来”的情况,可以在允许使用系统诊断工具的前提下检查已删除但仍打开的文件:

sudo lsof +L1

这条命令只用于查看,不要直接结束进程。若确认某个服务仍占用已删除文件,应先确认日志轮换或服务行为,按照业务允许的维护流程释放文件描述符;强制终止进程可能导致连接中断、缓存丢失或服务异常。

影响稀疏文件占用结果的因素

文件系统块大小和取整

即使文件只有几个字节,文件系统也可能按最小分配单位分配一个或多个块。因此,逻辑大小为几百字节的普通文件,实际占用可能是几 KB。

目录本身也需要数据块保存目录项。统计目录时,du 可能包含目录元数据,所以目录中所有文件的逻辑大小相加,不一定等于目录的 du 结果。

硬链接会影响目录统计

多个路径可以通过硬链接指向同一个 inode。文件实际只保存一份,但从目录树看起来有多个名称。du 通常会避免重复统计同一个文件的空间,因此目录逐项相加时可能出现重复计算。

压缩、去重和写时复制

在支持文件压缩的文件系统上,du、st_blocks 和底层设备实际写入量可能不是同一个概念。文件逻辑上有 1 GiB,文件系统分配记录可能是几百 MiB,而底层设备在压缩后还可能写入更少的数据。

CoW 文件系统或 reflink 文件允许多个文件共享数据块。对文件进行修改时,系统可能为新内容分配新的块,同时旧块仍被快照或其他文件引用。此时:

  • 文件逻辑大小可能没有变化;
  • du 的结果可能随共享关系和统计方式变化;
  • df 仍然会反映底层文件系统整体已使用空间。

因此,在 Btrfs、ZFS 或带快照的存储环境中,不应只通过一个普通文件的 du 结果推断底层设备空间。

复制和归档可能把空洞变成真实数据

读取稀疏文件的空洞,应用程序得到的是零字节。如果复制程序只是连续读取并写入目标文件,目标文件可能变成一个完整分配的普通文件。

使用 GNU 工具时,可以根据需求关注稀疏文件选项:

cp --sparse=auto -- /data/demo.img /backup/demo.img

对于需要尽量保留空洞的场景,可以使用:

cp --sparse=always -- /data/demo.img /backup/demo.img

具体是否能保持稀疏形态,还取决于源文件、目标文件系统和工具版本。使用 rsync 时,--sparse 也会影响稀疏文件的处理方式。归档工具同样需要确认是否启用了稀疏文件支持,否则一个宿主机上只占几 GB 的镜像,恢复到目标位置后可能需要接近其逻辑容量的空间。

在生产环境复制前,应先确认目标挂载点有足够容量,并在测试目录验证:

du -h -- /data/demo.img /backup/demo.img
du -h --apparent-size -- /data/demo.img /backup/demo.img

不要把测试命令直接指向现有业务文件;复制、预分配或改写操作可能消耗大量空间,也可能覆盖目标文件。若涉及已有数据,应先完成备份,并使用独立目标路径验证结果。

truncate、fallocate 和普通写入的差别

truncate 更偏向修改逻辑长度

truncate -s 10G /tmp/test-sparse.img

这类操作通常把文件长度扩展到 10 GiB,但不会自动为中间所有区域分配数据块,因此常用于创建稀疏文件。

fallocate 通常用于预分配空间

fallocate -l 10G /tmp/test-preallocated.img

在支持该功能的文件系统上,这通常会提前为文件预留或分配空间。文件的逻辑大小和 truncate 结果可能一样,但 du 往往明显更大。

这个命令可能快速消耗实际磁盘空间,不能把“大文件创建很快”误认为“不占空间”。对已有文件使用时,还要确认是否会改变文件内容或覆盖预期范围。

实际写入会让空洞逐步变成已分配区域

稀疏镜像被虚拟机、数据库或应用持续写入后,已分配空间会逐步增长,而逻辑容量可能保持不变。监控时应同时关注:

du -h -- /data/demo.img
df -hT -- /data/demo.img

如果只监控 ls -lh,可能看不到实际占用的增长;如果只监控 df,又无法判断究竟是哪个文件导致空间增加。

A5idc数据提供中国香港、美国、日本等地区的物理服务器,产品涵盖NVMe、SSD配置及大容量HDD存储方案,可为虚拟磁盘镜像、数据库文件和容器数据提供不同侧重的存储资源。对于逻辑容量相对固定、实际占用随写入增长的业务,计算与存储配置可承载相应的运行负载和文件数据,各地区的线路选择也为面向不同访问区域的部署提供了资源基础。

什么时候不能直接用 du 判断底层存储消耗

du 适合回答“文件系统认为这个文件使用了多少空间”,但以下场景需要更谨慎:

  • 使用了文件系统压缩;
  • 使用了快照、CoW 或 reflink;
  • 存储后端还有重复数据删除;
  • 云硬盘、分布式文件系统或网络文件系统采用独立的计费和配额口径;
  • 虚拟机镜像内部还有一层文件系统;
  • 文件已删除但进程仍保持打开;
  • 目录统计跨越了多个挂载点;
  • 用户或项目配额限制了可写容量。

在虚拟磁盘场景中,还要区分三层容量:

  1. 镜像文件的逻辑容量,例如 1 TiB;
  2. 宿主机文件系统为镜像分配的空间,例如几十 GiB;
  3. 宿主机所在卷或云盘的剩余空间,例如还有数百 GiB。

虚拟机内部看到的空闲空间,也不一定会自动让宿主机释放对应块。是否能够回收,取决于客户机文件系统、虚拟化设备、discard/TRIM 支持以及镜像格式的处理方式。

最终确认时,可以按下面的边界判断:

  • 要看文件“显示多大”,使用 ls -lh 或 stat 的 Size;
  • 要看稀疏文件已经分配多少空间,使用 du -h,必要时结合 stat 的 %b 和 %B;
  • 要看挂载点还能写多少,使用 df -hT;
  • 要解释 df 与 du 的差距,检查挂载点、权限、已删除打开文件、日志和快照;
  • 要判断复制后是否会膨胀,分别比较源文件和目标文件的 du 与 du --apparent-size;
  • 要在压缩、CoW、快照或虚拟化环境中确认底层消耗,必须结合具体文件系统和存储层的统计工具,不能只依据 ls 的文件大小。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/7612.html

相关推荐