Linux稀疏文件为什么显示大小与实际占用不同,怎样确认磁盘空间?
Linux中,稀疏文件的“文件大小”和“实际占用空间”本来就可能是两个不同数值。例如,一个文件可以显示为 1 TB,但在文件系统中只分配了几 MB,甚至几乎没有分配数据块。ls -lh 通常显示的是逻辑大小,而 du -h 更接近文件已经占用的文件系统空间;要确认整个磁盘还剩多少空间,则应查看 df -h。
因此,“实际占用”不能只用一个命令判断。需要先区分文件的逻辑长度、已经分配的数据块,以及整个文件系统的已用和可用空间,再根据场景选择验证方法。
先区分三个容易混淆的数值
逻辑大小:文件对外表现出来的长度
逻辑大小是文件从起始位置到文件末尾的长度,Linux 内核中对应文件的 st_size 属性。
例如,文件的最后一个有效位置位于 1 TB 附近,即使中间大部分区域没有真正保存数据,文件的逻辑大小仍然可以是 1 TB。常见的查看方式包括:
ls -lh /data/demo.img
stat --printf='logical_size=%s bytes\n' -- /data/demo.img
ls -lh 输出中的文件大小列,以及 stat 的 Size,通常都表示逻辑大小。它们回答的是:
应用程序访问这个文件时,文件的地址范围有多大?
这个数值适合描述虚拟磁盘镜像、数据库预分配文件、容器层文件或测试文件的容量上限,但不能直接当作已经消耗的磁盘空间。
已分配空间:文件实际获得了多少数据块
文件系统不会因为文件逻辑长度变大,就一定为整个范围分配物理数据块。对于没有写入内容的空洞区域,文件系统可以只记录“这里属于文件,但目前没有对应数据块”。
已经分配的空间通常可以通过以下命令观察:
du -h -- /data/demo.img
与之对比:
du -h --apparent-size -- /data/demo.img
前一个结果通常接近文件已经分配的数据块大小,后一个结果接近逻辑大小。
不过,“接近”比“绝对相等”更准确。du 还会受到块大小、文件系统计费方式、目录项、硬链接和压缩等因素影响。对普通本地文件系统而言,它是排查文件占用的常用工具,但不等于底层存储设备最终消耗的闪存单元数量。
文件系统空间:整个挂载点还剩多少
如果问题是“磁盘还能不能继续写入”,应查看文件所在挂载点,而不是只查看这个文件:
df -hT -- /data/demo.img
示例结果可能类似:
Filesystem Type Size Used Avail Use% Mounted on
/dev/sdb1 ext4 2.0T 420G 1.5T 22% /data
这里的 Used 和 Avail 是整个文件系统的统计结果,包含该挂载点下所有文件、目录、文件系统元数据、日志区域以及部分保留空间等内容。它不等于某一个文件的 ls 大小,也不一定等于目录下所有 du 结果的简单相加。
可以把三种数值概括为:
| 数值 | 常见查看方式 | 主要含义 | 适合回答的问题 |
|---|---|---|---|
| 逻辑大小 | ls -lh、stat | 文件的地址范围和末尾位置 | 文件看起来有多大 |
| 已分配空间 | du -h、stat 的块信息 | 文件已经获得多少文件系统数据块 | 这个文件大致占了多少空间 |
| 文件系统空间 | df -hT | 挂载点整体的已用、可用容量 | 磁盘还能写多少数据 |
稀疏文件是怎样形成的
空洞不是保存了大量零字节
稀疏文件的关键不是“文件中有很多零”,而是文件中存在没有分配数据块的空洞。
读取空洞时,应用程序通常会得到零字节,就像那里保存了大量 0x00 一样;但文件系统并没有为每一段零值实际分配数据块。内核只需要根据文件的元数据,知道这一段是未分配区域,并在读取时返回零。

例如,下面的命令会把文件的逻辑长度设置为 1 GiB:
truncate -s 1G /tmp/demo-sparse.img
如果目标路径是一个新文件,通常只会创建一个逻辑长度为 1 GiB 的稀疏文件。随后查看:
ls -lh -- /tmp/demo-sparse.img
du -h -- /tmp/demo-sparse.img
du -h --apparent-size -- /tmp/demo-sparse.img
在支持稀疏文件的常见文件系统上,结果可能接近:
-rw-r--r-- 1 root root 1.0G ... /tmp/demo-sparse.img
0 /tmp/demo-sparse.img
1.0G /tmp/demo-sparse.img
实际结果可能因文件系统和元数据分配方式不同而变化,但“逻辑大小很大、du 占用很小”正是稀疏文件的典型表现。
需要注意,truncate 如果指向已有文件,可能改变文件长度并导致数据范围被截断。测试时应使用明确的新文件名和测试目录,不要直接对数据库文件、镜像文件或业务数据执行。
写入某个位置不等于填满中间区域
文件可以在较大的偏移位置写入少量数据,中间未写入的部分仍然保持为空洞。比如一个文件的逻辑长度为 1 TB,但只在文件开头和末尾各写入几 MB,那么中间接近 1 TB 的区域仍可能不占用数据块。
这也是虚拟磁盘镜像常见的工作方式。镜像对虚拟机表现为一个固定容量的磁盘,但宿主机只为已经写入的区域分配空间。
稀疏文件不是压缩文件
稀疏文件与压缩文件的原理不同:
- 稀疏文件通过“不分配空洞的数据块”减少占用;
- 压缩文件通过编码方式减少已保存数据的长度;
- 稀疏文件读取空洞时仍然返回零;
- 一个保存了大量真实零字节的普通文件,不一定是稀疏文件;
- 文件系统压缩、去重和写时复制又是另外一层机制。
因此,不能仅根据文件内容看起来是零,就断定它是稀疏文件。应结合 du、stat 或文件系统的 extent 信息确认。
为什么不同命令显示的结果不一致
ls -l 主要看逻辑大小
下面的命令:
ls -lh -- /data/demo.img
适合快速查看文件的逻辑长度,但不适合确认磁盘空间消耗。
ls -ls 会额外显示一个块数列:
ls -lsh -- /data/demo.img
其中第一列通常表示已经分配的块数,但显示单位和格式会受 GNU ls 的块大小选项影响。为了避免把第一列和文件大小列混淆,精确判断时仍建议使用 stat 和 du。
du 默认看文件系统块,--apparent-size 改看逻辑长度
对单个文件进行对比:
du -h -- /data/demo.img
du -h --apparent-size -- /data/demo.img
对目录进行对比:
du -sh -- /data
du -sh --apparent-size -- /data
默认的 du 更接近已分配空间,--apparent-size 则按文件的逻辑大小统计。两者差距很大时,通常说明目录中存在稀疏文件;也可能存在压缩、硬链接或其他文件系统特性。
如果需要减少人类可读单位带来的四舍五入,可以使用字节作为输出单位:
du -B1 -- /data/demo.img
du -B1 --apparent-size -- /data/demo.img
这里的结果用于比较和排查,实际设备分配仍可能以文件系统块、extent 或底层存储单元为单位。
stat 可以同时查看逻辑大小和块信息
在 Linux 上,GNU stat 可以输出文件的逻辑字节数、分配块数和块单位:
stat --printf='size=%s bytes\nblocks=%b\nblock_unit=%B bytes\n' -- /data/demo.img
其中:
%s:文件逻辑大小,单位是字节;%b:已分配块数量;%B:每个%b块对应的字节数。
可以用下面的关系估算文件的内部分配量:
已分配空间 ≈ %b × %B
例如,某个示例文件可能显示:
size=1099511627776 bytes
blocks=8192
block_unit=512 bytes
那么它的逻辑大小是 1 TiB,而按文件块统计的分配量约为:
8192 × 512 = 4194304 bytes
也就是约 4 MiB。这里的 1 TiB 采用二进制换算,计算为:
1 TiB = 1024 × 1024 × 1024 × 1024 bytes
= 1099511627776 bytes
stat 输出中的 IO Block 需要特别注意。它表示文件系统建议使用的 I/O 块大小,不一定等于这个文件已经分配的块数,也不能直接用来计算文件占用。
一套确认稀疏文件空间的验证流程
第一步:确认路径属于哪个文件系统
先确认目标文件所在的挂载点和文件系统类型:
findmnt -T /data/demo.img
df -hT -- /data/demo.img
这一步很重要,因为同一个目录树中可能挂载了多个文件系统。直接执行 du -sh /data 时,如果没有限制跨文件系统,统计范围可能包含其他挂载点;而 df 是按挂载的文件系统分别统计的。
统计单个文件系统时,可以使用:
du -xsh -- /data
-x 表示不跨越文件系统边界。对于 / 这类包含多个挂载点的路径,建议先用 findmnt 确认范围,再决定是否使用 du -x。
第二步:比较逻辑大小和已分配空间
对目标文件执行:
ls -lh -- /data/demo.img
du -h -- /data/demo.img
du -h --apparent-size -- /data/demo.img
stat --printf='size=%s bytes\nblocks=%b\nblock_unit=%B bytes\n' -- /data/demo.img
判断逻辑如下:
ls和stat size很大,du很小:通常存在明显空洞;ls、du和du --apparent-size接近:文件可能是普通文件,或者空洞较少;du --apparent-size大于du,但差距不大:可能只有少量空洞,或受到块大小取整影响;du比预期大:可能文件已经被写入,或者目标文件系统启用了压缩、写时复制等机制,统计含义需要结合文件系统判断。
第三步:确认整个文件系统是否真的有空间
查看挂载点整体状态:
df -hT -- /data/demo.img
df -ih -- /data/demo.img
第二条命令查看 inode 使用情况。稀疏文件虽然可能只占用很少的数据块,但每个文件仍需要 inode 和目录项。大量创建小型稀疏文件时,可能出现字节容量尚有剩余,但 inode 已经耗尽的情况。
如果需要避免人类可读格式的四舍五入,可以使用:
df -B1 -P -- /data/demo.img
df 的结果是文件系统层面的容量统计,最适合回答“还可以继续写入多少”。但可写空间还可能受到用户配额、项目配额、容器限制或云平台卷限制影响,不能只看宿主机的总容量。
第四步:目录统计与 df 不一致时排查范围
如果执行:
du -xsh -- /data
df -hT -- /data
两者差距明显,不要立即认定某个普通文件“隐藏”了大量空间。常见原因包括:
- 文件已经删除,但仍被进程打开;
- 文件系统日志、元数据或保留空间未被普通
du作为文件列出; - 目录下存在其他挂载点;
- 文件系统快照仍保留旧数据;
- CoW 或 reflink 机制让旧版本数据仍被引用;
- 当前用户没有权限遍历某些目录;
- 对象存储、云盘或底层阵列的计费空间与文件系统统计口径不同。
对于“删除后空间没有回来”的情况,可以在允许使用系统诊断工具的前提下检查已删除但仍打开的文件:
sudo lsof +L1
这条命令只用于查看,不要直接结束进程。若确认某个服务仍占用已删除文件,应先确认日志轮换或服务行为,按照业务允许的维护流程释放文件描述符;强制终止进程可能导致连接中断、缓存丢失或服务异常。
影响稀疏文件占用结果的因素
文件系统块大小和取整
即使文件只有几个字节,文件系统也可能按最小分配单位分配一个或多个块。因此,逻辑大小为几百字节的普通文件,实际占用可能是几 KB。
目录本身也需要数据块保存目录项。统计目录时,du 可能包含目录元数据,所以目录中所有文件的逻辑大小相加,不一定等于目录的 du 结果。
硬链接会影响目录统计
多个路径可以通过硬链接指向同一个 inode。文件实际只保存一份,但从目录树看起来有多个名称。du 通常会避免重复统计同一个文件的空间,因此目录逐项相加时可能出现重复计算。
压缩、去重和写时复制
在支持文件压缩的文件系统上,du、st_blocks 和底层设备实际写入量可能不是同一个概念。文件逻辑上有 1 GiB,文件系统分配记录可能是几百 MiB,而底层设备在压缩后还可能写入更少的数据。
CoW 文件系统或 reflink 文件允许多个文件共享数据块。对文件进行修改时,系统可能为新内容分配新的块,同时旧块仍被快照或其他文件引用。此时:
- 文件逻辑大小可能没有变化;
du的结果可能随共享关系和统计方式变化;df仍然会反映底层文件系统整体已使用空间。
因此,在 Btrfs、ZFS 或带快照的存储环境中,不应只通过一个普通文件的 du 结果推断底层设备空间。
复制和归档可能把空洞变成真实数据
读取稀疏文件的空洞,应用程序得到的是零字节。如果复制程序只是连续读取并写入目标文件,目标文件可能变成一个完整分配的普通文件。
使用 GNU 工具时,可以根据需求关注稀疏文件选项:
cp --sparse=auto -- /data/demo.img /backup/demo.img
对于需要尽量保留空洞的场景,可以使用:
cp --sparse=always -- /data/demo.img /backup/demo.img
具体是否能保持稀疏形态,还取决于源文件、目标文件系统和工具版本。使用 rsync 时,--sparse 也会影响稀疏文件的处理方式。归档工具同样需要确认是否启用了稀疏文件支持,否则一个宿主机上只占几 GB 的镜像,恢复到目标位置后可能需要接近其逻辑容量的空间。
在生产环境复制前,应先确认目标挂载点有足够容量,并在测试目录验证:
du -h -- /data/demo.img /backup/demo.img
du -h --apparent-size -- /data/demo.img /backup/demo.img
不要把测试命令直接指向现有业务文件;复制、预分配或改写操作可能消耗大量空间,也可能覆盖目标文件。若涉及已有数据,应先完成备份,并使用独立目标路径验证结果。
truncate、fallocate 和普通写入的差别
truncate 更偏向修改逻辑长度
truncate -s 10G /tmp/test-sparse.img
这类操作通常把文件长度扩展到 10 GiB,但不会自动为中间所有区域分配数据块,因此常用于创建稀疏文件。
fallocate 通常用于预分配空间
fallocate -l 10G /tmp/test-preallocated.img
在支持该功能的文件系统上,这通常会提前为文件预留或分配空间。文件的逻辑大小和 truncate 结果可能一样,但 du 往往明显更大。
这个命令可能快速消耗实际磁盘空间,不能把“大文件创建很快”误认为“不占空间”。对已有文件使用时,还要确认是否会改变文件内容或覆盖预期范围。
实际写入会让空洞逐步变成已分配区域
稀疏镜像被虚拟机、数据库或应用持续写入后,已分配空间会逐步增长,而逻辑容量可能保持不变。监控时应同时关注:
du -h -- /data/demo.img
df -hT -- /data/demo.img
如果只监控 ls -lh,可能看不到实际占用的增长;如果只监控 df,又无法判断究竟是哪个文件导致空间增加。
A5idc数据提供中国香港、美国、日本等地区的物理服务器,产品涵盖NVMe、SSD配置及大容量HDD存储方案,可为虚拟磁盘镜像、数据库文件和容器数据提供不同侧重的存储资源。对于逻辑容量相对固定、实际占用随写入增长的业务,计算与存储配置可承载相应的运行负载和文件数据,各地区的线路选择也为面向不同访问区域的部署提供了资源基础。
什么时候不能直接用 du 判断底层存储消耗
du 适合回答“文件系统认为这个文件使用了多少空间”,但以下场景需要更谨慎:
- 使用了文件系统压缩;
- 使用了快照、CoW 或 reflink;
- 存储后端还有重复数据删除;
- 云硬盘、分布式文件系统或网络文件系统采用独立的计费和配额口径;
- 虚拟机镜像内部还有一层文件系统;
- 文件已删除但进程仍保持打开;
- 目录统计跨越了多个挂载点;
- 用户或项目配额限制了可写容量。
在虚拟磁盘场景中,还要区分三层容量:
- 镜像文件的逻辑容量,例如 1 TiB;
- 宿主机文件系统为镜像分配的空间,例如几十 GiB;
- 宿主机所在卷或云盘的剩余空间,例如还有数百 GiB。
虚拟机内部看到的空闲空间,也不一定会自动让宿主机释放对应块。是否能够回收,取决于客户机文件系统、虚拟化设备、discard/TRIM 支持以及镜像格式的处理方式。
最终确认时,可以按下面的边界判断:
- 要看文件“显示多大”,使用
ls -lh或stat的Size; - 要看稀疏文件已经分配多少空间,使用
du -h,必要时结合stat的%b和%B; - 要看挂载点还能写多少,使用
df -hT; - 要解释
df与du的差距,检查挂载点、权限、已删除打开文件、日志和快照; - 要判断复制后是否会膨胀,分别比较源文件和目标文件的
du与du --apparent-size; - 要在压缩、CoW、快照或虚拟化环境中确认底层消耗,必须结合具体文件系统和存储层的统计工具,不能只依据
ls的文件大小。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/7612.html



