Linux文件映射与匿名内存有什么区别?如何理解共享、回写和进程占用

发布人:A5数据发布时间:2026-10-28 10:40阅读量:89

同一个进程把 1 GiB 文件映射到地址空间,并不意味着系统马上为它分配了 1 GiB 物理内存;同样,进程显示较大的 VIRT 或 VmSize,也不等于它已经占用了同样多的内存。真正需要区分的是:映射占用了多少虚拟地址空间,当前有多少页面驻留在物理内存中,这些页面是否被多个进程共享,以及修改后的内容最终写回文件、进入交换空间,还是仅保留在进程的私有副本中。

文件映射通常由文件和页缓存提供后备存储,匿名内存则没有普通文件路径作为直接后备。MAP_SHARED、MAP_PRIVATE、fork()、写时复制、页面回收和内存统计工具,会让“共享”“回写”和“进程占用”出现不同含义。理解这些边界后,才能正确解释 top、ps、pmap 和 /proc/<pid>/smaps 中看似矛盾的数字。

先划清文件映射与匿名内存的边界

文件映射是什么

文件映射通常通过 mmap() 建立。内核把进程的一段虚拟地址空间关联到普通文件的某个偏移范围,进程访问这段地址时,内核按需把对应文件页面装入内存。

一个 1 GiB 文件可以只映射其中 64 MiB,也可以映射完整文件。无论映射范围多大,建立映射本身主要是建立虚拟地址区间和相关元数据,并不会立即把整个文件读入物理内存。

文件映射有两个最常见的标志:

类型进程写入后的可见性是否修改普通文件常见内存表现
MAP_SHARED其他共享该映射的进程可看到修改通常会通过页缓存和回写反映到文件可能出现 Shared_Dirty,随后变为干净页
MAP_PRIVATE修改只对当前进程及其派生的私有地址空间可见不会把写入内容写回原文件写入后通常触发写时复制,形成匿名私有页

MAP_PRIVATE 并不意味着映射页面从一开始就完全独占。多个进程以私有方式映射同一个文件时,尚未被修改的干净文件页仍可能由多个进程共同使用。只有某个进程写入页面后,内核才为它创建私有副本。

因此,“文件映射”描述的是页面的后备来源,而“是否共享”还要结合映射标志和页面是否发生写时复制来判断。

匿名内存是什么

匿名内存没有普通文件作为直接后备来源,常见来源包括:

  • 进程堆,通常与 brk() 或分配器管理有关;
  • 通过 mmap(MAP_ANONYMOUS) 申请的内存;
  • 线程栈和部分线程运行时区域;
  • MAP_PRIVATE 文件映射发生写时复制后生成的私有页面;
  • 分配器为大块内存、线程缓存或内部 arena 建立的区域。

匿名内存不等于“永远只属于一个进程”。例如,进程调用 fork() 后,父子进程会暂时共同使用相同的匿名物理页;其中一方写入时才发生写时复制。多个进程也可以通过共享匿名映射、共享内存或基于 tmpfs 的机制共同访问一组页面。

所以,“匿名”主要说明页面没有普通文件路径作为直接来源,并不直接说明它是否共享、是否驻留或是否会交换出去。

MAP_SHARED、物理共享和统计共享不是一回事

“共享”至少有三种常见含义:

  1. 访问语义共享:一个进程写入后,其他进程是否能看到,例如 MAP_SHARED。
  2. 物理页面共享:多个进程的虚拟地址是否指向同一个物理页。
  3. 统计意义上的共享:内存工具如何在多个进程之间分摊同一页面。

这三个概念不能直接画等号。

例如,两个进程以 MAP_PRIVATE 方式映射同一个文件,在双方都只读时,可能共同使用同一组物理页。此时它们在物理层面共享,但写入语义并不共享。某个进程写入后,该页面被复制成它自己的匿名页,原文件内容和另一个进程看到的内容都不会因此改变。

例如,两个进程以 MAP PRIVATE 方式映射同一个文件,在双方都只读时,可能共同使用同一组物理页示意图

页面是如何装入、修改和回收的

映射建立时,通常只建立虚拟地址关系

以文件映射为例,调用 mmap() 后,进程可能拥有一段几十 GiB 的虚拟地址范围,但其中尚未访问的页面并没有对应的物理页。

当代码第一次读取或写入某个页面时,会产生缺页异常。内核根据映射类型处理:

  • 文件映射:从页缓存中查找,必要时从文件读取;
  • 匿名内存:分配新的物理页,或映射零页后在写入时分配可写页面;
  • 私有文件映射写入:创建当前进程的匿名副本;
  • 已经被换出的匿名页:从交换空间读回。

因此,映射大小、实际访问范围和当前驻留量可能完全不同。

例如,程序建立了一个 64 MiB 的匿名映射,但只按页写入其中 8 MiB,那么与该映射直接相关的常驻内存通常接近 8 MiB,再加上页面对齐和内核管理开销,而不是完整的 64 MiB。这个数值仍可能受到透明大页、预取、分配器行为和其他映射影响。

MAP_SHARED 的修改为什么会回写

对普通文件建立可写的 MAP_SHARED 映射后,进程写入的内容通常先修改内存中的页缓存页面。该页面会被标记为脏页,内核随后根据回写策略将其写入文件。

这里的“写入成功”与“数据已经持久化到存储设备”不是同一个时刻:

  • 写入映射:通常只是修改了内存页;
  • 标记脏页:表示该页内容与文件当前持久化内容存在差异;
  • 后台回写:内核将脏页提交给文件系统;
  • 持久化完成:还受到文件系统、设备缓存和同步调用影响。

因此,MAP_SHARED 适合需要多个进程共享文件内容的场景,但不能仅凭一次内存写入就推断数据已经完成持久化。对数据库、日志或崩溃一致性要求较高的程序,还需要结合文件系统语义、msync()、fsync() 和应用层事务设计。

MAP_PRIVATE 写入会产生匿名副本

对文件建立 MAP_PRIVATE 映射时,首次读取通常可以直接使用文件页缓存。首次写入某个页面时,内核执行写时复制:

  1. 保留原来的文件页面,其他进程仍可使用;
  2. 为当前进程分配新的物理页;
  3. 把原页面内容复制到新页面;
  4. 将当前进程的页表指向新页面;
  5. 后续写入只修改这个私有副本。

这个副本不会按普通文件映射的方式回写到原文件。它通常会在进程退出时释放,或者在内存压力下被换出。

这也是一个常见误判来源:同一段地址仍然属于原来的文件映射范围,但其中一部分页面已经是匿名私有页。查看 smaps 时,可能同时看到文件相关的映射信息和 Private_Dirty、Anonymous 等统计变化。

匿名内存通常通过交换空间回收

普通匿名内存没有可直接重新读取的文件内容。内存压力较大时,内核如果需要回收其中的脏页,通常需要将页面写入交换空间;以后再次访问时再从交换空间读回。

文件映射的干净页则可以直接丢弃,因为需要时能够从文件重新读取。文件映射的脏页需要先回写,私有文件映射产生的匿名脏页则通常按照匿名页处理。

可以用下面的方式理解:

页面状态内存不足时的典型处理
干净文件页直接回收,之后从文件重新读取
MAP_SHARED 脏文件页先回写文件,再回收
MAP_PRIVATE 写时复制后的脏页通常进入交换空间,或等待进程释放
匿名脏页通常进入交换空间
共享匿名页根据具体机制和引用情况回收或交换

这不是绝对的执行顺序。内核还会考虑页面活跃度、回收策略、内存锁定、透明大页和 cgroup 限制等因素,但作为判断“回写还是交换”的第一层边界是有效的。

页面是如何装入、修改和回收的|匿名内存通常通过交换空间回收配图

进程占用为什么不能只看一个数字

虚拟大小、RSS、PSS 和 USS 的含义

常见内存指标的含义并不相同:

指标主要含义是否适合代表实际物理占用
VIRT、VmSize进程映射的虚拟地址空间总量不适合直接代表物理占用
RSS、RES当前驻留在物理内存中的页面可以观察驻留量,但会重复计算共享页
PSS驻留页面按共享进程数分摊后的估算值更适合比较进程实际分摊占用
USS只被当前进程使用的私有驻留页面适合估算进程独占部分

假设一组共享库页面共有 100 MiB,4 个进程都映射并且这些页面全部驻留:

画出一个约 100 MiB 的共享库驻留页面池,被 4 个进程共同映射;旁边按进程并列显示每个进程 RSS 约 100 MiB、PSS 约 25 MiB,汇总

  • 每个进程的 RSS 可能都包含约 100 MiB;
  • 把四个进程的 RSS 相加,会得到约 400 MiB,看起来像重复计算;
  • 每个进程的 PSS 大约分摊到 25 MiB;
  • 四个进程的 PSS 合计约为 100 MiB。

如果另有一个进程独占 100 MiB 匿名内存,那么它的 RSS、PSS 和 USS 通常都会接近 100 MiB,具体数值还要加上其他页面和统计误差。

因此:

  • 估算单个进程当前占用,可以先看 RSS;
  • 比较多个进程的内存分摊,优先看 PSS;
  • 判断重启某个进程能释放多少内存,可重点关注 USS,同时结合共享页面的引用关系;
  • 估算整台机器或容器的内存压力,不能简单把所有进程 RSS 相加。

Shared_Clean 不等于“共享写入”

/proc/<pid>/smaps 中的字段通常包括:

  • Rss:该映射当前驻留的页面;
  • Pss:该映射按共享关系分摊后的驻留量;
  • Shared_Clean:被多个地址空间使用且未修改的页面;
  • Shared_Dirty:被多个地址空间使用且已修改的页面;
  • Private_Clean:当前进程独占但未修改的页面;
  • Private_Dirty:当前进程独占且已修改的页面;
  • Anonymous:被统计为匿名来源的驻留页面;
  • Swap:当前映射中已经进入交换空间的页面。

一个共享库的代码段通常表现为文件映射、只读、干净页面;它可能由多个进程共享。一个 MAP_SHARED 的可写映射在尚未回写时,可能表现为 Shared_Dirty。一个匿名堆区域通常以 Private_Dirty 为主。

这些字段反映的是检查时刻的状态。后台回写、页面回收、进程间共享关系变化后,数值会改变,不能把一次采样当成永久属性。

影响占用的几个关键因素

实际访问范围

映射了多少不等于访问了多少。顺序访问通常容易触发预读,随机访问则可能造成更多缺页和缓存淘汰。应用只读取文件的一小部分时,文件映射可以保持较小的 RSS;如果持续扫描整个文件,常驻页面会随访问范围变化。

是否发生写入

只读访问通常不会产生新的私有副本。对 MAP_PRIVATE 映射写入,会按页面而不是按整个映射触发复制。写入 4 KiB 页面和写入 64 MiB 页面,对物理内存和 PSS 的影响不同。

进程数量和 fork()

多个进程映射同一个文件时,干净页面可能共享。父进程调用 fork() 后,父子进程最初也可能共享匿名页面;双方分别修改同一批页面时,物理内存会逐步增加。

页面大小和透明大页

普通页面常见为 4 KiB,但部分系统和映射可能使用透明大页或显式大页。此时一次写入可能导致更大粒度的分配、复制或拆分。观察到的 RSS 增量不一定严格等于业务代码写入的字节数。

交换空间和内存回收

匿名页进入交换空间后,进程的 RSS 可能下降,但 VmSize 不一定下降。再次访问时会触发换入,表现为延迟增加和缺页活动上升。文件页被回收后重新读取文件,也可能导致 I/O,但不一定涉及 swap。

cgroup 和容器边界

在 cgroup v2 环境中,可以查看对应 cgroup 的 memory.current,但它与某个进程的 RSS、PSS 不是同一统计口径。cgroup 还可能包含页缓存、共享页和部分内核内存。容器内看到的进程数据,不能直接替代宿主机整体内存统计。

A5idc数据提供中国香港、美国、日本等地区的物理服务器,产品涵盖不同内存容量及SSD、NVMe、大容量HDD等存储配置。对于使用文件映射访问大文件、运行多进程服务或容器业务的场景,这些计算、内存和磁盘资源可为页面驻留、数据读写与文件存储提供部署基础。

用 /proc 验证映射类型和占用

先查看虚拟地址映射

将目标进程号填入下面的命令:

PID=1234
grep -E '^[0-9a-f]+-[0-9a-f]+|/|^\[.*\]$' "/proc/$PID/maps"

/proc/<pid>/maps 中每行通常包含地址范围、权限、偏移、设备号、inode 和路径。权限部分最后一个字符很重要:

  • p:私有映射,通常对应 MAP_PRIVATE;
  • s:共享映射,通常对应 MAP_SHARED;
  • 没有普通文件路径的区域,可能是匿名内存、堆、栈、线程区域或其他特殊映射;
  • [heap]、[stack]、[vdso] 等标记表示内核或运行时识别出的特殊区域。

例如,下面两类行表达的含义不同:

7f1000000000-7f1002000000 rw-s 00000000 08:01 123456 /tmp/demo.bin
7f1003000000-7f1005000000 rw-p 00000000 00:00 0

第一行是有文件路径的共享可写映射,第二行是没有普通文件路径的私有可写匿名映射。仅凭路径还不能知道全部页面是否已经驻留,需要继续查看 smaps。

查看每个映射的 RSS、PSS 和脏页

如果内核提供 smaps_rollup,可以先看整个进程的汇总:

PID=1234
cat "/proc/$PID/smaps_rollup"

典型字段可能类似:

Rss:                74240 kB
Pss:                51680 kB
Shared_Clean:       12800 kB
Shared_Dirty:        4096 kB
Private_Clean:       6144 kB
Private_Dirty:      51200 kB
Anonymous:          56320 kB
Swap:                   0 kB

这里的数值仅用于说明阅读方式,不代表某个固定系统的实际结果。重点是比较字段之间的关系:

  • Rss 明显大于 Pss,通常说明进程使用了较多共享页面;
  • Private_Dirty 较大,通常表示进程有较多独占且已修改的页面;
  • Shared_Dirty 较大,可能存在共享可写映射或尚未完成回写的共享页面;
  • Swap 非零,说明该进程关联的一部分页面已被换出。

要定位具体文件映射,可以查看完整的 smaps:

PID=1234
awk '
/^[0-9a-f]+-[0-9a-f]+/ {
    print "\n" $0
}
/^(Size|Rss|Pss|Shared_Clean|Shared_Dirty|Private_Clean|Private_Dirty|Anonymous|AnonHugePages|Swap|SwapPss):/ {
    print
}
' "/proc/$PID/smaps"

smaps 以映射为单位给出数据。把带路径的地址段与后面的 Rss、Pss、Private_Dirty 和 Shared_Dirty 对照,通常就能判断某个文件映射当前到底占用了多少驻留内存,以及是否发生了私有化或写入。

查看系统层面的回收和回写压力

进程数据还需要与系统整体状态对照:

grep -E '^(MemTotal|MemFree|MemAvailable|Cached|SwapTotal|SwapFree|Dirty|Writeback):' /proc/meminfo

重点关注:

  • MemAvailable:系统估计可以继续分配的内存;
  • Cached:页缓存等相关内存;
  • Dirty:等待回写的脏页;
  • Writeback:正在回写的页面;
  • SwapFree:交换空间剩余量。

需要连续观察时,可以使用:

vmstat 1

如果 si、so 持续出现较高值,说明存在明显换入换出活动;如果 bi、bo 增加,说明块设备读写较为活跃。但这些指标属于系统级现象,不能单独证明某一个映射正在回写或换出,仍需结合目标进程的 smaps。

用一个小程序观察两类映射

在有 C 编译器的 Linux 主机上,可以使用下面的示例建立一个 32 MiB 文件共享映射和一个 32 MiB 私有匿名映射,并触碰每个页面:

#define _GNU_SOURCE
#include <fcntl.h>
#include <stdio.h>
#include <stdlib.h>
#include <sys/mman.h>
#include <sys/types.h>
#include <unistd.h>

int main(void) {
    const size_t size = 32UL * 1024UL * 1024UL;
    const char *path = "/tmp/a5idc-mmap-demo.bin";

    int fd = open(path, O_RDWR | O_CREAT | O_TRUNC, 0600);
    if (fd < 0) {
        perror("open");
        return 1;
    }

    if (ftruncate(fd, (off_t)size) != 0) {
        perror("ftruncate");
        close(fd);
        return 1;
    }

    void *file_map = mmap(
        NULL, size, PROT_READ | PROT_WRITE,
        MAP_SHARED, fd, 0
    );
    if (file_map == MAP_FAILED) {
        perror("mmap file");
        close(fd);
        return 1;
    }

    void *anon_map = mmap(
        NULL, size, PROT_READ | PROT_WRITE,
        MAP_PRIVATE | MAP_ANONYMOUS, -1, 0
    );
    if (anon_map == MAP_FAILED) {
        perror("mmap anonymous");
        munmap(file_map, size);
        close(fd);
        return 1;
    }

    close(fd);

    volatile unsigned char *file_bytes =
        (volatile unsigned char *)file_map;
    volatile unsigned char *anon_bytes =
        (volatile unsigned char *)anon_map;

    for (size_t i = 0; i < size; i += 4096) {
        file_bytes[i] = 0x5a;
        anon_bytes[i] = 0xa5;
    }

    printf("pid=%ld\n", (long)getpid());
    printf("file mapping=%p, anonymous mapping=%p, size=%zu MiB\n",
           file_map, anon_map, size / 1024 / 1024);
    printf("按 Ctrl-C 退出程序后再检查映射状态。\n");
    sleep(600);

    munmap(file_map, size);
    munmap(anon_map, size);
    return 0;
}

编译并运行:

cc -O0 -Wall -Wextra -o /tmp/a5idc-mmap-demo /tmp/a5idc-mmap-demo.c
/tmp/a5idc-mmap-demo

程序运行后,在另一个终端执行:

PID=程序输出的PID
grep -E '/tmp/a5idc-mmap-demo.bin|^[0-9a-f]+-[0-9a-f]+.*rw-p' \
    "/proc/$PID/maps"

cat "/proc/$PID/smaps_rollup"

典型观察逻辑如下:

  • 文件区域应能看到 /tmp/a5idc-mmap-demo.bin,权限通常包含 rw-s;
  • 匿名区域通常没有普通文件路径,权限通常包含 rw-p;
  • 两个区域都被按页写入后,RSS 会明显增加;
  • 文件共享映射可能出现 Shared_Dirty,之后也可能因后台回写转为干净状态;
  • 私有匿名映射通常主要体现在 Private_Dirty 和 Anonymous;
  • 进程本身还会包含运行时、栈、动态库等其他映射,所以汇总值会大于两个 32 MiB 区域的简单相加。

该示例会在 /tmp 创建专用测试文件。确认程序已经退出且该路径确实只用于本示例后,再删除这个生成文件:

rm -f /tmp/a5idc-mmap-demo.bin

不要把删除命令用于生产文件;如果替换了示例路径,应先确认文件内容可以丢弃,并核对路径没有指向业务数据。

适用限制和最终判断边界

文件映射适合处理大文件的局部访问、进程间共享文件内容、减少显式读写缓冲复制等场景,但它不是“把文件变成内存”的简单开关。随机访问、频繁写入、内存压力和回写延迟,都会改变实际效果。

还需要注意几个边界:

  • 文件被其他进程截断后,继续访问超出新文件长度的映射区域,可能触发 SIGBUS;
  • MAP_PRIVATE 的修改不会成为原文件内容,不能用它替代持久化写入;
  • MAP_SHARED 写入也不代表数据已经完成稳定存储;
  • 匿名内存没有普通文件作为恢复来源,内存不足时可能依赖交换空间;
  • 通过 tmpfs、共享内存或 memfd 建立的区域,可能既没有普通磁盘文件路径,又具有共享或可交换特征,不能仅凭 /proc/<pid>/maps 的路径为空就认定它是普通私有匿名内存;
  • RSS 会重复计算共享页面,多个进程相加时应优先参考 PSS;
  • VmSize 只说明虚拟地址空间规模,不能直接用于判断物理内存压力;
  • 透明大页和不同页面大小会让“写入多少字节就增加多少内存”的估算失效。

实际分析时,可以按以下顺序判断:先看 maps 确认映射来源和 p/s 权限,再看 smaps 中的 Rss、Pss、Private_Dirty、Shared_Dirty 和 Swap,最后结合 /proc/meminfo、vmstat 以及应用是否发生写入来判断页面是在共享、回写、交换还是仅仅占用了虚拟地址空间。只要把“后备来源”“访问共享语义”“当前驻留状态”和“统计口径”分开,Linux 文件映射与匿名内存的差异就能落到可验证的页面行为上。

用 /proc 验证映射类型和占用|查看系统层面的回收和回写压力配图

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/6208.html

相关推荐