Linux Slab内存持续增长,怎样区分正常缓存与异常占用?
Slab 持续增长不一定意味着内存泄漏:Linux 会把内核对象放入 slab 缓存,供后续复用;其中一部分可以在内存压力下回收。排查时要同时看 SReclaimable、SUnreclaim、MemAvailable、交换活动和 OOM 记录,而不能只凭 Slab 总量或某一时刻的占比判断。
如果缓存随业务负载升高后趋于稳定,系统仍有可用内存,也没有持续交换或 OOM,通常更接近正常缓存行为。若 SUnreclaim 长时间单向增长,MemAvailable 持续下降,并伴随内存压力、交换活动或 OOM,则应进一步定位具体 slab 缓存及其对应的内核路径。
一、先确认内存是否真的紧张
先读取整体内存数据。以下命令适用于常见 Linux 发行版,读取的是当前主机状态:
free -h
grep -E '^(MemTotal|MemFree|MemAvailable|Buffers|Cached|SwapCached|SwapTotal|SwapFree|Slab|SReclaimable|SUnreclaim|Shmem):' /proc/meminfo
重点关注:
MemAvailable:内核估算的可供新应用使用的内存,通常比MemFree更适合判断是否接近内存不足。可回收缓存已计入该估算,但它不是承诺一定能回收的容量。Slab:内核 slab 分配器使用的内存总量。SReclaimable:可回收 slab 的估算值,常见对象包括目录项、inode 等缓存。SUnreclaim:当前不易回收的 slab。该值长期增长并伴随可用内存下降,值得重点排查。Cached:主要反映文件页缓存等,不等同于 slab。把Cached和Slab混为一谈,容易误判内存占用。SwapFree:剩余交换空间。交换空间已使用并不必然代表当前故障,还要检查是否正在持续换入、换出。
/proc/meminfo 中的数值单位是 kB,实际按 KiB 理解更准确。比如 SUnreclaim 增加了数百 MiB,只能说明这类占用变多;是否异常还要结合增长速度、业务负载和系统压力判断。
再观察交换和内存压力:
vmstat 1 5
查看每秒输出中的 si、so 列(通常以 KiB/s 计)。短暂出现非零值不一定说明故障;若持续换入换出,同时 MemAvailable 下降、应用响应变慢,就应把问题视作正在影响系统的内存压力。部分内核还提供 PSI 指标:
if [ -r /proc/pressure/memory ]; then
cat /proc/pressure/memory
fi
some 表示有任务因内存压力而停顿,full 表示一段时间内所有非空闲任务都受到压力影响。不同内核提供的字段和统计窗口可能不同,应以当前机器输出为准。
二、确认增长来自哪一类 slab 缓存
用 slabtop 查看占用较大的缓存:
sudo slabtop -o
这是一次性读取,不会修改系统状态。关注 CACHE SIZE、ACTIVE、TOTAL 以及缓存名称。若命令不可用,可检查 /proc/slabinfo:
sudo head -n 8 /proc/slabinfo
需要比较增长时,可记录同一缓存的对象数量和对象大小:
sudo awk 'NR > 2 {printf "%-32s active=%-10s total=%-10s objsize=%s\n", $1, $2, $3, $4}' /proc/slabinfo
active 是正在使用的对象数,total 是已分配对象容量,objsize 是单个对象大小。total × objsize 可作为对象容量的粗略估算,不等于缓存实际占用的精确字节数;slab 页内的空隙、对齐和管理开销都会影响实际值。若字段格式与示例不符,应先检查本机文件头,不要直接套用脚本结果。
常见缓存名称可能包括 dentry、inode_cache、文件系统专用 inode 缓存,以及 kmalloc-* 等。名称只能提供线索,不能单独证明问题根因:
dentry、inode 类缓存随目录遍历、文件访问量变化,可能在工作负载结束后仍保留一段时间;若系统有内存压力,它们通常比不可回收对象更有机会被回收。kmalloc-*是通用分配缓存,通常不能仅凭名称确定是哪一个服务或内核组件在分配。- 某些文件系统、设备驱动或内核模块会使用专属缓存。需要结合实际启用的文件系统、硬件和内核模块判断,不能看到缓存名称就直接卸载模块或重启服务。
判断时最好连续采集多次,而不是只截取一次输出。可间隔数分钟或覆盖一个业务高峰,记录同一缓存的 total、active、SReclaimable、SUnreclaim 和 MemAvailable。如果对象数随负载上涨后趋于平台,负载下降后仍维持一定缓存量,并不自动等于泄漏;如果对象数和 SUnreclaim 在负载平稳时持续增长,才更像需要追踪的异常趋势。
| 观察结果 | 更可能的解释 | 下一步 |
|---|---|---|
Slab 增长,SReclaimable 占比较高,MemAvailable 稳定 | 可回收缓存随访问负载增加 | 继续观察缓存是否趋稳及压力指标 |
SUnreclaim 持续增长,MemAvailable 下降 | 不易回收的内核对象增加,需定位具体缓存 | 对比 /proc/slabinfo 和业务、内核变更 |
| slab 数值变化不大,但交换活动、PSI 或 OOM 增加 | 压力可能来自进程、容器限制或其他内存类别 | 检查进程和 cgroup,勿把原因直接归到 slab |
| 某个缓存突增,但主机可用内存充足、无压力 | 可能是阶段性工作负载或缓存预留 | 保存趋势数据,再观察负载下降后的变化 |
三、由外到内定位压力来源
1. 检查进程,但不要把进程 RSS 当成 slab
先查看常驻内存较高的进程:
ps -eo pid,comm,rss,vsz --sort=-rss | head -n 15
RSS 通常以 KiB 显示,表示进程当前驻留的内存页;VSZ 是虚拟地址空间,不等于实际占用的物理内存。多个进程的 RSS 还可能重复计算共享页,因此不能简单相加后与 MemTotal 对比。
Slab 属于内核内存,通常不会完整显示在某个用户进程的 RSS 中。进程列表没有明显大户,并不能排除内核缓存增长。需要进一步归因时,可对单个进程查看比例驻留集:
sudo cat /proc/<PID>/smaps_rollup
把 <PID> 替换为实际进程号。若该文件不存在,可能是内核较旧或权限不足;不要因此把 RSS 与 slab 直接画等号。
2. 查看容器或服务的内存限制
容器内看到的空闲内存可能受 cgroup 限制,不能只看主机总内存。先确认当前进程所属的 cgroup:
cat /proc/self/cgroup
在 cgroup v2 环境中,相关目录通常挂载在 /sys/fs/cgroup,但容器的挂载和目录映射可能不同。确认路径后,再读取该 cgroup 下实际存在的指标,例如:
cat /sys/fs/cgroup/<实际路径>/memory.current
cat /sys/fs/cgroup/<实际路径>/memory.max
cat /sys/fs/cgroup/<实际路径>/memory.stat
cat /sys/fs/cgroup/<实际路径>/memory.events
这里的 <实际路径> 需按本机 cgroup 配置替换,不要照抄占位符。memory.current 是当前用量,memory.max 是限制;memory.stat 在支持的内核和 cgroup 版本中可能包含 slab 相关字段,memory.events 可帮助检查是否发生过限额或 OOM 事件。字段缺失并不代表没有内存压力,可能只是内核或 cgroup 版本不提供。
若主机 MemAvailable 仍充足,但某个容器接近 memory.max,问题可能是容器限额,而非主机 slab 总量异常。反过来,容器内的进程列表也不能完整说明主机级内核内存的归属。
3. 关联 OOM 记录和业务时间线
使用 systemd 的系统可查看内核日志:
sudo journalctl -k --since "1 hour ago" | grep -Ei 'oom|out of memory|killed process'
没有 systemd 或日志不可用时,可尝试:
sudo dmesg -T | grep -Ei 'oom|out of memory|killed process'
日志中出现 OOM 并不自动证明 slab 是根因。要确认被杀进程、发生时间、当时的可用内存及容器限额,并和 slab 增长趋势对齐。日志可能因权限、轮转或内核配置无法完整保留;没有匹配到记录,也不能据此排除过去发生过压力。
四、根据结果选择处理方式
可回收缓存随负载波动
若 SReclaimable 较高,负载增加时相关缓存上升,但 MemAvailable 稳定且没有持续换页或 OOM,优先记录趋势并观察负载下降后的变化。内核保留缓存可以减少后续分配和文件访问开销,不建议仅因 slab 数字较大就清缓存或重启机器。
不可回收部分持续增长
若 SUnreclaim 和某个 slab 缓存同步上升,同时可用内存持续下降,先核对近期是否发生内核升级、驱动或内核模块变更、文件系统负载变化,以及相关业务是否出现大量对象创建但未释放。缓存对象数量只能说明增长位置,未必能直接定位分配者;必要时应在测试环境或维护窗口使用适配当前内核的追踪工具,短时间采集分配与释放路径。动态追踪可能带来额外开销,不宜在高负载生产环境中未经评估长期启用。
如果变化与特定软件或模块升级时间一致,优先查阅该版本的已知问题和修复记录,并在测试环境验证升级或回退方案。涉及内核包或驱动回退时,先确认启动项、依赖关系和维护窗口,保留可启动的旧内核;回退可能同时影响安全修复和硬件兼容性,不能为了压低 slab 数字而直接操作。
内存压力正在影响业务
若 MemAvailable 快速下降、si/so 持续非零、PSI 压力升高或出现 OOM,应先采取业务侧的限流、暂停非必要批处理等低风险措施,降低新的分配速度。变更前记录当前监控、相关进程、cgroup 限额和日志;如果限流引发业务积压,应按现有业务流程恢复流量,而不是同时叠加多个未经验证的内存调整。
不要把向 /proc/sys/vm/drop_caches 写入数值当作修复方案。此操作会清理部分可回收缓存,可能造成后续访问变慢,且不能解决不可回收对象持续增长的问题;缓存也可能重新建立。若确有临时诊断需求,应先在维护窗口评估影响、记录基线,并确保能接受性能波动,不要把它作为常规生产处置手段。
五、复测与持续观察
调整业务负载、配置或软件后,使用与排查阶段相同的指标和采集间隔复测,至少比较:
SReclaimable、SUnreclaim及增长较明显的 slab 缓存对象数;MemAvailable、交换区使用量,以及vmstat中的si/so;- PSI、OOM 日志和容器的
memory.current、memory.events(如适用); - 业务负载、延迟和错误率,确认内存改善没有以业务异常为代价。
修复有效的信号不是某一时刻 Slab 突然变小,而是增长趋势得到控制、可用内存不再持续下滑、压力指标恢复稳定,并且业务运行正常。若指标仍持续恶化,应保留前后对比数据和时间线,继续沿具体缓存、cgroup 或近期内核变更追踪;在根因未确认前,不要仅凭缓存总量做清理、卸载模块或重启等高影响操作。

围绕 Linux 主机的业务承载与内存资源需求,A5idc数据提供中国香港、美国、日本、韩国、中国台湾、新加坡及马来西亚等地区的物理服务器租用,产品覆盖多档 CPU、内存、SSD/NVMe 存储及不同网络线路配置,可用于网站、数据库、容器和计算类业务部署。多样的资源组合为不同负载场景提供硬件基础,也便于企业结合业务规模与访问区域安排服务器资源。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/9577.html



