香港服务器内存占用持续增长,如何区分缓存与内存泄漏?
持续增长不等于内存泄漏。Linux 会把空闲内存用于文件页缓存、目录项和 inode 缓存,以减少磁盘访问;当应用需要内存时,其中一部分通常可以被回收。因此,判断重点不是 free 是否变小,而是 MemAvailable 是否持续下降、缓存是否能够回收,以及具体进程的匿名内存是否随时间单调上升。
香港服务器上的公网请求、长连接、反复重试和突发流量,可能让 socket 缓冲区、连接跟踪、反向代理队列或业务进程工作集暂时变大。网络流量是触发条件,不代表根因一定在网络。要区分正常缓存、系统内存压力、服务配置问题和应用泄漏,应按照“确认症状—建立原因树—逐层排除—定位根因—验证恢复”的顺序检查。
先确认内存是否真的处于异常状态
不要只看 free 数值
Linux 常用的内存字段含义并不相同:
| 指标 | 含义 | 判断时的注意事项 |
|---|---|---|
free | 当前未被使用的内存 | 数值较小不一定代表故障 |
buff/cache | 文件页缓存、目录项、inode 等缓存 | 通常具有一定可回收性 |
available | 在不大量使用交换分区的情况下,预计还能提供给新进程的内存 | 判断整体内存余量时优先关注 |
swap used | 已经写入交换分区的内存 | 有使用量不代表当前仍在持续换入换出 |
| 进程 RSS | 进程驻留在物理内存中的页面 | 适合观察进程趋势,但共享页可能重复计算 |
| PSS | 按共享比例分摊后的进程物理内存 | 比 RSS 更适合比较多个进程的实际占用 |
先执行只读检查,保存多个时间点的结果,不要根据单次输出归因:
date
free -h
grep -E 'MemTotal|MemFree|MemAvailable|Buffers|Cached|SReclaimable|SUnreclaim|Shmem|AnonPages|SwapTotal|SwapFree' /proc/meminfo
vmstat 1 5
free -h 中的 available 比 free 更有参考价值。比如一台 8 GiB 内存的服务器,free 只有 300 MiB,但 available 仍有 3 GiB,且 buff/cache 较高、交换活动为零,通常属于系统在利用空闲内存做缓存,并不等同于泄漏。
相反,如果 available 从数 GiB 持续下降到几百 MiB,AnonPages 或某个进程的 RSS 同步上升,并且 vmstat 中 si、so 持续出现非零值,就应进一步检查内存压力和进程增长。
用时间序列而不是单点判断
建议至少记录以下时间点:
- 业务正常时;
- 内存占用开始上升时;
available明显下降时;- 交换分区开始活跃时;
- 服务出现延迟、重启或 OOM 时。
示例状态仅用于说明判断方法:

| 时间 | available | buff/cache | 目标进程 RSS | vmstat si/so | 初步判断 |
|---|---|---|---|---|---|
| 10:00 | 2.8 GiB | 1.6 GiB | 620 MiB | 0/0 | 运行正常 |
| 10:30 | 2.6 GiB | 2.4 GiB | 625 MiB | 0/0 | 更像文件缓存增长 |
| 11:00 | 2.5 GiB | 2.5 GiB | 630 MiB | 0/0 | 可用内存基本稳定 |
| 11:30 | 1.2 GiB | 2.4 GiB | 1.8 GiB | 12/18 | 进程或队列增长,需要排查 |
| 12:00 | 420 MiB | 2.3 GiB | 3.1 GiB | 85/120 | 已进入明显内存压力状态 |
上表中的后两行,如果目标进程是同一个长期运行的服务,且 RSS 没有在流量恢复后回落,泄漏、无界缓存或请求堆积的可能性明显增加。若只是 buff/cache 增长,而 available 稳定,通常不应直接清理缓存或重启服务。
建立内存异常的原因树
可以把原因分为网络触发、系统内存、服务运行时和应用逻辑四层。每一层的观察对象不同,不能仅凭“内存占用持续增长”统一处理。
网络与连接层
公网流量可能通过以下路径增加内存:
- 长连接数量上升,导致每个连接保留 socket 结构和缓冲区;
- 突发请求使反向代理、应用服务器或消息队列出现积压;
- 上游异常导致请求超时、重试和连接同时增加;
- 大请求体、上传文件或响应缓冲区被大量保留;
- 某个来源持续建立连接,但业务进程没有及时释放。
网络层更像是“输入变量”。如果连接数量上升,同时应用进程 RSS、线程数或请求队列也上升,才需要继续追踪服务和应用代码。单独看到 TIME_WAIT 增多,不能直接证明存在内存泄漏。
可以先查看连接和 socket 概况:
ss -s
cat /proc/net/sockstat
ss -m -tan | head -n 30
ss -s 可以帮助确认 TCP 连接、监听连接和各类状态的数量;/proc/net/sockstat 能看到内核维护的 socket 使用情况;ss -m 会显示部分 socket 内存信息。输出格式会随内核版本不同而变化,重点是比较不同时间点的趋势。
如果 ESTAB 长连接数量持续增加,应结合业务设计判断是否正常。例如 WebSocket、数据库连接池或长轮询本来就会保持连接;如果业务没有长连接设计,却出现连接长期不释放,则要检查超时、连接池和上游重试。
系统内存层
系统层常见分支包括:
- 文件页缓存增长,但具有可回收性;
- slab 缓存增长,其中一部分可回收,另一部分可能长期占用;
tmpfs、共享内存或内存文件增长;- 内核 socket 缓冲区、网络对象或文件对象增加;
- 交换分区活跃,系统进入内存压力;
- 容器或 systemd 控制组达到自身限制,即使宿主机仍有可用内存。
查看 /proc/meminfo 时,几个字段值得重点对照:
Cached、SReclaimable增长,且MemAvailable稳定,通常偏向可回收缓存;SUnreclaim持续增长,需要关注内核对象、连接、文件系统或驱动;AnonPages持续增长,更接近进程堆、线程栈、匿名映射等用途;Shmem增长,可能与tmpfs、共享内存、容器临时文件或进程间通信有关;SwapFree下降并伴随si/so活跃,说明系统正在承受交换压力。
如果需要进一步观察 slab,可以使用:
slabtop -o
slabtop 在部分系统中需要较高权限,且不一定默认安装。不要只根据某个 slab 项一次性偏高就下结论,应观察其是否持续增长,以及是否与连接数、文件数或业务流量同步。
还可以检查内存文件系统:
df -hT
df -h /dev/shm
du -xhd1 /dev/shm 2>/dev/null | sort -h
这里的 du 只检查 /dev/shm,不会递归扫描整个系统。若 tmpfs 使用量与内存增长同步,应继续确认是哪一个服务写入了共享内存或临时文件。
服务运行时层
服务进程可能因为配置或运行时机制占用越来越多内存,常见情况包括:
- PHP-FPM、应用服务器等工作进程数量增加;
- Java、Node.js、Python 等运行时堆不断扩大;
- 消费线程跟不上生产速度,队列在进程内积压;
- Redis、数据库或搜索服务的缓存策略没有上限;
- 日志、请求体、压缩数据或任务结果在内存中暂存;
- 进程使用内存池,即使请求结束,也不立即归还给操作系统。
先按 RSS 查看进程排序:
ps -eo pid,ppid,user,comm,%mem,rss,vsz,etime --sort=-rss | head -n 20
这里的 rss 通常以 KiB 显示,vsz 是虚拟地址空间大小,不能把 vsz 直接当作实际物理内存。对单个进程继续查看:
pid=1234
grep -E 'Name|VmRSS|RssAnon|RssFile|VmSwap|Threads' /proc/"$pid"/status
如果系统支持 smaps_rollup,可以查看更细的共享和私有页面:
pid=1234
grep -E 'Rss|Pss|Private' /proc/"$pid"/smaps_rollup
RSS 持续上升并不自动等于泄漏。需要结合以下区别:
RssAnon增长:更值得检查堆、对象、线程栈和业务队列;RssFile增长:可能与文件映射、共享库或映射文件有关;VmSwap增长:说明该进程部分页面已经进入交换区;- 进程周期性重启后 RSS 回到较低值:可能是工作进程回收机制,也可能是泄漏被重启暂时掩盖;
- 多个相同进程的 RSS 都增长:可能是并发量或配置问题;
- 只有一个进程增长:更适合优先检查该服务的请求路径、插件和数据结构。
若系统安装了 smem,可以用 PSS 辅助比较多个进程:
smem -p -k -t
没有安装时不必为了单次排查立即安装工具。先用 /proc/PID/status、ps 和服务自身指标建立趋势。
逐层排除:从低风险观察开始
第一步:确认是否存在系统级内存压力
运行:
vmstat 1 10
cat /proc/pressure/memory
vmstat 中:
si表示从交换分区换入;so表示换出到交换分区;free是即时空闲内存,不等同于可用内存;wa较高通常与 I/O 等待有关,需要结合磁盘指标判断。
如果 si、so 长时间为零,available 稳定,且只有 buff/cache 增长,缓存的可能性较高。如果 si、so 持续非零,同时接口延迟、磁盘等待或 CPU iowait 上升,系统已经处于内存压力状态。
交换分区已经使用一部分,也不能单独作为泄漏证据。Linux 可能把暂时不活跃的页面换出,之后即使内存恢复,交换区使用量也不会立即归零。更有意义的是观察是否持续换入换出,以及业务延迟是否受影响。
不要把强制清理页缓存当作诊断手段。生产环境中使用 drop_caches 可能造成磁盘读放大、延迟抖动,并且不能修复应用泄漏。若清理后内存数字暂时变好,只能说明缓存被释放过,不能证明原有问题已经解决。
第二步:定位是主机内存还是控制组内存
容器、systemd 服务或其他控制组可能设置了独立内存上限。此时宿主机还有可用内存,单个服务仍可能因达到限制而被终止。
在使用 cgroup v2 的系统上,可以检查当前控制组:
mount | grep cgroup
test -f /sys/fs/cgroup/memory.current && cat /sys/fs/cgroup/memory.current
test -f /sys/fs/cgroup/memory.max && cat /sys/fs/cgroup/memory.max
test -f /sys/fs/cgroup/memory.events && cat /sys/fs/cgroup/memory.events
memory.current 是控制组当前用量,memory.max 是限制;如果显示 max,表示该项没有设置固定上限。memory.events 中的 high、max、oom、oom_kill 如果持续增加,说明控制组曾经触发内存压力或 OOM 事件。
如果服务器使用容器运行服务,还应对照容器级别的内存限制和统计数据。宿主机 free -h 与容器内部 free -h 可能呈现不同视角,不能用主机剩余内存替代容器限制判断。
第三步:检查 OOM 和服务重启记录
内核 OOM 通常会留下明确日志:
journalctl -k -b --no-pager | grep -Ei 'oom|out of memory|killed process|memory cgroup'
如果系统没有使用 systemd,可以尝试:
dmesg -T | grep -Ei 'oom|out of memory|killed process|memory cgroup'
示例日志仅用于说明含义:
kernel: Memory cgroup out of memory: Killed process 1234 (app-worker)
kernel: Out of memory: Killed process 5678 (java)
出现 Killed process 时,说明内核已经执行了 OOM 处置,但仍需确认是主机级 OOM 还是控制组级 OOM。若服务被守护程序自动拉起,用户可能只看到“进程还在运行”,却忽略了它已经被反复杀死和重启。
可继续查看对应服务:
journalctl -u your-service --since "2 hours ago" --no-pager
将 your-service 替换为实际服务名。若服务名不确定,先用以下命令核对:
systemctl list-units --type=service --state=running
不要直接重启或终止占用较高的进程来“验证”。重启会丢失现场,且有状态服务可能产生数据一致性风险。需要在维护窗口操作时,应先保存日志和监控数据,确认服务有冗余或可恢复机制,并明确重启影响范围。
第四步:从网络流量关联到进程变化
将连接数、请求速率、进程 RSS 和队列长度放在同一时间轴上。可以参考以下判断:
| 观察结果 | 更可能的方向 | 下一步 |
|---|---|---|
连接数增加,但进程 RSS 和 available 基本稳定 | 正常流量增长或长连接设计 | 检查连接上限和业务容量,不急于判定泄漏 |
ESTAB、请求队列和 RSS 同步增长 | 请求处理不完、连接未释放或下游阻塞 | 检查超时、连接池、线程和上游响应 |
TIME_WAIT 增多,但没有持续内存压力 | 短连接频繁建立关闭 | 关注连接复用和请求模式,不能仅凭数量归因 |
| socket 内存持续增长,应用 RSS 变化不大 | 内核网络对象或缓冲区方向 | 检查连接生命周期、发送接收队列和内核日志 |
| 流量恢复后连接下降,但 RSS 不下降 | 进程保留对象、内存池或泄漏 | 进入服务和应用层排查 |
香港服务器面对公网访问时,跨地域网络波动可能让连接保持时间变长,也可能引发客户端重试。但这只能解释“为什么内存暂时升高”,不能替代对连接释放、请求队列和进程堆的检查。
第五步:分析单个进程的增长模式
对目标进程每隔固定时间采样,例如每 60 秒记录一次:
pid=1234
while true; do
printf '%s ' "$(date '+%F %T')"
awk '/VmRSS|RssAnon|RssFile|VmSwap|Threads/ {printf "%s=%s ", $1, $2}' /proc/"$pid"/status
echo
sleep 60
done
这是前台采样命令,按 Ctrl+C 结束,不会修改服务配置。使用前应确认 PID 没有被服务重启替换;如果 PID 发生变化,需要把重启事件单独记录。
观察时重点看:
RssAnon是否随请求量持续上升;Threads是否不断增加;VmSwap是否持续增加;- 进程 RSS 是否在低流量时回落;
- 进程是否存在周期性重启;
- 只有一个 worker 增长,还是所有 worker 一起增长。
如果进程使用的是垃圾回收运行时,堆在短时间内扩大并不一定是泄漏。应结合运行时的堆已用量、堆上限、GC 次数和暂停时间判断。若堆已用量在多轮回收后仍逐步抬高,且与特定请求或任务相关,才更接近对象未释放或无界缓存。
用对比条件定位根因
下面的决策表可以作为现场分流依据:

| 现象组合 | 缓存可能性 | 泄漏或无界增长可能性 | 建议 |
|---|---|---|---|
buff/cache 增长,available 稳定,进程 RSS 稳定 | 高 | 低 | 按正常缓存观察 |
available 下降,但主要是 RssAnon 和某个进程 RSS 增长 | 低 | 高 | 检查堆、队列、连接和对象生命周期 |
SReclaimable 增长,系统压力不明显 | 较高 | 需继续观察 | 对比 SUnreclaim 和 slab 趋势 |
SUnreclaim、socket 数量持续增加 | 低 | 可能是内核或连接对象增长 | 结合网络、文件和内核版本排查 |
容器 memory.current 上升,宿主机 available 仍充足 | 不确定 | 容器内服务可能接近上限 | 检查 cgroup 限制和容器进程 |
si/so 持续非零,延迟升高,日志出现 OOM | 不是单纯缓存 | 已形成内存压力 | 先保护业务,再保留现场定位 |
| 重启后内存恢复,随后按相似斜率再次增长 | 低 | 很可能是泄漏或无界缓存 | 用重启前后趋势验证,不把重启当修复 |
进程内存增长
如果一个进程的 RssAnon 持续增长,常见根因包括:
- 请求对象、会话、结果集或临时数据未释放;
- 进程内缓存没有 TTL、数量上限或淘汰策略;
- 消息消费速度低于生产速度;
- 连接、线程、文件句柄对应的对象未关闭;
- 原生扩展、压缩库或数据库驱动存在内存管理问题;
- 大文件或大请求被一次性载入内存。
此时需要将内存曲线与请求接口、任务类型、队列长度、连接数和错误率关联。只看操作系统 RSS,无法直接指出是哪一段代码泄漏。
服务配置导致的增长
如果多个 worker 同步增长,优先检查并发配置,而不是立即怀疑每个 worker 都存在代码泄漏。例如:
- 工作进程数配置过高;
- 每个 worker 的请求并发和缓冲区上限过大;
- 连接池上限与后端承载能力不匹配;
- 任务队列没有最大长度或消费速率控制;
- 缓存只设置了容量,没有设置过期和淘汰策略。
以 PHP-FPM 一类多进程服务为例,单个 worker 内存约为 180 MiB,配置 20 个 worker 时,仅工作进程就可能接近 3.6 GiB,还没有计入文件缓存、数据库和系统服务。这个计算只是容量估算,实际值应以相同业务请求下的进程采样为准。
如果只有某一个 worker 随时间增长,而其他 worker 稳定,可能是特定请求路径、特定数据或扩展问题;如果所有 worker 在高峰时同步变大,可能是并发和请求体配置造成的正常工作集扩张。
应用缓存导致的增长
Redis、数据库缓冲池、搜索索引缓存和应用内字典都可能是“有意占用”,但有意占用不代表可以无限增长。需要确认:
- 缓存是否设置最大容量;
- 是否启用合理的淘汰策略;
- key、对象或查询结果是否有过期时间;
- 缓存增长是否与业务数据量同步;
- 到达上限后是否会拒绝写入、淘汰旧数据或继续申请内存。
如果应用缓存增长时业务延迟正常、进程指标符合设计上限,属于容量规划问题;如果超过预期上限且没有淘汰,属于配置或实现问题;如果缓存指标不高但 RSS 仍然增长,则应转向对象生命周期、运行时堆和原生组件排查。
验证修复是否真正生效
找到疑似根因后,不要只用“重启后内存下降”作为成功标准。重启会清空进程地址空间,几乎所有泄漏都会暂时消失。更可靠的验证应覆盖一段完整业务周期:
- 保存修复前的
available、buff/cache、进程 RSS/PSS、连接数、队列长度、交换活动和 OOM 日志。 - 在可控流量下运行与之前相近的请求或任务。
- 对比相同时间窗口内的内存增长斜率,而不是只比较起始值。
- 检查低峰期内存是否能够稳定,或至少不再以相同速度上升。
- 确认
si/so不再持续活跃,服务延迟和错误率恢复到正常范围。 - 继续观察多个高峰周期,避免把一次流量下降误判为修复。
例如,修复前某 worker RSS 在 40 分钟内从 700 MiB 增长到 2.4 GiB;修复后经过相似请求量的 40 分钟,RSS 在 760~900 MiB 之间波动,available 没有持续下降,且队列长度能够回落,这才说明问题得到控制。若每次重启后都按近似斜率再次上升,则重启只是清理了结果,没有消除根因。

如果确认只是正常页缓存增长,业务负载下降或系统产生内存需求后,available 应仍能维持在合理水平,缓存能够被回收,且不伴随持续交换和 OOM。若缓存占用本身已经接近内存上限,并且回收速度跟不上业务读写,则需要重新评估内存容量、磁盘访问模式和服务缓存策略。
针对需要长期运行并持续观察内存曲线的网站、业务后台、数据库和接口服务,A5数据提供中国香港、美国、日本、新加坡等地区的物理服务器资源,涵盖Xeon Gold、AMD EPYC等平台,并配备不同容量内存、SSD或NVMe存储及相应网络线路。大内存与高速存储可为应用缓存、数据库缓冲和多任务运行提供硬件基础,香港及美国等地区的多种带宽方案也覆盖公网业务的连接与访问需求。
复发监控点
为了避免再次等到 OOM 才发现问题,建议至少保留以下监控指标:
- 主机
MemAvailable、MemFree、Cached、SReclaimable、SUnreclaim、AnonPages和Shmem; - swap 使用量,以及换入换出速率;
- 内存 PSI 中的
some和full; - 进程 RSS、PSS、
RssAnon、线程数和进程重启次数; - 容器或 systemd 控制组的
memory.current、限制值和 OOM 事件; - TCP 连接状态、socket 内存、请求队列和连接池使用率;
- 业务缓存容量、命中率、淘汰次数和过期数量;
- 服务延迟、错误率、队列长度和请求体大小。
告警应同时设置“当前值”和“增长趋势”。例如,MemAvailable 低于总内存的约 10% 可作为需要关注的参考线,但不能脱离业务特征单独判故障;持续的 si/so、OOM 事件、控制组 oom_kill 增长,以及某进程 RSS 在多个采样周期内单调上升,更适合作为升级排查的触发条件。这样才能把正常缓存、短时流量峰值和真正的内存泄漏区分开。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/4414.html



