香港服务器出现内存泄漏,如何区分进程增长与缓存占用
遇到香港服务器内存持续下降,不能只看 free 变小就认定发生了内存泄漏。判断重点是:可回收缓存是否仍然充足、MemAvailable 是否持续下降、交换区是否发生持续读写,以及某个进程的 RSS/PSS 是否随时间和请求量单调增长。缓存占用通常可以在内存压力下被回收,进程泄漏则会直接挤压可用内存,并可能触发 OOM。
排查应按“确认症状 → 建立原因树 → 逐层排除 → 定位根因 → 验证恢复”推进。先确认影响的是整台服务器、某个容器,还是单个服务;再把网络连接、内核缓存、服务并发、应用堆内存和共享内存分开观察,避免仅凭一次 top 输出做结论。

内存排查也离不开与业务负载相匹配的服务器资源。A5数据提供香港物理服务器,涵盖Xeon Gold与AMD EPYC等平台,并有搭配较大内存和NVMe存储的配置,可用于承载网站、数据库、接口服务及多任务业务;同时提供美国、日本等地区的服务器方案,覆盖不同区域的部署需求。
先确认症状与影响范围
区分“已使用”与“可用”
Linux 的内存统计中,free、used、buff/cache 和 available 含义不同:
free:当前没有被使用的物理内存,通常不是最重要的判断指标。buff/cache:文件页缓存、缓冲区以及部分可回收内核缓存。available:内核估算在不明显触发交换的情况下,还能提供给新程序使用的内存。used:不同版本procps的计算方式可能略有差异,不能单独用于判断泄漏。swap used:表示曾经或正在使用交换区,但单独出现并不等于内存泄漏。
可以先执行只读检查:
free -h
进一步查看内核拆分:
grep -E '^(MemTotal|MemFree|MemAvailable|Buffers|Cached|SReclaimable|SUnreclaim|Shmem|SwapTotal|SwapFree|SwapCached):' /proc/meminfo
例如,下面两种状态的风险并不相同:
| 状态 | MemAvailable | buff/cache | Swap | 初步判断 |
|---|---|---|---|---|
| 16 GiB 内存,available 8 GiB | 8 GiB | 7 GiB | 0 | 缓存较多,但压力通常不高 |
| 16 GiB 内存,available 900 MiB | 1.2 GiB | 2 GiB | 3 GiB | 已有明显内存压力,需要继续排查 |
| 16 GiB 内存,available 7 GiB | 7 GiB | 6 GiB | 0 | 进程占用可能较高,但暂未形成系统性压力 |
| 16 GiB 内存,available 300 MiB | 300 MiB | 10 GiB | 0 | 仍可能是匿名内存、共享内存或不可回收内核内存占用 |
上表是判断示例,不代表某台香港服务器的实际状态。重点在于:buff/cache 很大并不自动等于泄漏;如果 MemAvailable 仍充足,且交换区没有持续活动,优先级通常低于持续增长的匿名内存。
确认是否已经影响业务
内存问题可能先表现为响应变慢,随后才出现进程退出。可以观察:
vmstat 1 5
重点关注:
si:从交换区读入内存的速率。so:从内存写入交换区的速率。free:空闲内存变化。r:等待 CPU 的运行队列。wa:等待磁盘 I/O 的时间。
如果 si、so 长时间为零,而 MemAvailable 仍较高,通常不像正在发生严重交换压力。如果 si、so 持续出现,同时业务延迟上升,说明内存压力已经影响执行效率。
部分较新的 Linux 内核还支持 PSI 内存压力指标:
cat /proc/pressure/memory
示例输出可能类似:
some avg10=1.25 avg60=0.48 avg300=0.12 total=1234567
full avg10=0.35 avg60=0.10 avg300=0.03 total=456789
这里的数值只是模拟示例。some 表示部分任务因内存资源受阻,full 表示所有可运行任务都曾同时受阻。若 avg10 在流量正常时持续升高,应结合交换、I/O 和进程变化判断,而不是单独使用 PSI 下结论。
建立内存异常原因树
可以把原因分成四个层级,再加上容器边界这一类常被忽略的限制:
| 层级 | 可能原因 | 观察依据 | 下一步 |
|---|---|---|---|
| 网络 | 连接数暴增、长连接积压、上传请求堆积、上游超时重试 | ss -s、连接状态、请求并发变化 | 对比连接数、请求数、超时和进程 RSS |
| 系统 | 文件页缓存、Slab、tmpfs、交换压力、内核回收异常 | /proc/meminfo、vmstat、slabtop | 判断是否可回收,区分匿名内存与内核内存 |
| 服务 | 工作进程过多、连接池或队列无上限、服务缓存过大 | 进程数量、RSS/PSS、服务指标 | 对照 worker、队列、连接池和缓存配置 |
| 应用 | 堆对象泄漏、原生内存泄漏、未释放请求上下文、插件问题 | 单进程 PSS、运行时堆、采样趋势 | 使用应用自身的诊断工具或剖析数据 |
| 容器或限制 | cgroup 上限过小、容器被单独 OOM | memory.current、memory.events | 分别看宿主机和容器的内存视图 |
网络层通常不是“内存泄漏”的直接证据,但它可能是触发条件。例如香港服务器作为网站源站时,突发请求、慢客户端、大量 Keep-Alive、WebSocket 会话、上传请求或上游响应变慢,都会让服务同时保留更多连接和请求上下文。若访问量恢复后进程内存仍不下降,才更接近服务或应用本身的保留问题。
逐层排除:从系统状态到进程占用
第一步:查看进程 RSS,而不是只看 VSZ
先列出物理内存占用较高的进程:
ps -eo pid,ppid,user,comm,%mem,rss,vsz,stat --sort=-rss | head -n 20
字段含义如下:
RSS:进程当前驻留在物理内存中的页面,单位通常是 KiB。VSZ:进程申请或映射的虚拟地址空间,不等于实际占用的物理内存。%MEM:按整机物理内存计算的比例。STAT:进程运行、睡眠或等待状态。
如果某个进程的 VSZ 很大,但 RSS 长期稳定,不能仅凭 VSZ 判断泄漏。某些运行时会预留较大的虚拟地址空间,内存映射文件也会扩大 VSZ。
对于具体进程,可以查看匿名内存、文件映射和交换情况:
grep -E '^(Name|VmRSS|VmSize|VmData|VmSwap|RssAnon|RssFile|RssShmem):' /proc/<PID>/status
将 <PID> 替换为实际进程号。常见判断方向是:
RssAnon持续增长:更像堆、栈、匿名映射或运行时对象增长。RssFile较高:可能与文件映射、共享库或文件页有关,不能直接认定为泄漏。RssShmem较高:需要检查共享内存、tmpfs、进程间通信或数据库内存。VmSwap较高:说明该进程部分页面已被换出,但不代表它一定是泄漏源。
Linux 支持时,可以进一步查看 PSS:
cat /proc/<PID>/smaps_rollup | grep -E '^(Rss|Pss|Private|Shared|Swap):'
PSS 会按比例分摊共享页面,比直接累加各进程 RSS 更适合分析多 worker 服务。需要注意,读取 smaps 或 smaps_rollup 可能需要较高权限,且频繁读取会产生额外开销,不建议在高峰期对大量进程连续采样。
第二步:判断是否只是文件缓存
文件页缓存的典型特征是:

Cached或SReclaimable较高;MemAvailable仍有余量;vmstat中没有持续的交换读写;- 业务压力下降后,缓存规模可以回落;
- 没有单个进程 RSS/PSS 持续上升。
如果服务器执行了大量文件读取、日志写入、备份或静态文件分发,缓存变大是正常现象。香港服务器上运行网站、对象存储网关或日志处理程序时,这种情况尤其容易被误认为“内存被吃光”。
需要单独留意 Shmem 和 Slab,因为它们不能简单等同于普通文件缓存:
command -v slabtop >/dev/null && slabtop -o
或者查看更完整的内核内存分类:
grep -E '^(Slab|SReclaimable|SUnreclaim|KernelStack|PageTables|Percpu|Shmem|AnonPages|Mapped):' /proc/meminfo
判断方向:
SReclaimable高且可以随压力回收,通常属于可回收内核对象。SUnreclaim持续增长,说明可能存在不可回收内核对象、驱动、网络结构或特定内核子系统问题。Shmem持续增长,要检查/dev/shm、tmpfs、共享内存段和相关服务。AnonPages与某个进程 RSS 同步增长,更应优先检查应用堆或原生内存。
不建议把清空缓存当成修复手段。强制丢弃缓存可能造成后续磁盘读取增加、I/O 等待升高,甚至让业务延迟暂时恶化。只有在明确的测试场景、维护窗口和回滚安排下,才考虑进行缓存实验;日常故障处理应先确认缓存是否真正造成压力。
第三步:检查网络连接是否造成并发内存增长
先查看连接概况:
ss -s
cat /proc/net/sockstat
可以进一步观察连接状态:
ss -tan state established | awk 'NR > 1 {print $4}' | sort | uniq -c | sort -nr | head
如果需要分析套接字缓冲区,在确认系统负载允许的情况下查看:
ss -mtn
网络分支需要同时核对以下现象:
ESTAB连接是否突然增加;CLOSE-WAIT是否持续堆积,提示应用没有及时关闭连接;SYN-RECV是否异常偏高,提示连接建立压力或半连接积压;- 上传请求、长连接或大响应是否与 RSS 增长同步;
- 反向代理、应用服务和上游之间是否出现超时重试;
- 香港服务器前方是否有 CDN、负载均衡或其他入口层,入口重试是否放大了请求数。
如果连接数在下降后进程 RSS 也能回落,问题可能是并发峰值、连接池或请求缓冲区配置,而不是传统意义上的泄漏。如果连接数恢复正常,进程 RSS 仍持续增长,则应继续进入服务和应用层。
第四步:确认是否发生交换或 OOM
查看交换区:
free -h
swapon --show
交换区已使用不一定表示当前正在严重换页。Linux 可能把长时间不活跃的页面换出,而业务仍保持正常。更有价值的是结合 vmstat 看 si/so 是否持续活动,并观察业务响应时间。
检查内核是否记录了 OOM:
journalctl -k --since "2 hours ago" | grep -Ei 'out of memory|oom|killed process|memory cgroup'
如果系统没有使用 systemd-journald,可以尝试:
dmesg -T | grep -Ei 'out of memory|oom|killed process|memory cgroup'
典型日志可能包含:
Out of memory: Killed process 2481 (example-service) total-vm:...
oom_reaper: reaped process 2481 (example-service)
Memory cgroup out of memory: Killed process 731 (worker)
这些是日志格式示例,不代表当前环境已经发生 OOM。若看到 Memory cgroup out of memory,不能只查看宿主机 free -h,因为容器可能已经达到自身上限,而宿主机仍有可用内存。
定位服务、容器与应用根因
检查服务进程是否“随时间单调增长”
一次采样只能告诉你当前谁占得多,不能证明谁在泄漏。应按固定间隔记录同一组指标,例如每 1 至 5 分钟记录一次:

- 进程 PID、RSS、PSS、匿名内存;
- 进程数量和 worker 数量;
- 活跃连接、请求并发、队列长度;
MemAvailable、SwapFree、si/so;- OOM、服务重启和响应延迟。
如果服务会正常滚动重启或 worker 会周期性退出,应把 PID 变化记录下来。旧 PID 结束、新 PID 出现后内存下降,可能是 worker 生命周期机制在控制增长;若同一个 PID 在业务负载相近时持续增长,则更接近进程内部保留问题。
可以用一个简单的判断表组织结果:
| 观察结果 | 更可能的方向 | 还需确认 |
|---|---|---|
buff/cache 增长,available 充足,进程 RSS 稳定 | 文件缓存或可回收内核缓存 | 压力下是否能回收 |
单个进程 RSS、PSS 和 RssAnon 持续增长 | 应用堆、原生库或请求对象未释放 | 运行时堆与请求类型 |
| RSS 增长,但连接数和请求量同步增长,空闲后回落 | 并发峰值、缓冲区或连接池 | 并发上限和超时配置 |
| RSS 增长,连接数正常,业务低谷仍不回落 | 内存泄漏或无上限缓存 | 堆快照、对象统计、版本变更 |
SUnreclaim 增长,进程占用无法解释 | 内核、驱动或网络子系统 | Slab 类别和内核版本 |
| 宿主机 available 较高,但容器 OOM | cgroup 内存上限 | memory.current、memory.events |
检查 cgroup 内存边界
在使用容器或 systemd 资源限制时,进程看到的可用内存可能小于整台服务器的可用内存。可以先判断 cgroup 文件系统类型:
stat -fc %T /sys/fs/cgroup
如果环境使用 cgroup v2,可查看当前作用域中的指标:
cat /sys/fs/cgroup/memory.current
cat /sys/fs/cgroup/memory.max
cat /sys/fs/cgroup/memory.events
memory.max 显示为 max 通常表示该层级没有设置固定上限;如果是具体数值,则需要换算为字节后与 memory.current 对照。memory.events 中的 oom 或 oom_kill 增长,说明该 cgroup 曾触发内存限制。
如果使用 Docker,也可以先做一次非持续监控:
docker stats --no-stream
容器场景需要同时看三组数据:

- 宿主机的
MemAvailable和交换压力; - 容器的
memory.current或容器统计值; - 容器内具体进程的 RSS/PSS。
否则容易出现“宿主机还有内存,但容器已经被杀”的误判。
把应用内部对象与系统内存对应起来
确认是应用进程后,还要区分以下几类增长:
- 运行时堆增长:例如对象、数组、字符串、会话数据没有释放。
- 原生内存增长:扩展、驱动、压缩库、图像处理库或其他 C/C++ 组件分配后未归还。
- 无上限缓存:应用缓存、模板缓存、查询结果缓存或用户会话不断增加。
- 请求上下文滞留:超时请求、异步任务、上传内容或队列消息未完成。
- worker 与连接池过量:进程数量、线程数量、连接池上限高于实际内存承受能力。
- 共享内存增长:数据库缓冲区、进程间通信、tmpfs 或大文件映射被误算到单个进程。
以支持运行时堆统计的应用为例,应同时观察“堆已用”“堆已提交”和操作系统 RSS。堆已用稳定但 RSS 继续增加,可能要检查原生内存、线程栈、内存映射或共享库;RSS 增长而对象数量同步增加,则更像应用对象未释放。
不要把“重启后内存恢复”直接当作根因证明。重启只能说明进程退出后占用被释放,既可能是泄漏,也可能是缓存预热、连接池、碎片化或正常的生命周期回收。根因仍需要结合增长曲线、业务请求类型和版本变更确认。
验证恢复与控制风险
只是缓存占用时
如果确认 MemAvailable 充足、交换不活跃、进程 RSS 稳定,通常不需要重启服务器,也不需要手工清空文件缓存。应继续观察业务延迟和缓存是否具有正常的回收能力。
可以在低峰期做一次对照观察:记录当前 free -h、vmstat、进程 RSS 和业务延迟,在流量下降后再次记录。如果缓存下降或 available 保持稳定,而进程占用没有异常变化,说明“缓存大”不是主要故障。
进程或应用持续增长时
应先保留证据,再进行优雅重启或滚动替换。需要注意:
- 先保存进程列表、内存统计、OOM 日志和业务时间点;
- 对有长连接、会话或上传任务的服务,先摘除流量或使用服务自身的优雅退出机制;
- 确认重启是否会中断请求、清空本地缓存或断开数据库连接;
- 修改 worker、连接池或缓存上限前备份配置;
- 逐项修改,保留原值作为回滚依据;
- 不建议在证据不足时直接使用强制终止,以免丢失现场和未完成请求。
重启服务属于应急恢复,不是修复。恢复后应继续采样,确认同一个版本、同一类流量下 RSS 增长速度是否消失。若几个小时或一个完整业务高峰后再次出现相同曲线,应优先回到应用对象、依赖库和配置上定位。
已经发生 OOM 时
若业务正在受影响,可按影响范围处理:
- 确认被杀的是哪个进程,以及是宿主机 OOM 还是 cgroup OOM。
- 对仍在服务的实例做流量分流,避免多个实例同时进入交换压力。
- 采集日志和内存指标后,对异常服务做优雅重启或滚动替换。
- 检查是否有单个请求、队列、连接池或缓存上限过大。
- 在修复前设置合理的进程、容器或服务级保护,避免单个实例耗尽整机内存。
增加交换空间可以缓冲短时内存峰值,但会受到磁盘 I/O 延迟影响,不能替代修复泄漏。盲目调大交换区或调低系统回收参数,可能把“快速 OOM”变成“长时间卡顿”,需要根据业务延迟要求评估。
验证是否真正恢复
恢复后的成功标准应同时覆盖系统、进程和业务三个层面:
MemAvailable在负载稳定后不再持续单调下降;vmstat中si/so没有持续活动;- 没有新的 OOM 或 cgroup
oom_kill记录; - 异常进程 RSS/PSS 的增长曲线变平;
- 连接数、队列长度和 worker 数量回到预期范围;
- 请求延迟、错误率和超时率恢复;
- 低峰期后内存不会长期维持在不断抬高的基线。
建议至少覆盖一次业务高峰和一次低峰进行观察。对于有明显日周期的站点,只在重启后十几分钟内看到内存下降,不能作为长期修复依据。
复发监控点与记录模板
为避免再次把缓存误报成泄漏,可以建立以下监控组合:
主机层
MemAvailable及其下降速度;AnonPages、Cached、SReclaimable、SUnreclaim、Shmem;- Swap 使用量、swap in/out;
- memory PSI;
- OOM 和内核内存日志。
进程与服务层
- 按 PID 记录 RSS、PSS、
RssAnon、RssFile、VmSwap; - 进程数量、线程数量和 worker 数;
- 活跃连接、请求并发、队列长度;
- 连接池、缓存条目数和缓存命中情况;
- 服务重启、版本发布和配置变更时间。
容器层
memory.current与memory.max;memory.events中high、oom、oom_kill的变化;- 容器重启次数;
- 容器内进程 RSS 与宿主机统计是否一致。
告警阈值不应只设为“used 超过某个百分比”。更有区分度的组合是:MemAvailable 持续下降、交换持续读写、某个进程 PSS 斜率持续为正,并且业务延迟或错误率同步恶化。这样既能减少缓存占用带来的误报,也能更早发现真正的进程增长和 OOM 风险。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/4787.html



