香港服务器出现内存泄漏,如何区分进程增长与缓存占用

发布人:A5数据发布时间:2026-10-20 13:51阅读量:109

遇到香港服务器内存持续下降,不能只看 free 变小就认定发生了内存泄漏。判断重点是:可回收缓存是否仍然充足、MemAvailable 是否持续下降、交换区是否发生持续读写,以及某个进程的 RSS/PSS 是否随时间和请求量单调增长。缓存占用通常可以在内存压力下被回收,进程泄漏则会直接挤压可用内存,并可能触发 OOM。

排查应按“确认症状 → 建立原因树 → 逐层排除 → 定位根因 → 验证恢复”推进。先确认影响的是整台服务器、某个容器,还是单个服务;再把网络连接、内核缓存、服务并发、应用堆内存和共享内存分开观察,避免仅凭一次 top 输出做结论。

问题树诊断配图

内存排查也离不开与业务负载相匹配的服务器资源。A5数据提供香港物理服务器,涵盖Xeon Gold与AMD EPYC等平台,并有搭配较大内存和NVMe存储的配置,可用于承载网站、数据库、接口服务及多任务业务;同时提供美国、日本等地区的服务器方案,覆盖不同区域的部署需求。

先确认症状与影响范围

区分“已使用”与“可用”

Linux 的内存统计中,free、used、buff/cache 和 available 含义不同:

  • free:当前没有被使用的物理内存,通常不是最重要的判断指标。
  • buff/cache:文件页缓存、缓冲区以及部分可回收内核缓存。
  • available:内核估算在不明显触发交换的情况下,还能提供给新程序使用的内存。
  • used:不同版本 procps 的计算方式可能略有差异,不能单独用于判断泄漏。
  • swap used:表示曾经或正在使用交换区,但单独出现并不等于内存泄漏。

可以先执行只读检查:

free -h

进一步查看内核拆分:

grep -E '^(MemTotal|MemFree|MemAvailable|Buffers|Cached|SReclaimable|SUnreclaim|Shmem|SwapTotal|SwapFree|SwapCached):' /proc/meminfo

例如,下面两种状态的风险并不相同:

状态MemAvailablebuff/cacheSwap初步判断
16 GiB 内存,available 8 GiB8 GiB7 GiB0缓存较多,但压力通常不高
16 GiB 内存,available 900 MiB1.2 GiB2 GiB3 GiB已有明显内存压力,需要继续排查
16 GiB 内存,available 7 GiB7 GiB6 GiB0进程占用可能较高,但暂未形成系统性压力
16 GiB 内存,available 300 MiB300 MiB10 GiB0仍可能是匿名内存、共享内存或不可回收内核内存占用

上表是判断示例,不代表某台香港服务器的实际状态。重点在于:buff/cache 很大并不自动等于泄漏;如果 MemAvailable 仍充足,且交换区没有持续活动,优先级通常低于持续增长的匿名内存。

确认是否已经影响业务

内存问题可能先表现为响应变慢,随后才出现进程退出。可以观察:

vmstat 1 5

重点关注:

  • si:从交换区读入内存的速率。
  • so:从内存写入交换区的速率。
  • free:空闲内存变化。
  • r:等待 CPU 的运行队列。
  • wa:等待磁盘 I/O 的时间。

如果 si、so 长时间为零,而 MemAvailable 仍较高,通常不像正在发生严重交换压力。如果 si、so 持续出现,同时业务延迟上升,说明内存压力已经影响执行效率。

部分较新的 Linux 内核还支持 PSI 内存压力指标:

cat /proc/pressure/memory

示例输出可能类似:

some avg10=1.25 avg60=0.48 avg300=0.12 total=1234567
full avg10=0.35 avg60=0.10 avg300=0.03 total=456789

这里的数值只是模拟示例。some 表示部分任务因内存资源受阻,full 表示所有可运行任务都曾同时受阻。若 avg10 在流量正常时持续升高,应结合交换、I/O 和进程变化判断,而不是单独使用 PSI 下结论。

建立内存异常原因树

可以把原因分成四个层级,再加上容器边界这一类常被忽略的限制:

层级可能原因观察依据下一步
网络连接数暴增、长连接积压、上传请求堆积、上游超时重试ss -s、连接状态、请求并发变化对比连接数、请求数、超时和进程 RSS
系统文件页缓存、Slab、tmpfs、交换压力、内核回收异常/proc/meminfo、vmstat、slabtop判断是否可回收,区分匿名内存与内核内存
服务工作进程过多、连接池或队列无上限、服务缓存过大进程数量、RSS/PSS、服务指标对照 worker、队列、连接池和缓存配置
应用堆对象泄漏、原生内存泄漏、未释放请求上下文、插件问题单进程 PSS、运行时堆、采样趋势使用应用自身的诊断工具或剖析数据
容器或限制cgroup 上限过小、容器被单独 OOMmemory.current、memory.events分别看宿主机和容器的内存视图

网络层通常不是“内存泄漏”的直接证据,但它可能是触发条件。例如香港服务器作为网站源站时,突发请求、慢客户端、大量 Keep-Alive、WebSocket 会话、上传请求或上游响应变慢,都会让服务同时保留更多连接和请求上下文。若访问量恢复后进程内存仍不下降,才更接近服务或应用本身的保留问题。

逐层排除:从系统状态到进程占用

第一步:查看进程 RSS,而不是只看 VSZ

先列出物理内存占用较高的进程:

ps -eo pid,ppid,user,comm,%mem,rss,vsz,stat --sort=-rss | head -n 20

字段含义如下:

  • RSS:进程当前驻留在物理内存中的页面,单位通常是 KiB。
  • VSZ:进程申请或映射的虚拟地址空间,不等于实际占用的物理内存。
  • %MEM:按整机物理内存计算的比例。
  • STAT:进程运行、睡眠或等待状态。

如果某个进程的 VSZ 很大,但 RSS 长期稳定,不能仅凭 VSZ 判断泄漏。某些运行时会预留较大的虚拟地址空间,内存映射文件也会扩大 VSZ。

对于具体进程,可以查看匿名内存、文件映射和交换情况:

grep -E '^(Name|VmRSS|VmSize|VmData|VmSwap|RssAnon|RssFile|RssShmem):' /proc/<PID>/status

将 <PID> 替换为实际进程号。常见判断方向是:

  • RssAnon 持续增长:更像堆、栈、匿名映射或运行时对象增长。
  • RssFile 较高:可能与文件映射、共享库或文件页有关,不能直接认定为泄漏。
  • RssShmem 较高:需要检查共享内存、tmpfs、进程间通信或数据库内存。
  • VmSwap 较高:说明该进程部分页面已被换出,但不代表它一定是泄漏源。

Linux 支持时,可以进一步查看 PSS:

cat /proc/<PID>/smaps_rollup | grep -E '^(Rss|Pss|Private|Shared|Swap):'

PSS 会按比例分摊共享页面,比直接累加各进程 RSS 更适合分析多 worker 服务。需要注意,读取 smaps 或 smaps_rollup 可能需要较高权限,且频繁读取会产生额外开销,不建议在高峰期对大量进程连续采样。

第二步:判断是否只是文件缓存

文件页缓存的典型特征是:

逐层排除:从系统状态到进程占用配图

  • Cached 或 SReclaimable 较高;
  • MemAvailable 仍有余量;
  • vmstat 中没有持续的交换读写;
  • 业务压力下降后,缓存规模可以回落;
  • 没有单个进程 RSS/PSS 持续上升。

如果服务器执行了大量文件读取、日志写入、备份或静态文件分发,缓存变大是正常现象。香港服务器上运行网站、对象存储网关或日志处理程序时,这种情况尤其容易被误认为“内存被吃光”。

需要单独留意 Shmem 和 Slab,因为它们不能简单等同于普通文件缓存:

command -v slabtop >/dev/null && slabtop -o

或者查看更完整的内核内存分类:

grep -E '^(Slab|SReclaimable|SUnreclaim|KernelStack|PageTables|Percpu|Shmem|AnonPages|Mapped):' /proc/meminfo

判断方向:

  • SReclaimable 高且可以随压力回收,通常属于可回收内核对象。
  • SUnreclaim 持续增长,说明可能存在不可回收内核对象、驱动、网络结构或特定内核子系统问题。
  • Shmem 持续增长,要检查 /dev/shm、tmpfs、共享内存段和相关服务。
  • AnonPages 与某个进程 RSS 同步增长,更应优先检查应用堆或原生内存。

不建议把清空缓存当成修复手段。强制丢弃缓存可能造成后续磁盘读取增加、I/O 等待升高,甚至让业务延迟暂时恶化。只有在明确的测试场景、维护窗口和回滚安排下,才考虑进行缓存实验;日常故障处理应先确认缓存是否真正造成压力。

第三步:检查网络连接是否造成并发内存增长

先查看连接概况:

ss -s
cat /proc/net/sockstat

可以进一步观察连接状态:

ss -tan state established | awk 'NR > 1 {print $4}' | sort | uniq -c | sort -nr | head

如果需要分析套接字缓冲区,在确认系统负载允许的情况下查看:

ss -mtn

网络分支需要同时核对以下现象:

  • ESTAB 连接是否突然增加;
  • CLOSE-WAIT 是否持续堆积,提示应用没有及时关闭连接;
  • SYN-RECV 是否异常偏高,提示连接建立压力或半连接积压;
  • 上传请求、长连接或大响应是否与 RSS 增长同步;
  • 反向代理、应用服务和上游之间是否出现超时重试;
  • 香港服务器前方是否有 CDN、负载均衡或其他入口层,入口重试是否放大了请求数。

如果连接数在下降后进程 RSS 也能回落,问题可能是并发峰值、连接池或请求缓冲区配置,而不是传统意义上的泄漏。如果连接数恢复正常,进程 RSS 仍持续增长,则应继续进入服务和应用层。

第四步:确认是否发生交换或 OOM

查看交换区:

free -h
swapon --show

交换区已使用不一定表示当前正在严重换页。Linux 可能把长时间不活跃的页面换出,而业务仍保持正常。更有价值的是结合 vmstat 看 si/so 是否持续活动,并观察业务响应时间。

检查内核是否记录了 OOM:

journalctl -k --since "2 hours ago" | grep -Ei 'out of memory|oom|killed process|memory cgroup'

如果系统没有使用 systemd-journald,可以尝试:

dmesg -T | grep -Ei 'out of memory|oom|killed process|memory cgroup'

典型日志可能包含:

Out of memory: Killed process 2481 (example-service) total-vm:...
oom_reaper: reaped process 2481 (example-service)
Memory cgroup out of memory: Killed process 731 (worker)

这些是日志格式示例,不代表当前环境已经发生 OOM。若看到 Memory cgroup out of memory,不能只查看宿主机 free -h,因为容器可能已经达到自身上限,而宿主机仍有可用内存。

定位服务、容器与应用根因

检查服务进程是否“随时间单调增长”

一次采样只能告诉你当前谁占得多,不能证明谁在泄漏。应按固定间隔记录同一组指标,例如每 1 至 5 分钟记录一次:

定位服务、容器与应用根因配图

  • 进程 PID、RSS、PSS、匿名内存;
  • 进程数量和 worker 数量;
  • 活跃连接、请求并发、队列长度;
  • MemAvailable、SwapFree、si/so;
  • OOM、服务重启和响应延迟。

如果服务会正常滚动重启或 worker 会周期性退出,应把 PID 变化记录下来。旧 PID 结束、新 PID 出现后内存下降,可能是 worker 生命周期机制在控制增长;若同一个 PID 在业务负载相近时持续增长,则更接近进程内部保留问题。

可以用一个简单的判断表组织结果:

观察结果更可能的方向还需确认
buff/cache 增长,available 充足,进程 RSS 稳定文件缓存或可回收内核缓存压力下是否能回收
单个进程 RSS、PSS 和 RssAnon 持续增长应用堆、原生库或请求对象未释放运行时堆与请求类型
RSS 增长,但连接数和请求量同步增长,空闲后回落并发峰值、缓冲区或连接池并发上限和超时配置
RSS 增长,连接数正常,业务低谷仍不回落内存泄漏或无上限缓存堆快照、对象统计、版本变更
SUnreclaim 增长,进程占用无法解释内核、驱动或网络子系统Slab 类别和内核版本
宿主机 available 较高,但容器 OOMcgroup 内存上限memory.current、memory.events

检查 cgroup 内存边界

在使用容器或 systemd 资源限制时,进程看到的可用内存可能小于整台服务器的可用内存。可以先判断 cgroup 文件系统类型:

stat -fc %T /sys/fs/cgroup

如果环境使用 cgroup v2,可查看当前作用域中的指标:

cat /sys/fs/cgroup/memory.current
cat /sys/fs/cgroup/memory.max
cat /sys/fs/cgroup/memory.events

memory.max 显示为 max 通常表示该层级没有设置固定上限;如果是具体数值,则需要换算为字节后与 memory.current 对照。memory.events 中的 oom 或 oom_kill 增长,说明该 cgroup 曾触发内存限制。

如果使用 Docker,也可以先做一次非持续监控:

docker stats --no-stream

容器场景需要同时看三组数据:

定位服务、容器与应用根因配图

  1. 宿主机的 MemAvailable 和交换压力;
  2. 容器的 memory.current 或容器统计值;
  3. 容器内具体进程的 RSS/PSS。

否则容易出现“宿主机还有内存,但容器已经被杀”的误判。

把应用内部对象与系统内存对应起来

确认是应用进程后,还要区分以下几类增长:

  • 运行时堆增长:例如对象、数组、字符串、会话数据没有释放。
  • 原生内存增长:扩展、驱动、压缩库、图像处理库或其他 C/C++ 组件分配后未归还。
  • 无上限缓存:应用缓存、模板缓存、查询结果缓存或用户会话不断增加。
  • 请求上下文滞留:超时请求、异步任务、上传内容或队列消息未完成。
  • worker 与连接池过量:进程数量、线程数量、连接池上限高于实际内存承受能力。
  • 共享内存增长:数据库缓冲区、进程间通信、tmpfs 或大文件映射被误算到单个进程。

以支持运行时堆统计的应用为例,应同时观察“堆已用”“堆已提交”和操作系统 RSS。堆已用稳定但 RSS 继续增加,可能要检查原生内存、线程栈、内存映射或共享库;RSS 增长而对象数量同步增加,则更像应用对象未释放。

不要把“重启后内存恢复”直接当作根因证明。重启只能说明进程退出后占用被释放,既可能是泄漏,也可能是缓存预热、连接池、碎片化或正常的生命周期回收。根因仍需要结合增长曲线、业务请求类型和版本变更确认。

验证恢复与控制风险

只是缓存占用时

如果确认 MemAvailable 充足、交换不活跃、进程 RSS 稳定,通常不需要重启服务器,也不需要手工清空文件缓存。应继续观察业务延迟和缓存是否具有正常的回收能力。

可以在低峰期做一次对照观察:记录当前 free -h、vmstat、进程 RSS 和业务延迟,在流量下降后再次记录。如果缓存下降或 available 保持稳定,而进程占用没有异常变化,说明“缓存大”不是主要故障。

进程或应用持续增长时

应先保留证据,再进行优雅重启或滚动替换。需要注意:

  • 先保存进程列表、内存统计、OOM 日志和业务时间点;
  • 对有长连接、会话或上传任务的服务,先摘除流量或使用服务自身的优雅退出机制;
  • 确认重启是否会中断请求、清空本地缓存或断开数据库连接;
  • 修改 worker、连接池或缓存上限前备份配置;
  • 逐项修改,保留原值作为回滚依据;
  • 不建议在证据不足时直接使用强制终止,以免丢失现场和未完成请求。

重启服务属于应急恢复,不是修复。恢复后应继续采样,确认同一个版本、同一类流量下 RSS 增长速度是否消失。若几个小时或一个完整业务高峰后再次出现相同曲线,应优先回到应用对象、依赖库和配置上定位。

已经发生 OOM 时

若业务正在受影响,可按影响范围处理:

  1. 确认被杀的是哪个进程,以及是宿主机 OOM 还是 cgroup OOM。
  2. 对仍在服务的实例做流量分流,避免多个实例同时进入交换压力。
  3. 采集日志和内存指标后,对异常服务做优雅重启或滚动替换。
  4. 检查是否有单个请求、队列、连接池或缓存上限过大。
  5. 在修复前设置合理的进程、容器或服务级保护,避免单个实例耗尽整机内存。

增加交换空间可以缓冲短时内存峰值,但会受到磁盘 I/O 延迟影响,不能替代修复泄漏。盲目调大交换区或调低系统回收参数,可能把“快速 OOM”变成“长时间卡顿”,需要根据业务延迟要求评估。

验证是否真正恢复

恢复后的成功标准应同时覆盖系统、进程和业务三个层面:

  • MemAvailable 在负载稳定后不再持续单调下降;
  • vmstat 中 si/so 没有持续活动;
  • 没有新的 OOM 或 cgroup oom_kill 记录;
  • 异常进程 RSS/PSS 的增长曲线变平;
  • 连接数、队列长度和 worker 数量回到预期范围;
  • 请求延迟、错误率和超时率恢复;
  • 低峰期后内存不会长期维持在不断抬高的基线。

建议至少覆盖一次业务高峰和一次低峰进行观察。对于有明显日周期的站点,只在重启后十几分钟内看到内存下降,不能作为长期修复依据。

复发监控点与记录模板

为避免再次把缓存误报成泄漏,可以建立以下监控组合:

主机层

  • MemAvailable 及其下降速度;
  • AnonPages、Cached、SReclaimable、SUnreclaim、Shmem;
  • Swap 使用量、swap in/out;
  • memory PSI;
  • OOM 和内核内存日志。

进程与服务层

  • 按 PID 记录 RSS、PSS、RssAnon、RssFile、VmSwap;
  • 进程数量、线程数量和 worker 数;
  • 活跃连接、请求并发、队列长度;
  • 连接池、缓存条目数和缓存命中情况;
  • 服务重启、版本发布和配置变更时间。

容器层

  • memory.current 与 memory.max;
  • memory.events 中 high、oom、oom_kill 的变化;
  • 容器重启次数;
  • 容器内进程 RSS 与宿主机统计是否一致。

告警阈值不应只设为“used 超过某个百分比”。更有区分度的组合是:MemAvailable 持续下降、交换持续读写、某个进程 PSS 斜率持续为正,并且业务延迟或错误率同步恶化。这样既能减少缓存占用带来的误报,也能更早发现真正的进程增长和 OOM 风险。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/4787.html

相关推荐