内存占用持续增长的马来西亚服务器,如何区分缓存增长与进程泄漏?

发布人:A5数据发布时间:2026-11-11 13:03阅读量:66

内存占用持续增长,并不等于马来西亚服务器上的应用发生了内存泄漏。Linux 会主动利用空闲内存作为文件页缓存和可回收内核缓存,因此 buff/cache 增长、free 变小,可能是正常现象。判断重点应放在 MemAvailable 是否持续下降、交换空间是否发生持续换入换出、是否出现 OOM,以及某个进程或容器的匿名内存是否随时间单调增长。

通常可以这样区分:如果缓存增加但可用内存保持在合理水平,业务压力下降后缓存能够被回收,且进程 RSS/PSS 基本稳定,更接近正常缓存增长;如果某个进程的 RssAnon、PSS 或容器内存持续增长,低流量时也不回落,最终伴随 Swap、内存压力或 OOM,则应优先排查应用泄漏、无界队列、连接堆积或服务进程配置问题。马来西亚节点的地域本身不会改变内存管理机制,但当地访问高峰、跨地域回源延迟和连接保持时间,可能放大这些问题。

引言配图

A5idc数据提供马来西亚吉隆坡物理服务器资源,覆盖不同CPU、内存、磁盘及优化线路配置,可为网站、接口服务、数据库和容器化业务提供独立运行环境。针对内存占用持续增长这类问题,品牌也具备从计算资源、NVMe存储到网络连接进行组合部署的产品基础,支持业务按访问区域、程序负载和数据规模构建更匹配的服务器环境。

先确认:增长的是哪一层内存

排查时不要只看面板上的“内存使用率”。首先需要确认统计对象是整台服务器、虚拟机、容器,还是某个服务进程。

常见 Linux 环境可以先执行以下检查:

date
uptime
free -h
swapon --show
vmstat 1 5

示例输出仅用于说明判断方式:

               total        used        free      shared  buff/cache   available
Mem:             16Gi        11Gi       420Mi       210Mi        4.6Gi        4.1Gi
Swap:           2.0Gi       1.8Gi       224Mi

procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
 1  0 1843200 430080  61200 4587520    0    0     2     8  820 1400  8  2 89  1  0

这里有几个重要区别:

  • free 只表示当前未使用的内存,数值小并不能单独证明内存不足。
  • buff/cache 主要包含文件页缓存、缓冲区及部分可回收内核缓存。
  • available 是内核根据可回收页面估算出的、在不明显触发交换的情况下可供新程序使用的内存,通常比 free 更有判断价值。
  • Swap 已使用不一定代表当前故障。有些冷页面可能很早被换出,但如果 vmstat 中的 si、so 持续有数据,说明系统正在频繁换入换出。
  • shared 可能包含共享内存和 tmpfs 使用量,不能简单归入某一个进程。

需要连续采样,而不是只截取一次结果。建议按分钟记录至少十到三十分钟,并同时记录流量、请求量、发布操作和定时任务时间。若问题只出现在马来西亚节点,还应把该节点与同配置的其他节点按相同时间窗口进行对比,避免把区域流量差异误判为内存泄漏。

建立原因树:从网络到应用逐层排除

可以把内存持续增长分为四个层级:

建立原因树:从网络到应用逐层排除配图

  • 网络层:连接数、Socket 缓冲区、反向代理请求体缓存、连接跟踪表增长。
  • 系统层:文件页缓存、Slab、tmpfs、脏页、Swap 和内存压力。
  • 服务层:Nginx、PHP-FPM、数据库、消息队列等进程数量或内部缓存增长。
  • 应用层:堆对象、无界队列、连接池、监听器、第三方库或扩展泄漏。

这四层可能同时存在。例如,马来西亚用户访问高峰造成跨地域请求延迟上升,反向代理保留更多连接;上游应用处理变慢后,连接和请求队列继续堆积;最终表现为系统内存、Socket 缓冲区和应用进程内存一起增长。此时不能只看其中一个指标。

第一层:排查网络连接和请求缓冲

网络流量通常不会自动形成永久性内存泄漏,但以下情况会消耗内存:

  • 长连接数量持续增加,且关闭速度跟不上建立速度;
  • 上游响应缓慢,反向代理需要同时保留大量请求;
  • 客户端上传或请求体较大,代理层产生缓冲;
  • TCP 接收、发送队列积压;
  • 连接跟踪表或内核 Socket 内存异常增长。

先查看连接概况:

ss -s
cat /proc/net/sockstat

可以进一步观察建立连接数量和 Socket 内存:

ss -tan state established | wc -l
ss -tan state time-wait | wc -l
ss -m | head -n 40

这些命令的结果需要结合请求量和上游延迟解释。连接数增加但请求量同步增加、流量结束后连接能够回落,可能只是正常的并发变化;如果 ESTAB、TIME-WAIT 或 Socket 内存持续上涨,而业务请求量没有相应变化,则应检查:

  • Nginx 或其他入口服务的 keepalive 设置;
  • 上游连接池是否未释放;
  • 应用是否在异常路径下没有关闭连接;
  • 客户端或爬虫是否持续建立连接;
  • 马来西亚节点到上游数据库、接口或对象存储的延迟是否升高。

如果使用反向代理,还要查看代理错误日志中的 upstream timeout、连接重置和请求体读取超时等信息。不要仅凭连接数判断泄漏,因为高并发、长轮询、WebSocket 或大文件传输本身就会维持较多连接。

第二层:区分文件缓存、Slab 与真正不可回收内存

文件页缓存增长

Linux 使用空闲内存缓存访问过的文件。日志扫描、静态文件访问、数据库文件读取和备份任务都可能让 Cached 上升。

可以查看更细的内核统计:

grep -E 'MemTotal|MemFree|MemAvailable|Buffers|Cached|SReclaimable|KReclaimable|Shmem|Dirty|Writeback|SwapTotal|SwapFree' /proc/meminfo

如果出现以下组合,通常更接近正常缓存:

  • Cached 或可回收 Slab 增长;
  • MemAvailable 仍然稳定;
  • vmstat 的 si、so 接近零;
  • 业务负载下降后,可用内存恢复或缓存减少;
  • 没有 OOM 日志。

例如,16 GiB 内存的服务器中,buff/cache 从 2 GiB 增长到 6 GiB,但 MemAvailable 仍保持在 4 GiB 左右,Swap 没有持续活动,不能直接判定为泄漏。

不要把手动清空页缓存作为常规修复方法。清缓存可能造成后续磁盘读取变慢,也不能解决应用对象、连接队列或进程匿名内存不断增长的问题。它最多只能作为经过评估后的临时诊断手段,并且应在业务低峰、明确影响范围和具备恢复方案的前提下进行。

Slab 和内核对象增长

Slab 用于缓存内核对象,包含目录项、inode、网络结构和其他内核数据。查看方式如下:

sudo slabtop -o

也可以结合 /proc/meminfo 中的 Slab、SReclaimable、SUnreclaim 判断。若网络连接快速增加,同时网络相关内核对象或 Socket 内存增长,应回到网络层检查;若大量文件创建、删除或挂载操作后目录项和 inode 相关对象持续增长,则需要进一步检查文件系统活动。

SReclaimable 通常具有一定回收能力,而 SUnreclaim 更值得关注。若系统可用内存下降主要来自不可回收内核对象,且不是某个用户态进程占用,应检查内核版本、驱动、文件系统和网络负载,不能简单归因于应用泄漏。

tmpfs 和共享内存

tmpfs 使用的是内存。/dev/shm、运行时目录、应用临时文件以及部分容器共享内存,都可能让系统内存增长。

df -hT
mount | grep -E 'tmpfs|shm'
du -xhd1 /dev/shm 2>/dev/null

如果发现 tmpfs 使用量持续增加,需要确认是哪个服务写入、文件是否会自动清理,以及应用是否把临时文件当成持久队列使用。不要直接删除正在被服务使用的文件;涉及清理时,应先确认文件用途、保留周期和服务重启影响,并准备恢复或回滚方案。

第三层:定位服务进程是否在增长

系统级内存正常时,问题可能集中在某个服务。先按 RSS 排序:

ps -eo pid,ppid,user,comm,%mem,rss,vsz --sort=-rss | head -n 20

其中:

  • RSS 表示进程当前驻留在物理内存中的页面;
  • VSZ 是虚拟地址空间大小,不能直接当成实际内存使用量;
  • 多个进程可能共享同一批库文件或共享内存,简单相加 RSS 可能重复计算。

对于重点进程,可以查看匿名、文件和共享内存:

PID=1234
grep -E 'VmRSS|VmSize|RssAnon|RssFile|RssShmem|VmSwap' /proc/$PID/status

若系统安装了 pidstat,可以连续观察进程内存变化:

pidstat -r -p 1234 10 6

更准确的比较应使用 PSS。PSS 会按比例分摊共享页面,适合比较多个进程的实际内存影响;如果系统安装了 smem,可以使用:

smem -p -r -k | head -n 20

下面是常见服务的判断方向:

服务类型需要重点观察的指标更可能的原因
Nginx 或其他反向代理Worker 数量、连接数、请求缓冲、Socket 内存长连接堆积、上游阻塞、请求体或响应缓冲
PHP-FPM子进程数量、单个 Worker RSS、慢请求、请求处理数Worker 数过高、扩展泄漏、请求未及时结束
Java 服务Java Heap、Metaspace、堆外内存、线程数、容器限制堆对象增长、堆外缓存、线程或直接内存未释放
Node.js 等运行时Heap Used、外部内存、Buffer、事件循环和句柄数无界缓存、Buffer 堆积、句柄未关闭
数据库Buffer Pool、连接数、临时表、排序区、共享内存正常缓存扩大、连接泄漏、查询并发或参数不合适
消息处理服务队列长度、消费者数量、单条消息大小消费速度低于生产速度、失败重试堆积

服务配置造成的高内存不一定是“泄漏”。例如 PHP-FPM 同时运行更多子进程,内存会随并发线性增加;数据库增加 Buffer Pool 后内存长期保持较高,也可能是有意配置。只有在负载回落后,内存仍然按时间持续上升,才需要进一步进入应用层。

第四层:确认是进程泄漏、无界缓存还是容量不足

进程占用增长时,建议画出至少三条曲线:

  1. 进程 RSS 或 PSS;
  2. RssAnon、RssFile、RssShmem;
  3. 请求量、并发数、队列长度或连接数。

判断逻辑如下:

第四层:确认是进程泄漏、无界缓存还是容量不足配图

  • RSS 与请求量同步上升,低流量时回落:更像正常工作集随并发变化。
  • RSS 上升后保持高位,但不再继续增长:可能是运行时扩容、缓存预热或内存池保留,需看是否达到稳定平台。
  • RssAnon 随时间持续上升,业务低峰也不回落:优先排查堆对象、无界容器、任务队列、连接池和第三方扩展。
  • RssFile 增长为主,MemAvailable 仍稳定:可能是共享库或文件映射,不能直接认定为泄漏。
  • RssShmem 增长:检查共享内存、tmpfs、数据库共享区或容器间通信。
  • 进程 RSS 不高,但容器内存持续增长:检查子进程、共享内存、内核记账和 cgroup 限制。

应用层需要结合自身运行时指标。例如,Java 进程应区分 Java Heap 与进程 RSS;进程 RSS 增长而 Heap 稳定时,应检查 Metaspace、线程栈、直接内存和本地库。Node.js 需要同时看 Heap、External 和 ArrayBuffer。PHP-FPM 则要比较单个 Worker 处理请求前后的 RSS,并关注某个扩展是否只在长期运行时出现增长。

不要用“重启后内存下降”作为唯一证据。重启会释放绝大部分进程内存,因此缓存、泄漏和临时队列都会暂时归零。它只能说明问题存在于该进程或其子进程范围内,不能说明具体根因。

检查 Swap、内存压力和 OOM 事件

Swap 需要看使用量、活动量和压力三个方面:

swapon --show
vmstat 1 10
cat /proc/pressure/memory

如果 /proc/pressure/memory 不存在,说明当前内核或环境没有提供该 PSI 文件,不应据此推断没有内存压力。

典型判断方式是:

  • Swap 已使用,但 si、so 长期为零:可能只是历史上被换出的冷页面,不一定是当前故障。
  • si、so 持续大于零,同时业务延迟升高:系统正在频繁换页,应降低内存压力或减少并发。
  • some 或 full 内存压力持续升高:即使尚未 OOM,也说明任务因内存回收而等待。
  • available 很低、Swap 活跃并出现 OOM 日志:需要按事件时间定位当时增长最快的进程或容器。

检查内核日志:

journalctl -k --since "-2 hours" | grep -Ei 'out of memory|oom|killed process'

部分发行版或权限配置下也可以查看:

dmesg -T | grep -Ei 'out of memory|oom|killed process'

如果服务器使用容器,主机仍有可用内存并不代表容器不会 OOM。应同时检查容器限制和 cgroup 统计:

docker stats --no-stream

cgroup v2 常见路径如下:

cat /sys/fs/cgroup/memory.current
cat /sys/fs/cgroup/memory.max
cat /sys/fs/cgroup/memory.events

如果使用的是 cgroup v1,路径可能为:

cat /sys/fs/cgroup/memory/memory.usage_in_bytes
cat /sys/fs/cgroup/memory/memory.limit_in_bytes
cat /sys/fs/cgroup/memory/memory.failcnt

具体路径应以实际挂载情况为准。容器发生 oom_kill 时,应以容器级 memory.current、memory.max 和 memory.events 为依据,而不是只看宿主机的 free -h。

用对照表快速确定下一步

观察结果优先判断下一步
buff/cache 增长,MemAvailable 稳定,Swap 无持续活动文件缓存或可回收缓存观察低负载时是否回收,检查是否有扫描、备份或日志读取任务
某个进程 RssAnon 持续增长,低流量时不回落应用对象、扩展或无界队列记录 PSS、堆指标、队列长度和连接池,必要时做堆分析
进程 RSS 稳定,但 Slab 或 SUnreclaim 增长内核对象、文件系统或网络结构检查连接、文件操作、挂载和内核日志
Socket 数量、Socket 内存和上游延迟同步增长连接或请求缓冲堆积分析入口连接、上游超时、连接池和请求体大小
宿主机可用内存正常,但容器达到 memory.maxcgroup 限制或容器内部增长查看容器进程、共享内存、限制配置和 OOM 事件
OOM 后重启服务暂时恢复,数小时后再次增长服务或应用存在可重复增长路径对照请求量、发布版本、定时任务和运行时堆指标定位
Swap 使用量高,但 si/so 接近零,业务无延迟历史冷页面被换出不要仅因 Swap 已使用就判定泄漏,持续观察压力指标

定位根因时要保留时间线

找到“谁占用内存”之后,还要回答“为什么从这个时间点开始增长”。建议把以下时间线放在一起:

  • 马来西亚节点的请求量、并发连接数和响应延迟;
  • 进程 RSS/PSS、匿名内存和线程数;
  • 容器使用量、限制值和 OOM 事件;
  • Nginx、PHP-FPM、数据库或消息服务的队列长度;
  • 发布、配置变更、定时备份、日志压缩和数据同步任务;
  • 上游接口、数据库或存储服务的延迟与错误率。

如果只有一个马来西亚节点出现问题,应重点对比:

  • 软件版本、环境变量和内存限制是否一致;
  • 是否承接了不同的访问路径或更高比例的长连接;
  • 到上游服务的网络往返时间是否更高;
  • 本地时区相关的定时任务是否在不同时间执行;
  • CDN、负载均衡或回源策略是否让该节点处理了不同类型的请求。

这些因素只能解释“为什么该节点更容易触发问题”,不能直接证明存在泄漏。最终仍要回到内存分类和进程曲线。

验证恢复:不要只看重启后的瞬间

确认修复是否有效,应使用相同或相近的负载进行前后对照:

验证恢复:不要只看重启后的瞬间配图

  1. 在不重启服务的情况下,记录一段基线,包括 MemAvailable、Swap 活动、进程 PSS、连接数和队列长度。
  2. 让业务经历一个可观察的高峰或正常周期,记录内存增长速度,而不仅是最终占用量。
  3. 在流量下降后观察一段时间:缓存应具备回收能力,应用匿名内存则应回到稳定区间或至少停止持续增长。
  4. 如果修改了 Worker 数、缓存上限或连接池大小,应确认请求延迟、错误率和吞吐没有因为“省内存”而恶化。
  5. 若必须重启服务,应安排维护窗口,提前备份配置和运行参数,确认连接排空、任务幂等及回滚方式;重启后还要继续观察是否按同样斜率复发。

配置调整不能一概而论。降低服务并发可能减少内存,但也可能增加排队和响应时间;扩大 Swap 可以争取缓冲时间,却不能替代修复泄漏;提高容器内存上限可以避免过早 OOM,但会把问题推迟到更大的资源消耗阶段。

建立适合复发监控的指标

为了避免再次只看到一条“内存使用率”曲线,建议至少监控以下维度:

  • 主机:MemAvailable、MemTotal、Swap 使用量、Swap in/out、内存 PSI;
  • 进程:RSS、PSS、RssAnon、线程数、进程数和重启次数;
  • 容器:memory.current、memory.max、memory.events 中的 OOM 计数;
  • 网络:Established、Time-Wait、Socket 内存、入口请求数和上游连接数;
  • 服务:Worker 数、队列长度、连接池占用、缓存命中率和请求延迟;
  • 应用:Heap Used、外部内存、对象数量、任务队列和未关闭句柄;
  • 事件:发布、定时任务、备份、日志处理和配置变更。

告警不宜只设置成“内存超过 80%”。更有价值的是组合条件,例如 MemAvailable 持续下降,同时 Swap in/out 或 PSI 升高;或者某个进程 PSS 在低流量时仍连续多个周期增长。马来西亚节点还应统一记录 UTC 与本地时间,避免把当地高峰、定时任务和发布窗口错位。

最终判断可以归纳为一条诊断链:先看可用内存和压力,再看缓存与内核对象;确认不是系统层后,按进程、服务和容器边界定位;最后用匿名内存、PSS、队列、连接和应用堆指标验证。只有当增长路径在相似负载下反复出现,并且低流量时仍无法回收,才适合把问题定性为进程泄漏或无界增长。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/8839.html

相关推荐