内存占用持续增长的马来西亚服务器,如何区分缓存增长与进程泄漏?
内存占用持续增长,并不等于马来西亚服务器上的应用发生了内存泄漏。Linux 会主动利用空闲内存作为文件页缓存和可回收内核缓存,因此 buff/cache 增长、free 变小,可能是正常现象。判断重点应放在 MemAvailable 是否持续下降、交换空间是否发生持续换入换出、是否出现 OOM,以及某个进程或容器的匿名内存是否随时间单调增长。
通常可以这样区分:如果缓存增加但可用内存保持在合理水平,业务压力下降后缓存能够被回收,且进程 RSS/PSS 基本稳定,更接近正常缓存增长;如果某个进程的 RssAnon、PSS 或容器内存持续增长,低流量时也不回落,最终伴随 Swap、内存压力或 OOM,则应优先排查应用泄漏、无界队列、连接堆积或服务进程配置问题。马来西亚节点的地域本身不会改变内存管理机制,但当地访问高峰、跨地域回源延迟和连接保持时间,可能放大这些问题。

A5idc数据提供马来西亚吉隆坡物理服务器资源,覆盖不同CPU、内存、磁盘及优化线路配置,可为网站、接口服务、数据库和容器化业务提供独立运行环境。针对内存占用持续增长这类问题,品牌也具备从计算资源、NVMe存储到网络连接进行组合部署的产品基础,支持业务按访问区域、程序负载和数据规模构建更匹配的服务器环境。
先确认:增长的是哪一层内存
排查时不要只看面板上的“内存使用率”。首先需要确认统计对象是整台服务器、虚拟机、容器,还是某个服务进程。
常见 Linux 环境可以先执行以下检查:
date
uptime
free -h
swapon --show
vmstat 1 5
示例输出仅用于说明判断方式:
total used free shared buff/cache available
Mem: 16Gi 11Gi 420Mi 210Mi 4.6Gi 4.1Gi
Swap: 2.0Gi 1.8Gi 224Mi
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
r b swpd free buff cache si so bi bo in cs us sy id wa st
1 0 1843200 430080 61200 4587520 0 0 2 8 820 1400 8 2 89 1 0
这里有几个重要区别:
free只表示当前未使用的内存,数值小并不能单独证明内存不足。buff/cache主要包含文件页缓存、缓冲区及部分可回收内核缓存。available是内核根据可回收页面估算出的、在不明显触发交换的情况下可供新程序使用的内存,通常比free更有判断价值。Swap已使用不一定代表当前故障。有些冷页面可能很早被换出,但如果vmstat中的si、so持续有数据,说明系统正在频繁换入换出。shared可能包含共享内存和 tmpfs 使用量,不能简单归入某一个进程。
需要连续采样,而不是只截取一次结果。建议按分钟记录至少十到三十分钟,并同时记录流量、请求量、发布操作和定时任务时间。若问题只出现在马来西亚节点,还应把该节点与同配置的其他节点按相同时间窗口进行对比,避免把区域流量差异误判为内存泄漏。
建立原因树:从网络到应用逐层排除
可以把内存持续增长分为四个层级:

- 网络层:连接数、Socket 缓冲区、反向代理请求体缓存、连接跟踪表增长。
- 系统层:文件页缓存、Slab、tmpfs、脏页、Swap 和内存压力。
- 服务层:Nginx、PHP-FPM、数据库、消息队列等进程数量或内部缓存增长。
- 应用层:堆对象、无界队列、连接池、监听器、第三方库或扩展泄漏。
这四层可能同时存在。例如,马来西亚用户访问高峰造成跨地域请求延迟上升,反向代理保留更多连接;上游应用处理变慢后,连接和请求队列继续堆积;最终表现为系统内存、Socket 缓冲区和应用进程内存一起增长。此时不能只看其中一个指标。
第一层:排查网络连接和请求缓冲
网络流量通常不会自动形成永久性内存泄漏,但以下情况会消耗内存:
- 长连接数量持续增加,且关闭速度跟不上建立速度;
- 上游响应缓慢,反向代理需要同时保留大量请求;
- 客户端上传或请求体较大,代理层产生缓冲;
- TCP 接收、发送队列积压;
- 连接跟踪表或内核 Socket 内存异常增长。
先查看连接概况:
ss -s
cat /proc/net/sockstat
可以进一步观察建立连接数量和 Socket 内存:
ss -tan state established | wc -l
ss -tan state time-wait | wc -l
ss -m | head -n 40
这些命令的结果需要结合请求量和上游延迟解释。连接数增加但请求量同步增加、流量结束后连接能够回落,可能只是正常的并发变化;如果 ESTAB、TIME-WAIT 或 Socket 内存持续上涨,而业务请求量没有相应变化,则应检查:
- Nginx 或其他入口服务的 keepalive 设置;
- 上游连接池是否未释放;
- 应用是否在异常路径下没有关闭连接;
- 客户端或爬虫是否持续建立连接;
- 马来西亚节点到上游数据库、接口或对象存储的延迟是否升高。
如果使用反向代理,还要查看代理错误日志中的 upstream timeout、连接重置和请求体读取超时等信息。不要仅凭连接数判断泄漏,因为高并发、长轮询、WebSocket 或大文件传输本身就会维持较多连接。
第二层:区分文件缓存、Slab 与真正不可回收内存
文件页缓存增长
Linux 使用空闲内存缓存访问过的文件。日志扫描、静态文件访问、数据库文件读取和备份任务都可能让 Cached 上升。
可以查看更细的内核统计:
grep -E 'MemTotal|MemFree|MemAvailable|Buffers|Cached|SReclaimable|KReclaimable|Shmem|Dirty|Writeback|SwapTotal|SwapFree' /proc/meminfo
如果出现以下组合,通常更接近正常缓存:
Cached或可回收 Slab 增长;MemAvailable仍然稳定;vmstat的si、so接近零;- 业务负载下降后,可用内存恢复或缓存减少;
- 没有 OOM 日志。
例如,16 GiB 内存的服务器中,buff/cache 从 2 GiB 增长到 6 GiB,但 MemAvailable 仍保持在 4 GiB 左右,Swap 没有持续活动,不能直接判定为泄漏。
不要把手动清空页缓存作为常规修复方法。清缓存可能造成后续磁盘读取变慢,也不能解决应用对象、连接队列或进程匿名内存不断增长的问题。它最多只能作为经过评估后的临时诊断手段,并且应在业务低峰、明确影响范围和具备恢复方案的前提下进行。
Slab 和内核对象增长
Slab 用于缓存内核对象,包含目录项、inode、网络结构和其他内核数据。查看方式如下:
sudo slabtop -o
也可以结合 /proc/meminfo 中的 Slab、SReclaimable、SUnreclaim 判断。若网络连接快速增加,同时网络相关内核对象或 Socket 内存增长,应回到网络层检查;若大量文件创建、删除或挂载操作后目录项和 inode 相关对象持续增长,则需要进一步检查文件系统活动。
SReclaimable 通常具有一定回收能力,而 SUnreclaim 更值得关注。若系统可用内存下降主要来自不可回收内核对象,且不是某个用户态进程占用,应检查内核版本、驱动、文件系统和网络负载,不能简单归因于应用泄漏。
tmpfs 和共享内存
tmpfs 使用的是内存。/dev/shm、运行时目录、应用临时文件以及部分容器共享内存,都可能让系统内存增长。
df -hT
mount | grep -E 'tmpfs|shm'
du -xhd1 /dev/shm 2>/dev/null
如果发现 tmpfs 使用量持续增加,需要确认是哪个服务写入、文件是否会自动清理,以及应用是否把临时文件当成持久队列使用。不要直接删除正在被服务使用的文件;涉及清理时,应先确认文件用途、保留周期和服务重启影响,并准备恢复或回滚方案。
第三层:定位服务进程是否在增长
系统级内存正常时,问题可能集中在某个服务。先按 RSS 排序:
ps -eo pid,ppid,user,comm,%mem,rss,vsz --sort=-rss | head -n 20
其中:
- RSS 表示进程当前驻留在物理内存中的页面;
- VSZ 是虚拟地址空间大小,不能直接当成实际内存使用量;
- 多个进程可能共享同一批库文件或共享内存,简单相加 RSS 可能重复计算。
对于重点进程,可以查看匿名、文件和共享内存:
PID=1234
grep -E 'VmRSS|VmSize|RssAnon|RssFile|RssShmem|VmSwap' /proc/$PID/status
若系统安装了 pidstat,可以连续观察进程内存变化:
pidstat -r -p 1234 10 6
更准确的比较应使用 PSS。PSS 会按比例分摊共享页面,适合比较多个进程的实际内存影响;如果系统安装了 smem,可以使用:
smem -p -r -k | head -n 20
下面是常见服务的判断方向:
| 服务类型 | 需要重点观察的指标 | 更可能的原因 |
|---|---|---|
| Nginx 或其他反向代理 | Worker 数量、连接数、请求缓冲、Socket 内存 | 长连接堆积、上游阻塞、请求体或响应缓冲 |
| PHP-FPM | 子进程数量、单个 Worker RSS、慢请求、请求处理数 | Worker 数过高、扩展泄漏、请求未及时结束 |
| Java 服务 | Java Heap、Metaspace、堆外内存、线程数、容器限制 | 堆对象增长、堆外缓存、线程或直接内存未释放 |
| Node.js 等运行时 | Heap Used、外部内存、Buffer、事件循环和句柄数 | 无界缓存、Buffer 堆积、句柄未关闭 |
| 数据库 | Buffer Pool、连接数、临时表、排序区、共享内存 | 正常缓存扩大、连接泄漏、查询并发或参数不合适 |
| 消息处理服务 | 队列长度、消费者数量、单条消息大小 | 消费速度低于生产速度、失败重试堆积 |
服务配置造成的高内存不一定是“泄漏”。例如 PHP-FPM 同时运行更多子进程,内存会随并发线性增加;数据库增加 Buffer Pool 后内存长期保持较高,也可能是有意配置。只有在负载回落后,内存仍然按时间持续上升,才需要进一步进入应用层。
第四层:确认是进程泄漏、无界缓存还是容量不足
进程占用增长时,建议画出至少三条曲线:
- 进程 RSS 或 PSS;
RssAnon、RssFile、RssShmem;- 请求量、并发数、队列长度或连接数。
判断逻辑如下:

- RSS 与请求量同步上升,低流量时回落:更像正常工作集随并发变化。
- RSS 上升后保持高位,但不再继续增长:可能是运行时扩容、缓存预热或内存池保留,需看是否达到稳定平台。
- RssAnon 随时间持续上升,业务低峰也不回落:优先排查堆对象、无界容器、任务队列、连接池和第三方扩展。
- RssFile 增长为主,MemAvailable 仍稳定:可能是共享库或文件映射,不能直接认定为泄漏。
- RssShmem 增长:检查共享内存、tmpfs、数据库共享区或容器间通信。
- 进程 RSS 不高,但容器内存持续增长:检查子进程、共享内存、内核记账和 cgroup 限制。
应用层需要结合自身运行时指标。例如,Java 进程应区分 Java Heap 与进程 RSS;进程 RSS 增长而 Heap 稳定时,应检查 Metaspace、线程栈、直接内存和本地库。Node.js 需要同时看 Heap、External 和 ArrayBuffer。PHP-FPM 则要比较单个 Worker 处理请求前后的 RSS,并关注某个扩展是否只在长期运行时出现增长。
不要用“重启后内存下降”作为唯一证据。重启会释放绝大部分进程内存,因此缓存、泄漏和临时队列都会暂时归零。它只能说明问题存在于该进程或其子进程范围内,不能说明具体根因。
检查 Swap、内存压力和 OOM 事件
Swap 需要看使用量、活动量和压力三个方面:
swapon --show
vmstat 1 10
cat /proc/pressure/memory
如果 /proc/pressure/memory 不存在,说明当前内核或环境没有提供该 PSI 文件,不应据此推断没有内存压力。
典型判断方式是:
- Swap 已使用,但
si、so长期为零:可能只是历史上被换出的冷页面,不一定是当前故障。 si、so持续大于零,同时业务延迟升高:系统正在频繁换页,应降低内存压力或减少并发。some或full内存压力持续升高:即使尚未 OOM,也说明任务因内存回收而等待。available很低、Swap 活跃并出现 OOM 日志:需要按事件时间定位当时增长最快的进程或容器。
检查内核日志:
journalctl -k --since "-2 hours" | grep -Ei 'out of memory|oom|killed process'
部分发行版或权限配置下也可以查看:
dmesg -T | grep -Ei 'out of memory|oom|killed process'
如果服务器使用容器,主机仍有可用内存并不代表容器不会 OOM。应同时检查容器限制和 cgroup 统计:
docker stats --no-stream
cgroup v2 常见路径如下:
cat /sys/fs/cgroup/memory.current
cat /sys/fs/cgroup/memory.max
cat /sys/fs/cgroup/memory.events
如果使用的是 cgroup v1,路径可能为:
cat /sys/fs/cgroup/memory/memory.usage_in_bytes
cat /sys/fs/cgroup/memory/memory.limit_in_bytes
cat /sys/fs/cgroup/memory/memory.failcnt
具体路径应以实际挂载情况为准。容器发生 oom_kill 时,应以容器级 memory.current、memory.max 和 memory.events 为依据,而不是只看宿主机的 free -h。
用对照表快速确定下一步
| 观察结果 | 优先判断 | 下一步 |
|---|---|---|
buff/cache 增长,MemAvailable 稳定,Swap 无持续活动 | 文件缓存或可回收缓存 | 观察低负载时是否回收,检查是否有扫描、备份或日志读取任务 |
某个进程 RssAnon 持续增长,低流量时不回落 | 应用对象、扩展或无界队列 | 记录 PSS、堆指标、队列长度和连接池,必要时做堆分析 |
进程 RSS 稳定,但 Slab 或 SUnreclaim 增长 | 内核对象、文件系统或网络结构 | 检查连接、文件操作、挂载和内核日志 |
| Socket 数量、Socket 内存和上游延迟同步增长 | 连接或请求缓冲堆积 | 分析入口连接、上游超时、连接池和请求体大小 |
宿主机可用内存正常,但容器达到 memory.max | cgroup 限制或容器内部增长 | 查看容器进程、共享内存、限制配置和 OOM 事件 |
| OOM 后重启服务暂时恢复,数小时后再次增长 | 服务或应用存在可重复增长路径 | 对照请求量、发布版本、定时任务和运行时堆指标定位 |
Swap 使用量高,但 si/so 接近零,业务无延迟 | 历史冷页面被换出 | 不要仅因 Swap 已使用就判定泄漏,持续观察压力指标 |
定位根因时要保留时间线
找到“谁占用内存”之后,还要回答“为什么从这个时间点开始增长”。建议把以下时间线放在一起:
- 马来西亚节点的请求量、并发连接数和响应延迟;
- 进程 RSS/PSS、匿名内存和线程数;
- 容器使用量、限制值和 OOM 事件;
- Nginx、PHP-FPM、数据库或消息服务的队列长度;
- 发布、配置变更、定时备份、日志压缩和数据同步任务;
- 上游接口、数据库或存储服务的延迟与错误率。
如果只有一个马来西亚节点出现问题,应重点对比:
- 软件版本、环境变量和内存限制是否一致;
- 是否承接了不同的访问路径或更高比例的长连接;
- 到上游服务的网络往返时间是否更高;
- 本地时区相关的定时任务是否在不同时间执行;
- CDN、负载均衡或回源策略是否让该节点处理了不同类型的请求。
这些因素只能解释“为什么该节点更容易触发问题”,不能直接证明存在泄漏。最终仍要回到内存分类和进程曲线。
验证恢复:不要只看重启后的瞬间
确认修复是否有效,应使用相同或相近的负载进行前后对照:

- 在不重启服务的情况下,记录一段基线,包括
MemAvailable、Swap 活动、进程 PSS、连接数和队列长度。 - 让业务经历一个可观察的高峰或正常周期,记录内存增长速度,而不仅是最终占用量。
- 在流量下降后观察一段时间:缓存应具备回收能力,应用匿名内存则应回到稳定区间或至少停止持续增长。
- 如果修改了 Worker 数、缓存上限或连接池大小,应确认请求延迟、错误率和吞吐没有因为“省内存”而恶化。
- 若必须重启服务,应安排维护窗口,提前备份配置和运行参数,确认连接排空、任务幂等及回滚方式;重启后还要继续观察是否按同样斜率复发。
配置调整不能一概而论。降低服务并发可能减少内存,但也可能增加排队和响应时间;扩大 Swap 可以争取缓冲时间,却不能替代修复泄漏;提高容器内存上限可以避免过早 OOM,但会把问题推迟到更大的资源消耗阶段。
建立适合复发监控的指标
为了避免再次只看到一条“内存使用率”曲线,建议至少监控以下维度:
- 主机:
MemAvailable、MemTotal、Swap 使用量、Swap in/out、内存 PSI; - 进程:RSS、PSS、
RssAnon、线程数、进程数和重启次数; - 容器:
memory.current、memory.max、memory.events中的 OOM 计数; - 网络:Established、Time-Wait、Socket 内存、入口请求数和上游连接数;
- 服务:Worker 数、队列长度、连接池占用、缓存命中率和请求延迟;
- 应用:Heap Used、外部内存、对象数量、任务队列和未关闭句柄;
- 事件:发布、定时任务、备份、日志处理和配置变更。
告警不宜只设置成“内存超过 80%”。更有价值的是组合条件,例如 MemAvailable 持续下降,同时 Swap in/out 或 PSI 升高;或者某个进程 PSS 在低流量时仍连续多个周期增长。马来西亚节点还应统一记录 UTC 与本地时间,避免把当地高峰、定时任务和发布窗口错位。
最终判断可以归纳为一条诊断链:先看可用内存和压力,再看缓存与内核对象;确认不是系统层后,按进程、服务和容器边界定位;最后用匿名内存、PSS、队列、连接和应用堆指标验证。只有当增长路径在相似负载下反复出现,并且低流量时仍无法回收,才适合把问题定性为进程泄漏或无界增长。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/8839.html



