新加坡服务器疑似内存泄漏,如何定位持续增长的进程?
新加坡服务器出现内存占用持续上涨、接口变慢或服务反复退出时,先区分影响范围:是整台机器的可用内存下降,还是某个服务触及自身内存限制。主机仍有余量,不代表容器不会发生 OOM;出现内存压力,也不能仅凭一次进程排行榜认定存在泄漏。(docs.kernel.org)
定位持续增长的进程,应建立一条时间证据链:可用内存是否持续下降 → 增量属于缓存、内核还是进程 → 哪个进程或服务持续增长 → 增长能否被并发、缓存预热或任务积压解释。 对跨区域访问业务,还应同步比较请求耗时与在途请求数,避免把负载变化直接归因为应用泄漏。
一、确认症状:内存“用得多”还是正在失控
以下检查面向 Linux 服务器,进程命令按常见的 procps 实现编写。先确认具备必要的读取权限;容器内与宿主机上的 PID、资源视图可能不同,不要混用。读取其他进程的详细内存信息,也可能受到权限限制。(docs.kernel.org)
第一轮只做只读检查,记录时间、主机、服务名称,以及异常前是否发生发布、流量变化或批处理任务。
date -Is
free -h
grep -E '^(MemTotal|MemFree|MemAvailable|Buffers|Cached|AnonPages|Shmem|Slab|SReclaimable|SUnreclaim|SwapTotal|SwapFree):' /proc/meminfo
vmstat 1 6
if [ -r /proc/pressure/memory ]; then
cat /proc/pressure/memory
fi
重点不是 free 一列有多小,而是 available 的变化。内核的 MemAvailable 是无需交换即可供新应用使用的内存估算值;文件缓存与部分可回收内核内存,也在估算范围内。因此,MemFree 下降、缓存上升,但 MemAvailable 保持稳定,并不足以证明泄漏。(docs.kernel.org)
交换空间则要分开看“存量”和“活动量”。Swap 已用不为零,不代表此刻仍在频繁换页;vmstat 的 si、so 才反映换入、换出速率。第一行的速率统计通常来自开机以来的平均值,判断当前状态应看后续采样。(man7.org)
如果可用内存持续下降,同时换页活动增加、业务延迟恶化,排查优先级应提高。支持 PSI 的内核还可以观察内存压力:some 表示部分任务因内存资源等待而停顿的时间占比,full 表示所有非空闲任务同时停顿的时间占比;它们不是内存使用率。(docs.kernel.org)
二、建立原因树:按层级决定下一步
建议把证据放在同一时间轴上,而不是分别截取网络、系统和应用的独立截图。
| 层级 | 需要寻找的现象 | 下一步 |
|---|---|---|
| 网络与依赖 | 请求变慢时,连接数、在途请求或待处理队列同步增加 | 比较客户端耗时、服务端处理耗时、依赖耗时和重试量 |
| 系统 | 可用内存下降,但业务进程增量无法解释 | 分别追踪文件缓存、共享内存、Slab 和交换活动 |
| 服务 | 单个进程基本稳定,但服务总占用增加 | 检查工作进程数量、扩缩容、容器限制和服务重启 |
| 应用 | 相近负载下,同一进程的匿名内存与业务对象持续增长 | 进入堆、对象引用和分配调用栈分析 |
网络分支:先查积压,不把连接数当作泄漏证据
对于部署在新加坡、面向其他地区提供服务的应用,建议把“网络或依赖变慢导致请求驻留更久”作为一个待验证分支。先用 socket 统计观察连接规模,再对照业务的在途请求和队列指标;ss 可以查看连接状态及队列等信息,但连接多本身不能证明泄漏。(man7.org)
ss -s
例如,在稳定处理且统计口径一致的示例中,每秒到达 200 个请求,平均停留时间从 0.1 秒增加到 1 秒,在途请求可由约 20 个增加到约 200 个。此时应验证:积压消退后,内存是否停止增长并形成新的稳定平台。
若使用 Nginx 反向代理,还要区分应用对象占用与响应缓冲;Nginx 的缓冲机制可能同时涉及内存缓冲区和临时文件,不能把相关占用全部归给应用堆。(nginx.org)
三、逐层排除:找到“持续长大”的进程
先查看当前驻留内存较大的进程:
ps -eo pid,ppid,lstart,rss,vsz,comm --sort=-rss | head -n 16
这里的 RSS 是进程当前驻留的物理内存,VSZ 是虚拟地址空间大小,二者不能互相替代;上述 procps 输出的两列单位均为 KiB。VSZ 很大并不等于实际占用了同等大小的物理内存。(man7.org)
排行榜只能筛选候选。一个长期稳定的大进程,未必比一个每分钟都增长的小进程更可疑。选定候选 PID 后,连续观察,并保留启动时间:
# 将 12345 替换为待观察进程的实际 PID
pid=12345
for n in 1 2 3 4 5 6 7 8 9 10; do
date -Is
ps -p "$pid" -o pid,ppid,lstart,etime,rss,vsz,comm || break
grep -E '^(VmRSS|RssAnon|RssFile|RssShmem|VmSwap|Threads):' \
"/proc/$pid/status" || break
if [ "$n" -lt 10 ]; then
sleep 60
fi
done
RssAnon、RssFile、RssShmem 分别帮助区分匿名、文件映射和共享内存方向。比较时必须确认仍是同一进程实例:PID 可能被复用,服务重启后也不能把前后数据连成一条增长曲线。(docs.kernel.org)
判断时重点看三种差异:
- 随负载升高后稳定:先核对并发、连接池、缓存预热与容量是否匹配。
- 负载回落后仍持续增长:提高泄漏或无界数据保留的怀疑程度。
- 单进程稳定、同类进程越来越多:转查工作进程数量及生命周期,不要只盯住某一个 PID。
用 PSS 和匿名内存验证增量性质
对已经筛出的少数候选,可以读取更详细的汇总数据:
# 此处沿用上一段设置的 pid
grep -E '^(Rss|Pss|Pss_Anon|Pss_File|Private_Clean|Private_Dirty|Anonymous|Swap|SwapPss):' \
"/proc/$pid/smaps_rollup"
PSS 会按比例分摊共享页面,适合辅助判断多进程服务的实际占用;直接相加各进程 RSS,可能重复计算共享页面。Anonymous、Pss_Anon 的持续增加,则支持继续追踪匿名内存方向,但仍不能单独证明某类业务对象泄漏。
如果文件不存在,先核对内核支持情况;若权限不足,应使用获授权的账号读取。可以改查 /proc/PID/smaps 的各映射段,但不建议对全机所有进程高频扫描,先用低开销指标缩小范围。(docs.kernel.org)
若进程增量始终解释不了系统内存下降,则返回系统分支:对照 Shmem、Slab、SUnreclaim 的时间变化。它们分别提示共享内存及内核分配方向,不能简单计入某个应用进程的 RSS。
四、检查 OOM:是整机不足,还是服务额度耗尽
使用 systemd 日志的主机,可查询故障时间附近的内核记录:
journalctl -k --since "2 hours ago" --no-pager \
| grep -Ei 'out of memory|oom-kill|killed process'
该命令筛选内核日志中的常见 OOM 线索。没有输出时,先确认读取权限、时间范围和日志保留情况,不能直接认定从未发生 OOM。(freedesktop.org)
容器或受资源控制的服务,需要进一步核对 cgroup。以下先查看目标进程归属及 cgroup v2 挂载位置:
cat "/proc/$pid/cgroup"
findmnt -t cgroup2
确认使用 cgroup v2 后,在宿主机视角下,根据实际挂载点和进程归属找到服务目录。下例中的路径必须替换,不适用于直接读取 cgroup v1:
cg='/sys/fs/cgroup/system.slice/your-app.service'
for f in memory.current memory.max memory.swap.current memory.events memory.stat; do
if [ -r "$cg/$f" ]; then
printf '\n[%s]\n' "$f"
cat "$cg/$f"
fi
done
memory.current 统计该组及其后代的当前内存占用,memory.max 是相应的硬限制;还应检查父级限制。memory.events 中,max、oom、oom_kill 分别反映触及限制、进入相应 OOM 条件及进程被 OOM 杀死的事件,三者不能混为一谈。计数器应比较观察窗口内的增量,且该文件默认包含后代事件。(docs.kernel.org)
因此,即使主机还有数 GiB 可用内存,某个受限服务仍可能耗尽自身额度。再看 memory.stat:anon、file、sock 等分类可以帮助判断增量来自匿名内存、文件数据缓存还是 socket 缓冲,而不是把服务总量上涨直接解释为堆泄漏。
五、定位根因:让系统趋势与应用证据相互印证
下面是一组用于演示推理的样例,不代表读者环境中的实测结果。内存统一使用 MiB,1 MiB 为 1024 × 1024 字节。

| 观察时点 | 请求速率 | RSS | Pss_Anon | 待处理队列 |
|---|---|---|---|---|
| 起点 | 约 200 次/秒 | 2048 MiB | 1800 MiB | 0 |
| 15 分钟后 | 约 200 次/秒 | 2560 MiB | 2300 MiB | 0 |
| 30 分钟后 | 约 200 次/秒 | 3072 MiB | 2800 MiB | 0 |
这组数据可以支持“相近请求速率下,匿名驻留占用仍在增长”,但尚不能确定根因。还需要核对请求大小、接口构成、缓存对象数量和后台任务是否一致,再寻找对应的应用分配证据。
例如,Python 服务可以在目标进程内启用 tracemalloc,比较两个时间点的分配快照,查找哪些代码位置的内存块数量和总量持续增加。跟踪应尽早启用;在另一个终端新启动一个 Python 进程,并不能追溯目标服务此前的分配。(docs.python.org)
若快照进一步显示,已完成请求的对象仍被某个全局容器持续引用,而且该容器没有容量上限或淘汰机制,就形成了比“RSS 上涨”更明确的应用层证据。反过来,若运行时跟踪的内存没有相应增加,则应继续核对跟踪范围之外的分配和其他映射,不能因一次快照未发现问题就排除整个进程。(docs.python.org)
生产环境先保存时间序列、版本信息和必要日志,再考虑采样或转储。涉及配置调整、重启或版本替换时,应先备份原配置、确认受影响实例和在途任务,采用小范围验证,并准备恢复原配置或原版本。不要把批量重启后的内存下降当作根因已经修复。
也不应通过定时清理系统缓存来验证应用泄漏:清缓存不会释放应用仍持有的对象,还可能带来额外 I/O 和性能损耗。(docs.kernel.org)
六、验证恢复,并留下复发监控点
验证时建议复用发现异常的负载条件,同时覆盖预热阶段、稳定运行阶段和流量回落阶段。验收重点不是“内存立刻回到启动值”,而是增长是否得到解释、占用是否形成稳定边界、业务是否恢复,以及限制事件是否继续增加。
建议保留以下监控点:
- 主机层:
MemAvailable的绝对值与趋势、换页活动,以及可用时的内存 PSI。 - 服务层:服务总占用、实例或工作进程数量、cgroup 剩余额度和 OOM 事件增量。
- 进程层:带启动时间标识的 RSS 曲线,对重点候选低频采集 PSS、匿名内存和线程数。
- 业务层:请求速率、在途请求、队列长度、超时重试量,以及缓存或关键对象数量。
告警可先从“可用余量偏低且持续下降”“相近负载下进程持续增长”“OOM 事件新增”三类条件组合起步,再根据正常业务周期调整窗口。新加坡服务器的排查最终应落到同一个可验证的问题上:哪个进程实例,在什么负载下,哪类内存持续增加,又由哪段代码或哪项资源配置解释这一增量。
A5idc数据提供新加坡物理服务器租用,涵盖不同CPU、内存与存储配置,以及优化线路、国际线路等网络资源,为业务后台、接口服务和多进程应用提供部署基础。围绕持续运行服务的资源需求,可通过不同配置组合承载应用运行、数据读写与日志留存,并结合香港、日本等地区的服务器资源,支持面向不同访问人群的业务部署。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/8784.html



