香港服务器内存突然增长,怎样判断是进程泄漏还是系统缓存?

发布人:A5数据发布时间:2026-10-16 15:08阅读量:114

监控里的“内存使用率”突然升高,并不能直接说明香港服务器发生了进程泄漏。Linux会利用空闲内存缓存文件和磁盘数据,因此“已使用内存增加”可能只是缓存变热。更可靠的判断是:同时观察可用内存、缓存构成、进程私有内存、交换活动,以及业务响应时间是否在同一窗口内恶化。

如果缓存增加,而可用内存仍有余量、进程私有占用稳定、没有持续换入换出,通常更接近正常缓存行为;如果业务负载回落后,进程匿名或私有内存仍持续上升,可用内存不断下降,并出现回收压力、延迟或OOM,则需要进一步检查泄漏、无界缓存或队列堆积。两者也可能同时存在,不能只用一条曲线二选一。

建立观察窗口:先把内存变化与业务变化对齐

排查前先确认观察对象:是整台Linux主机、虚拟机,还是主机中的某个容器。宿主机内存充足,不代表容器距离自身限制还有余量;容器中的监控工具也不一定能正确反映资源限额。

准备好只读监控权限,并确认服务器时间、应用日志时间和监控面板时区一致。以下命令适用于常见Linux环境,部分进程信息和内核日志可能需要管理员权限。工具不存在或权限不足时,可通过现有监控平台获取对应指标,不必为了排查直接修改生产环境。

观察窗口应覆盖三个阶段:

建立观察窗口:先把内存变化与业务变化对齐配图

  1. 增长前的正常基线,包括请求量、进程数量和内存水平。
  2. 内存上升过程,保留足够细的采样,避免短时峰值被平均值掩盖。
  3. 请求量回落后的恢复阶段,检查内存是否形成新的稳定平台。

持续增长时,可先按5~10秒采样观察几分钟,再延长至完整业务周期。短时事件则应结合已有历史监控,不能等问题消失后只看一次命令输出。

date -Is
free -h
vmstat -w 5 13
ps -eo pid,ppid,comm,rss,vsz --sort=-rss | head -n 16

vmstat第一行中部分速率指标是启动以来的平均值,判断当前活动应看后续采样行。ps中的RSS、VSZ通常以KiB显示,不能直接与free -h中的GiB数字比较。

同一时间轴还应放上请求量、CPU、磁盘I/O、网络吞吐、响应时间、错误率和队列长度。香港服务器面向跨地域访问时,用户侧响应变慢可能来自网络链路,也可能来自服务器本身;最好同时保留服务端处理耗时和用户侧总耗时,避免把网络变化误判成内存问题。

指标A变化:先看可用内存,再拆解“已用”的来源

MemAvailable比MemFree更接近当前余量

MemFree表示完全空闲的内存;MemAvailable则是内核对“不依赖交换、还能供新负载使用多少内存”的估算,其中考虑了部分可回收缓存和内核保留量。

因此,MemFree很低并不必然危险。真正需要关注的是:MemAvailable是否持续下降,下降速度是否与业务增长相符,以及系统是否已经付出明显的回收代价。

grep -E '^(MemTotal|MemFree|MemAvailable|Buffers|Cached|AnonPages|Shmem|Slab|SReclaimable|SUnreclaim|Dirty|Writeback|SwapTotal|SwapFree):' /proc/meminfo

这些字段通常标注为kB,在该接口中按KiB理解。不要把它们全部相加:部分字段存在包含关系,Cached也不能直接等同于“随时可无代价释放的文件缓存”。

指标变化更可能的解释需要联动检查
Cached增长,AnonPages基本稳定文件读取带来的页缓存增长磁盘读取量、MemAvailable、进程文件映射
AnonPages增长,目标进程私有内存同步增长堆、线程栈或匿名映射占用增加请求量、队列、运行时堆指标
Shmem增长tmpfs、共享内存等占用增加临时文件、共享内存对象及容器配置
SReclaimable增长可回收的部分内核缓存增加文件数量、目录遍历、回收压力
SUnreclaim持续增长不可回收内核对象占用增加连接、内核组件和驱动相关信息
Dirty、Writeback升高脏页积累或写回正在进行写入量、磁盘延迟、存储队列

这张表只能帮助缩小范围,不能单独证明泄漏。比如Cached上涨的同时,应用堆也可能在增长;大量写入形成的脏页需要完成写回,不能简单当作“可立即回收的空闲资源”。

进程RSS上涨,也不等于泄漏

RSS表示进程当前驻留在物理内存中的页面,既包含匿名内存,也可能包含文件映射和共享页面。多个进程共享的页面可能分别计入各自RSS,所以把所有进程RSS直接求和,不能准确得到整机占用。

定位到可疑PID后,可进一步读取:

PID=1234  # 替换为实际业务进程PID
ps -p "$PID" -o pid,etimes,comm,rss,vsz
grep -E '^(VmRSS|RssAnon|RssFile|RssShmem|VmSwap|Threads):' "/proc/$PID/status"
cat "/proc/$PID/smaps_rollup"

smaps_rollup在较新的Linux内核上可用,读取权限也可能受限制。不存在时,可由有权限的管理员分析smaps,但不要高频扫描大量进程,以免增加排查开销。

重点区分:

  • RssAnon及私有页面持续增长:更值得检查应用对象、堆和缓冲区。
  • RssFile增长:可能来自文件映射驻留,需结合映射文件判断。
  • Pss:按比例分摊共享页面,更适合比较多进程服务的占用。
  • VmSwap:辅助判断进程是否发生匿名页面换出,不用于完整统计共享内存交换量。

指标B联动:用同一时间轴区分缓存、积压和异常增长

下面是两组示例监控数据,用于展示判断方法,并非实际服务器监控记录。两组均以16GiB内存的Linux服务器为背景。

指标B联动:用同一时间轴区分缓存、积压和异常增长配图

场景与阶段MemAvailableCached目标进程RssAnon交换活动业务表现
场景A:读取前11GiB2GiB1.2GiB无持续换入换出响应正常
场景A:批量读取后8.5GiB6GiB1.3GiB无持续换入换出读取阶段I/O增加
场景A:读取结束8.7GiB5.8GiB1.3GiB无持续换入换出响应恢复,错误率稳定
场景B:运行初期10GiB2GiB2GiB无持续换入换出队列较短
场景B:运行中期5GiB1.8GiB7GiB间歇出现队列增长,P95耗时上升
场景B:请求回落后1.5GiB1.2GiB10GiB持续出现队列仍未恢复

场景A更接近文件缓存增长:缓存扩大,进程匿名内存变化不大,业务没有持续退化。缓存在任务结束后继续驻留,也不代表异常,因为系统没有必要立即清空它。

场景B则需要调查应用侧持续占用。尤其是Cached下降、进程匿名内存继续增长,说明内核可能正在回收缓存以满足进程需求。但队列没有恢复,仍不能立即断言泄漏:请求对象、待写入数据或重试任务也可能被队列持有。

这里要看变化顺序:

  • 后端响应先变慢,随后队列和内存增长,更像积压导致占用扩大。
  • 内存先持续增长,随后出现回收、交换和响应退化,更像内存压力拖慢业务。
  • 网络吞吐先上升,连接数与内存同步增长,可能是连接缓冲或并发增加。
  • CPU升高伴随频繁垃圾回收,可能是运行时回收压力,不等同于业务计算量增加。

这些只是因果候选。时间上的先后可以帮助定位,但仍要通过队列指标、运行时监控或复测来验证。

排除替代解释:交换、OOM和容器限制要分开看

交换已用不等于当前正在抖动

系统过去换出的冷页面,可能长期留在交换区。因此,Swap使用量不为零,不能直接证明当前内存不足。

应重点看vmstat中的si、so是否持续活跃,再与磁盘延迟、响应时间联动。在常见默认输出中,它们表示每秒换入、换出的KiB数量,具体单位以工具版本和参数为准。

若系统支持PSI,还可查看:

cat /proc/pressure/memory

其中some反映部分任务因内存压力而停顿的时间比例,full反映所有非空闲任务同时停顿的时间比例。avg10、avg60和avg300对应不同观察窗口;这些数值应与正常基线比较,而不是套用统一告警阈值。没有交换区时,也可能因回收压力发生明显停顿。

OOM证明发生了分配压力,不证明谁在泄漏

支持systemd日志的系统可检查近期内核记录:

journalctl -k --since "30 minutes ago" --no-pager |
  grep -Ei 'out of memory|oom-kill|killed process|memory cgroup'

没有输出时,应确认日志权限、保留范围和日志系统,不能直接认定未发生OOM。还要核对应用退出原因,区分内核OOM与应用自身报错、主动退出。

OOM被杀进程不一定是增长源。需要结合OOM前的内存趋势、日志中的约束信息和进程占用,判断是整机压力还是容器限额触发。

在cgroup v2环境中,应检查业务所属cgroup及必要的上级限制:

  • memory.current:该组当前统计的内存占用,包含的不只是进程堆。
  • memory.max、memory.high:分别对应硬限制和回收节流边界。
  • memory.stat:区分匿名内存、文件缓存及其他构成。
  • memory.events:检查观察窗口内high、max、oom、oom_kill等计数是否增加。

这些计数是累计值,应比较前后差值。cgroup v1使用不同文件,不能直接套用上述名称;容器工作集指标也不等于应用堆占用。

此外,要排除进程数量增加、线程增长、tmpfs临时文件、数据库缓冲池预热、定时任务、应用无界缓存及内存分配器保留等情况。垃圾回收后堆下降但RSS不下降,可能是分配器暂未把内存归还系统,也可能与碎片有关,仍需继续定位。

形成判断:把证据分成缓存、积压和泄漏嫌疑

偏向系统缓存增长:增长主要落在文件缓存或可回收内核缓存,进程私有占用稳定,可用内存与业务压力指标没有持续恶化。缓存长期保留可以是正常状态,但脏页堆积或回收停顿仍需处理。

形成判断:把证据分成缓存、积压和泄漏嫌疑配图

偏向业务积压或容量问题:内存跟随并发、连接、队列或批任务规模增长;负载下降、任务排空后,占用回到相近平台。此时应调查慢后端、重试放大、队列边界或缓存容量,而不是直接给代码贴上“泄漏”标签。

偏向进程泄漏或持续保留对象:在相近负载下,进程匿名或私有占用逐轮抬升;请求回落、队列排空并经过合理回收周期后,基线仍不恢复。进一步发现不可释放的对象、异常引用链或持续增长的分配来源,才能更有把握地确认根因。

不要用“清缓存后内存下降”验证泄漏。主动清理页缓存会破坏观察现场,并可能增加磁盘读取和延迟,也无法证明应用没有异常。重启后内存恢复同样只是线索,因为泄漏、正常缓存和分配器保留都可能暂时消失。

复测:看下一轮负载是否留下更高的内存基线

复测应尽量保持请求量、并发、任务规模和应用版本相近,覆盖“加载—运行—回落—恢复”完整周期。观察重点不是内存必须回到某个固定数值,而是经过预热后能否形成稳定平台。

缓存型增长通常表现为前几轮建立缓存,后续增幅收敛;积压型增长应随队列排空而缓解;泄漏嫌疑则表现为每轮业务结束后的私有占用基线继续抬升。复测时间过短、负载不一致或每轮都重启进程,都会削弱判断。

需要堆快照、运行时剖析或重启验证时,优先在测试环境或隔离实例执行,并事先评估暂停时间、CPU开销、磁盘空间及数据敏感性。生产止血与根因验证应分开进行:服务恢复后,仍要保留异常前后的指标和日志。

下一次香港服务器出现内存突然增长,建议同时保留这组指标:MemAvailable、缓存构成、目标进程匿名/私有占用、交换速率、内存PSI、CPU、磁盘延迟、网络吞吐,以及请求量、P95响应时间、错误率和队列长度。 如果业务运行在容器中,再加入cgroup用量、限制及OOM事件增量。把它们放到同一时间轴上,才能判断这次增长究竟是可利用的缓存、尚未消化的业务积压,还是需要深入定位的进程异常。

A5数据提供中国香港及美国、日本、新加坡等地区的物理服务器资源,覆盖Xeon Gold、AMD EPYC等平台,并配备不同容量内存、SSD或NVMe存储及CN2、国际线路方案,可承载网站后台、数据库、接口服务、容器和多任务计算等业务。针对内存波动明显、缓存与进程占用并存的场景,A5数据也能提供从硬件资源、磁盘性能到地域网络的组合基础,匹配不同业务规模与访问范围。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/4024.html

相关推荐