新加坡服务器内存突然增长,如何结合进程、缓存与交换空间定位原因?

发布人:A5数据发布时间:2026-11-10 09:28阅读量:51

新加坡服务器出现内存突然增长时,不能只看 free -h 中的 used 或 free 数值下结论。Linux 会把空闲内存用于文件缓存,free 下降并不等于应用正在泄漏;真正需要关注的是 MemAvailable 是否持续下降、匿名内存是否由某个进程占用、缓存能否回收,以及交换空间是否开始发生频繁读写。

更可靠的定位方式,是把内存、进程、缓存、交换、CPU、磁盘 I/O、网络连接数、请求延迟、错误率和队列长度放到同一时间窗口中观察。只有当多个指标在时间上相互印证,才能区分应用进程增长、缓存扩张、交换抖动、容器限制、内核对象占用和业务并发上升等不同原因。

新加坡服务器内存问题的排查,离不开与业务负载相匹配的主机资源。A5idc数据提供新加坡等多个地区的物理服务器,涵盖不同CPU、内存、存储与线路方案,可为网站、数据库、接口服务及多任务业务提供部署基础。对于需要结合进程、缓存和交换空间观察运行状态的业务,独立服务器资源也便于将主机指标与服务表现放在同一监控窗口中分析。

先建立统一的观察窗口

记录时间、业务状态和监控口径

新加坡节点通常使用 UTC+8,但应用日志、主机监控和数据库日志可能分别使用本地时间或 UTC。排查前应先确认时间口径,否则容易把“内存先增长、延迟后升高”误判成相反顺序。

建议记录以下信息:

  • 使用 ISO 8601 格式记录采样时间,例如 2025-03-08T14:20:00+08:00。
  • 标记流量上涨、发布、定时任务、备份、批量导入、日志轮转和配置变更的时间。
  • 记录异常开始前至少 10~15 分钟,以及异常持续期间的数据。
  • 对突发故障,每 5~10 秒采样一次;对缓慢增长,每 30~60 秒采样一次。
  • 同时记录请求量、并发连接数、P95/P99 延迟、错误率和业务队列长度。

主机层面可以先执行一组低风险、只读命令:

date -Is
uptime
free -h
vmstat 1 10
ps -eo pid,ppid,user,%mem,rss,vsz,stat,etime,comm --sort=-rss | head -n 20

如果系统安装了 sysstat,还可以补充磁盘和进程级 I/O:

iostat -xz 1 5
pidstat -r -d -p ALL 1 5

iostat 和 pidstat 的具体字段会受发行版和工具版本影响。若命令不存在,应先确认系统版本和已安装的软件包,不要在高负载故障现场为了补装工具而引入新的 I/O 或锁竞争。

同一时间记录主机和服务指标

一个完整的观察窗口至少应包含以下几类数据:

指标类别重点指标用途
内存MemAvailable、匿名内存、文件缓存、Slab、Swap判断是真正的内存压力还是正常缓存
进程RSS、PSS、进程数量、线程数、堆使用量定位具体占用者及增长方式
交换si、so、Swap 使用量、内存 PSI判断是否发生换入换出和等待
CPUuser、system、iowait、load、上下文切换区分计算压力、内核压力和 I/O 等待
磁盘IOPS、吞吐、await、队列长度判断交换或文件访问是否拖慢请求
网络连接数、收发速率、重传、socket 缓冲排查慢连接、连接堆积和网络缓冲
服务QPS、并发、P95/P99、错误率、业务队列将主机资源变化与用户可见影响对应起来
内核与容器OOM 日志、cgroup 内存事件、memory PSI判断是否由内核或资源配额触发终止

先判断“可用内存”是否真的下降

free 低不一定代表故障

Linux 会主动利用空闲内存保存文件页、目录项和 inode 信息,因此一台运行正常的服务器也可能显示 free 很低、buff/cache 较高。

更有参考价值的是:

  • MemAvailable:内核估算在不明显触发交换的情况下,仍可提供给应用使用的内存。
  • AnonPages:进程堆、栈、匿名映射等不对应普通文件的内存。
  • Cached:文件页缓存。
  • SReclaimable:可回收的部分内核 Slab。
  • SUnreclaim:不容易回收的内核 Slab。
  • Shmem:共享内存和 tmpfs 等占用。
  • SwapFree、SwapCached:交换空间状态。

可用以下命令查看更细的组成:

grep -E 'MemTotal|MemFree|MemAvailable|Cached|SReclaimable|SUnreclaim|Shmem|AnonPages|SwapTotal|SwapFree|Dirty|Writeback' /proc/meminfo

观察时应优先问三个问题:

  1. MemAvailable 是短时间波动,还是持续下降?
  2. 下降部分主要来自 AnonPages、Cached、Shmem 还是 Slab?
  3. 下降的同时,是否出现 si/so、I/O 等待、延迟和错误率上升?

例如,某时段 MemFree 从 2 GiB 降到 500 MiB,但 MemAvailable 仍保持在 8 GiB 左右,Cached 增加且没有交换活动,这更像文件缓存正常扩张,而不是应用突然耗尽内存。反过来,如果 MemAvailable 持续下降,AnonPages 与某个进程的 RSS 同步增长,就需要优先检查该进程。

用时间序列而不是单次快照

一次 free -h 只能说明当前状态,无法说明增长速度。至少应连续采样,记录以下变化:

  • 10 分钟内可用内存减少多少;
  • 匿名内存是否随请求量增长;
  • 流量回落后内存是否回落;
  • 进程退出或工作线程减少后,内存是否释放;
  • 缓存增长后是否能在压力出现时被回收。

如果业务流量在 14:00 至 14:20 增加,Cached 从 3 GiB 增至 7 GiB,但 MemAvailable 变化很小,且没有 si/so,这通常不应直接定性为泄漏。若流量在 14:20 恢复,缓存仍保持高位但可用内存稳定,也可能只是内核保留的可复用缓存。

把内存增长对应到具体进程

RSS、VIRT 和 PSS 不能混用

进程列表中的几个字段含义不同:

  • VIRT 或 VSZ:进程映射的虚拟地址空间,不等于实际占用的物理内存。
  • RSS:当前驻留在物理内存中的页面,但共享页面可能被多个进程重复计算。
  • PSS:按共享比例分摊后的物理内存,更适合汇总多个进程的实际占用。
  • VmSwap:该进程有多少页面被换出到交换空间。

因此,不能简单地把所有进程 RSS 相加后,与主机总内存直接比较。共享库、共享内存、文件映射和内核缓存都会造成差异。

先查看 RSS 最大的进程:

ps -eo pid,ppid,user,%mem,rss,vsz,stat,etime,comm --sort=-rss | head -n 30

其中 rss 通常以 KiB 显示。若某个进程的 RSS 从 1,200,000 KiB 增长到 2,400,000 KiB,约等于从 1.14 GiB 增长到 2.29 GiB,说明其驻留内存增加约 1.15 GiB,但仍应结合 PSS 和进程内部指标确认。

对于已知 PID,可以查看匿名页、文件页和进程交换量:

PID=1234

grep -E 'VmRSS|VmSwap|RssAnon|RssFile|RssShmem|Threads' /proc/${PID}/status
cat /proc/${PID}/smaps_rollup 2>/dev/null

如果系统支持 smaps_rollup,其中的 Pss、Pss_Anon、Pss_File 和 Pss_Shmem 能帮助判断增长来自:

  • 匿名内存:堆、栈、运行时分配、对象缓存;
  • 文件映射:动态库、内存映射文件、数据库或日志文件映射;
  • 共享内存:进程间通信、共享缓存、tmpfs;
  • 交换空间:进程页面被换出后的占用。

判断是“单进程增长”还是“进程数量增长”

常见的两种模式不同:

观察结果更可能的方向进一步验证
一个进程 RSS/PSS 连续上升,进程数稳定堆增长、对象保留、应用缓存、内存泄漏查看运行时堆、请求类型、GC、分配与释放趋势
每个进程占用稳定,但 worker 数量持续增加进程池扩张、子进程未退出、任务堆积观察父子进程、进程状态、进程创建速率
RSS 增长,流量下降后仍不回落内存保留、碎片、缓存未淘汰或泄漏对比服务内部堆和 RSS,观察平滑重启后是否复现
RSS 增长与并发、队列同步增长请求上下文、响应缓冲或下游阻塞查看慢请求、连接状态、下游响应时间
RSS 变化不大,但主机内存减少文件缓存、Slab、tmpfs、socket 缓冲或其他进程查看 /proc/meminfo、cgroup 和 socket 统计

应用运行时的“已使用堆”不一定等于进程 RSS。部分运行时会保留已经申请过的地址空间,以便后续复用;数据库、消息客户端和日志组件也可能使用独立缓存。于是可能出现“应用堆指标下降,但 RSS 仍然较高”的情况,这不必立即等同于泄漏,需要看后续是否继续增长以及系统是否受到内存压力。

区分缓存增长与应用占用

文件缓存增长通常有可回收特征

如果 Cached 增长、AnonPages 基本稳定、MemAvailable 仍有余量,且没有明显交换活动,常见原因是:

  • 读取大量静态文件;
  • 数据库或搜索程序访问文件;
  • 日志、备份或批处理产生较强的文件访问;
  • 页面缓存随着流量上升而扩大。

文件缓存本身不是坏现象。Linux 会在应用需要时回收一部分缓存。判断关键不在于缓存是否增长,而在于:

  • 可用内存是否同步跌破业务安全余量;
  • 缓存是否能够在压力下回收;
  • 回收过程是否造成大量磁盘读取;
  • 延迟、I/O 队列和错误率是否随之恶化。

不建议把清空 page cache 当作常规修复手段。它会破坏热数据,导致后续请求重新从磁盘读取,可能让延迟和 I/O 更高。只有在明确的测试场景、已评估影响并保留回滚方案时,才应进行缓存回收实验;生产故障中优先保留证据和确认来源。

Shmem、tmpfs 和内核 Slab 容易被忽略

有些“缓存”并不是普通文件缓存:

  • /dev/shm 或其他 tmpfs 中的文件会消耗内存;
  • 进程间共享内存可能显示在 Shmem;
  • 大量网络连接可能增加 socket 缓冲;
  • 文件、目录、网络连接等内核对象可能推动 Slab 增长;
  • 容器中的内存使用可能被 cgroup 计入,但主机级进程列表不容易直接看出。

可以补充检查:

df -hT
df -h /dev/shm 2>/dev/null
grep -E 'Slab|SReclaimable|SUnreclaim|Shmem|KernelStack|Sock' /proc/meminfo
ss -s

如果 Shmem 与 /dev/shm 使用量同步增长,应检查应用是否创建了未清理的共享文件或临时对象。如果 SUnreclaim 或 Sock 持续增加,则应转向内核对象、连接数量、网络缓冲和协议栈压力,而不是继续只看某个用户态进程。

观察交换空间与 OOM 的联动

Swap 使用量不等于正在发生交换

服务器有少量 Swap 已使用,并不一定说明当前正在抖动。内核可能把长期不活跃的页面移出,以保留更多文件缓存。判断实时压力应看 vmstat 中的 si 和 so:

  • si:从交换空间读入内存的速率;
  • so:从内存写入交换空间的速率;
  • 在常见 Linux 工具中,单位通常是 KiB/s。

重点是连续多个采样周期是否都出现较大的 si/so,以及它们是否与 iowait、磁盘 await、请求延迟和队列长度同时升高。

还可以查看内存压力停顿:

cat /proc/pressure/memory
swapon --show
vmstat 1 10

/proc/pressure/memory 中的 some 和 full 反映任务因内存资源不足而等待的时间比例。它不是单一阈值告警,而是判断“有多少任务被内存回收或分配阻塞”的补充证据。

OOM 可能发生在容器或服务配额内部

如果服务器物理内存看起来还有余量,但某个容器或 systemd 服务仍然被终止,应检查 cgroup 限制。cgroup v2 常见路径如下:

CG=/sys/fs/cgroup

cat ${CG}/memory.current 2>/dev/null
cat ${CG}/memory.max 2>/dev/null
cat ${CG}/memory.events 2>/dev/null

如果服务运行在独立的 cgroup 中,应先找到对应的 cgroup 路径,再读取相同文件。memory.max 可能显示具体限制,也可能是 max;memory.events 中的 oom、oom_kill 和 high 有助于判断是否在配额层面触发压力。

内核日志可以只读查看:

journalctl -k --since "30 min ago" | grep -Ei 'oom|out of memory|killed process|memory cgroup'

部分系统没有完整的 journal,或者普通用户没有读取内核日志的权限。此时应使用系统现有的日志采集方式,不要为了读取日志随意修改权限。

典型联动模式

内存表现Swap/内核表现服务表现初步判断
AnonPages 和单个进程 RSS 上升si/so 先为 0,随后升高延迟随时间升高用户态进程持续占用,已开始造成压力
Cached 上升,匿名内存稳定si/so 为 0,Available 稳定延迟和错误率无明显变化正常文件缓存扩张的可能性较高
Available 快速下降si/so 持续较高,iowait 上升P95、队列、超时同步上升交换抖动或内存回收压力
主机内存尚有余量cgroup oom_kill 增加单个服务退出或重启服务级内存上限被击穿
Slab、Sock 或 Shmem 增长交换不一定明显连接数或 IPC 对象持续增加内核对象、socket 缓冲或共享内存方向

把 CPU、I/O、网络和业务指标放进同一时间线

内存增长可能是并发和队列的结果

当下游数据库、接口或磁盘变慢时,请求会在应用内排队。每个请求可能持有参数、响应缓冲、连接对象或上下文,导致内存随着并发持续增加。这种场景不一定是代码泄漏,而可能是系统吞吐不足造成的积压。

需要同时观察:

  • QPS 是否增加;
  • 活跃请求数和连接数是否增加;
  • 业务队列长度是否增加;
  • 下游响应时间是否变长;
  • CPU 是 user/system 占用高,还是 iowait 占用高;
  • 网络收发和重传是否异常;
  • 应用错误是否以超时、连接池耗尽为主。

如果 CPU 使用率不高,但 iowait、队列长度和延迟同时上升,进程可能主要在等待磁盘或交换,而不是缺少 CPU。若网络连接数、发送队列和响应缓冲增长,慢客户端或下游网络延迟也可能间接抬高进程内存。

一个模拟监控窗口

下面的数据仅用于说明分析方法,不代表某台新加坡服务器的实测结果。假设主机内存为 24 GiB,vmstat 的 si/so 单位为 KiB/s:

把 CPU、I/O、网络和业务指标放进同一时间线|一个模拟监控窗口配图

时间AvailableAnonCachedsi/soCPU iowait磁盘 awaitP95 延迟错误率队列
14:008.1 GiB9.0 GiB5.2 GiB0/03%4 ms120 ms0.2%80
14:103.0 GiB13.9 GiB4.8 GiB0/05%6 ms135 ms0.3%150
14:201.2 GiB16.0 GiB3.5 GiB180/24028%85 ms1,600 ms4.8%1,100
14:300.6 GiB16.8 GiB2.9 GiB620/78041%170 ms4,200 ms12.5%2,800

这组变化中,关键不是某个数值是否超过固定阈值,而是多个指标的顺序和同步关系:

  1. Available 持续下降,Anon 持续增长,说明主要压力来自匿名内存。
  2. Cached 没有同步增长,初步排除“只是文件缓存变大”。
  3. 14:20 后 si/so、iowait、磁盘 await 和延迟同步升高,说明已经出现交换压力。
  4. 队列和错误率同步上升,说明内存问题已经影响业务吞吐。
  5. 下一步应回看进程 RSS/PSS、应用堆、连接数和请求类型,而不是先清空缓存。

如果在同一时间段发现某个 worker 的 PSS 以每分钟几十 MiB 的速度增长,且流量恢复后仍不下降,应用内存保留或泄漏的可能性较高。如果所有 worker 都稳定,但活跃请求数和队列不断增加,则应优先排查下游阻塞和并发上限。

按替代解释逐项排除

进程泄漏与应用缓存

可疑特征包括:

  • 单个进程或同一组 worker 的 PSS 长时间单向上升;
  • 流量下降后,PSS、匿名内存仍不回落;
  • 请求量相近时,进程基线越来越高;
  • 应用运行时的对象数、堆、缓存条目或连接对象也在增长;
  • 进程重启后内存恢复,但经过相似流量周期再次增长。

“重启后恢复”只能说明进程生命周期能够释放这部分内存,不能单独证明是泄漏。还要确认是否是无上限缓存、连接未关闭、请求上下文保留、批处理结果积压或运行时碎片。

文件缓存和内存映射文件

可疑特征包括:

  • Cached 或 RssFile 增长;
  • 匿名内存和应用堆基本稳定;
  • 磁盘读取量随缓存增长;
  • 内存压力出现后,缓存可以回收;
  • 业务主要进行大文件、静态资源、数据库文件或日志访问。

如果 RssFile 增长来自应用的内存映射文件,还需要结合文件映射范围、访问模式和应用配置判断。它不一定表现为传统意义上的 page cache,也不能仅凭进程 RSS 就确认是堆泄漏。

连接和队列积压

可疑特征包括:

  • TCP 连接数、活跃请求数、连接池占用持续增加;
  • 网络收发速率或重传升高;
  • 业务队列长度和请求 P99 同步增长;
  • CPU 使用率不高,但应用线程处于等待状态;
  • 下游服务响应时间或连接建立时间变长。

新加坡节点可能同时承接不同地区的访问,跨地域链路延迟、下游接口响应速度和客户端接收速度都可能影响连接生命周期。此时应把客户端地区、上游负载均衡、应用连接池和下游服务指标放在同一时间线中,而不能把所有增长都归咎于主机内存。

内核、tmpfs 与容器边界

如果用户态进程总 RSS 变化不大,但主机可用内存持续减少,应重点检查:

  • Shmem 和 /dev/shm;
  • SUnreclaim、Sock 和内核栈;
  • 容器的 memory.current 和 memory.events;
  • 服务数量、线程数和连接数;
  • 是否存在多个相似进程未被当前筛选命令覆盖。

容器环境中还应确认监控采集的是宿主机还是容器视角。宿主机显示仍有内存,不代表某个容器没有达到自身 memory.max。

形成判断后再做复测

先保存证据,再改变运行状态

排障过程中不要一看到内存高就立即强制杀进程、重启主机或清空缓存。重启可能暂时恢复服务,却会丢失进程增长曲线、OOM 现场和连接积压证据。

建议先保存:

  • 异常前后的 free -h、vmstat、/proc/meminfo;
  • RSS/PSS 最大的进程及其 PID;
  • 进程数量、线程数量和连接统计;
  • cgroup 内存限制与事件;
  • OOM、应用错误和服务重启日志;
  • QPS、队列、延迟、错误率、磁盘和网络监控。

如果必须采取应急措施,应优先使用服务自身支持的优雅排空、限流或滚动重启机制,并记录操作时间、影响范围和回滚方式。临时恢复不应代替原因确认。

用相同指标复测判断

采取限流、降低并发、暂停批处理或切换流量后,应继续采样至少一个完整业务周期:

  • 如果请求量下降后匿名内存和队列一起下降,问题可能与并发或积压有关;
  • 如果请求量下降但某个进程 PSS 仍继续上升,应用内部保留或泄漏更可疑;
  • 如果缓存下降后 Available 恢复,且没有明显业务延迟,缓存回收可能是主要变化;
  • 如果 Swap 持续使用、iowait 和延迟不恢复,应继续检查是否仍有进程占用或交换中的冷页;
  • 如果只有容器重启有效且 oom_kill 重现,应重新评估服务级内存上限和工作进程配置;
  • 如果内存稳定但延迟仍高,则内存可能只是伴随现象,还要回到磁盘、网络、数据库或业务队列排查。

下一次遇到新加坡服务器内存突然增长,建议固定同时观察这一组指标:MemAvailable + AnonPages + Cached + Slab/Shmem,最大进程的 RSS/PSS/VmSwap,vmstat 的 si/so,内存 PSI,CPU 的 user/system/iowait,磁盘 await 与队列,网络连接数与重传,以及服务端的 QPS、并发、P95/P99、错误率和业务队列。单点阈值只能提示异常,时间上相互对应的指标组合,才更接近问题的实际原因。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/8524.html

相关推荐