日本服务器内存占用持续增长,如何关联进程、缓存与交换空间判断原因?

发布人:A5数据发布时间:2026-10-20 11:13阅读量:162

单看“已用内存”持续上升,不能直接判断日本服务器发生内存泄漏:Linux 会把空闲内存用于文件缓存,应用进程增长、缓存增长和交换空间使用也可能同时出现,但对应的处理方式不同。判断原因要把可用内存、进程与容器占用、缓存回收、Swap、OOM记录,以及同一时间段的 CPU、磁盘 I/O、网络和业务响应放在一起看。

排查时先确认趋势是否持续、是否影响服务,再观察多个指标的先后关系。若进程内存稳步增加且可用内存下降,进程或容器可能是主要占用方;若缓存增长但可用内存充足、Swap 和响应时间平稳,通常不等于内存故障;若 Swap 持续增加并伴随磁盘 I/O、延迟或错误率上升,则需要进一步确认是否发生内存压力。

正文开头:多指标联动分析配图

先建立可比较的观察窗口

不要只对比两次相隔很久的 free 输出。建议选择一个覆盖业务高峰和低峰的观察窗口,例如连续记录 30 分钟至数小时,并对齐监控、应用日志与系统日志的时间。日本服务器上的业务若同时服务不同时区用户,尤其要确认监控平台、系统和应用日志是否使用同一时区;否则可能把请求峰值和内存变化错配。

先记录实例总内存、Swap 容量、系统发行版与内核版本,以及服务是否运行在容器或虚拟机中。容器场景中,宿主机还有可用内存,不代表容器没有触及自己的内存上限;反过来,容器统计的缓存也不一定等同于不可回收的应用内存。

Linux 可先用以下命令查看系统概况:

date
free -h
vmstat 1 10

free -h 的 available 比 free 更适合初步判断系统可供新程序使用的内存。buff/cache 包含可回收的缓存等,不能直接当作被应用永久占用的内存。vmstat 每秒输出一次,重点观察 si、so(Swap 读入、写出)、wa(I/O 等待)和运行队列;命令第一行通常是自启动以来的平均值,后续行才更适合观察当前变化。

一个有效的观察窗口至少应同时保留以下数据:

指标关注内容单独观察时的局限
MemAvailable、可用内存比例是否逐步下降,低位是否持续低值不一定说明具体哪个进程造成
进程 RSS、容器内存哪些服务占用增长,增长是否持续RSS 可能包含共享页,不能简单相加当成精确总量
Cached、SReclaimable文件缓存和可回收内核缓存变化缓存高不等于内存不可用
Swap 使用量、si/so是否有持续换入换出Swap 已占用不一定代表当前仍有压力
CPU、I/O、响应时间、错误率、队列是否与内存变化同一时段恶化单个指标也可能由其他瓶颈造成

先看可用内存与缓存是否同步变化

内存显示值需要结合定义理解。free 是当前完全未使用的内存;Linux 会利用空闲空间缓存文件数据和元数据,改善后续读取效率。缓存可以在系统需要内存时回收,所以 free 很低但 available 仍充足,可能只是缓存利用率较高,而不是进程已经耗尽内存。

可以定期记录 /proc/meminfo 中的关键字段:

grep -E 'MemTotal|MemFree|MemAvailable|Buffers|Cached|SReclaimable|Shmem|SwapTotal|SwapFree' /proc/meminfo

重点看趋势而不是某一个字段:

  • MemAvailable 持续下降,同时某个进程 RSS 持续上升,说明应用占用增长的可能性增加。
  • Cached 或 SReclaimable 增加,而 MemAvailable 稳定、Swap 没有持续换入换出,通常更像缓存随文件访问增长。
  • Shmem 增长时,要考虑共享内存、tmpfs 或容器内存等因素,不能全部归为普通文件缓存。
  • 内存总量较小的实例,即便可用内存比例看起来不低,也可能在突发请求时迅速触发压力;应结合绝对容量与业务负载判断。

例如,下面是一组用于说明判断方法的模拟数据,并非实际监控结果:

先看可用内存与缓存是否同步变化配图

时间MemAvailableCached最大进程 RSSSwap 使用响应时间 P95
09:003.2 GiB1.1 GiB620 MiB0.2 GiB180 ms
09:303.0 GiB1.5 GiB625 MiB0.2 GiB185 ms
10:002.9 GiB1.8 GiB630 MiB0.2 GiB182 ms

这组变化中,缓存上涨而进程 RSS、Swap 和响应时间基本平稳,较符合缓存增长的特征。若同一期间 MemAvailable 快速降到较低水平,RSS 从 620 MiB 持续升至 1.4 GiB,且响应时间同步拉长,才更应优先追查进程或容器的内存增长。

把系统内存变化关联到进程和容器

先按 RSS 找出当前占用较高的进程:

ps -eo pid,ppid,comm,rss,vsz,%mem,%cpu --sort=-rss | head -n 20

RSS 表示当前驻留在物理内存中的页面,单位通常为 KiB;VSZ 是虚拟地址空间大小,不等同于实际物理内存占用。共享库页面可能同时映射到多个进程,因此把所有进程 RSS 相加,可能高于系统实际使用量。应将它用于找增长对象,而不是精确核算整机内存。

对可疑进程持续采样,而不是只看一次快照:

watch -n 10 'ps -p 1234 -o pid,etime,rss,vsz,%mem,%cpu,cmd'

将 1234 换成实际 PID。若进程 RSS 随时间持续单向增长,且在流量回落后仍不下降,应继续结合应用自身的堆、缓存、连接池和请求队列指标分析。RSS 增长并不必然等于代码泄漏:应用可能在预热、扩展缓存或处理更高并发;若内存长期保持在稳定平台,也可能是正常容量需求。

需要进一步查看进程内存组成时,可读取 Linux 提供的汇总文件:

cat /proc/1234/smaps_rollup

该文件在较新的 Linux 内核中可用,具体字段因内核版本而异。Private_* 可帮助判断进程私有页面,Pss 会按共享页面比例分摊,通常比简单累加 RSS 更适合观察多进程应用的总体占用。若文件不存在,可检查内核版本,并使用发行版支持的进程内存分析工具;不必为了补齐单一字段而直接调整系统配置。

如果服务运行在容器中,还要比较容器统计与宿主机指标。检查容器的内存限制、当前使用量、工作集、重启次数和 OOM 事件;具体命令取决于容器运行时与编排平台。对 cgroup v2,可在对应的 cgroup 目录查看 memory.current、memory.max、memory.events 等文件。容器内存接近 memory.max 时,即使宿主机 MemAvailable 尚可,容器仍可能被限制或发生 OOM。不能只依据宿主机总内存排除容器内存不足。

把系统内存变化关联到进程和容器配图

Swap 增长要结合换入换出和 I/O 判断

Swap 使用量表示部分页面曾被换出,不等于系统此刻正在持续抖动。系统可能在先前的压力阶段换出较少使用的页面,压力缓解后仍保留这些页面在 Swap 中。因此,“Swap 非零”不是单独的故障结论。

应同时观察 vmstat 的 si、so 是否持续非零,以及磁盘 I/O、I/O 等待和业务响应是否同步恶化。短时换入换出可能出现在任务切换或负载波动中;若持续发生,并伴随 MemAvailable 低位、磁盘读写升高、CPU 等待增加和响应变慢,就更符合内存压力导致的换页影响。

例如,某时段 Swap 使用从 300 MiB 增至 1.2 GiB,但之后 si/so 接近零、可用内存恢复,响应时间也未变化,可能是历史换出页面尚未重新载入。相反,若每秒都出现明显换入换出,磁盘队列持续增长,应用延迟和超时率同一时间上升,应优先排查内存压力与活跃工作集是否超过可用物理内存。

还要区分内存导致的 I/O 与磁盘本身的瓶颈。日志写入、数据库查询或批处理也会增加 I/O;若 si/so 没有变化,而磁盘延迟上升,应检查对应业务负载和磁盘指标,避免把所有性能下降都归因于 Swap。

用 OOM、CPU、网络和业务指标排除其他解释

出现服务重启、请求错误或进程消失时,检查内核日志中的 OOM 线索。不同发行版和日志服务的查询方式可能不同,可先尝试:

journalctl -k --since "1 hour ago" | grep -Ei 'out of memory|oom|killed process'

若系统使用传统日志文件或当前用户无权限访问内核日志,应按发行版查看系统日志并确认读取权限。日志中若记录了被终止的进程、内存使用情况或 cgroup 路径,需与监控中的时间、PID、容器和应用重启记录对齐。没有看到日志不一定能排除 OOM:日志可能轮转、权限不足,或容器事件记录在编排平台中。

同一时间窗口还应查看:

  • CPU 与运行队列:CPU 利用率高、运行队列变长但内存稳定,可能是计算瓶颈;若 CPU 降低同时 I/O 等待上升,则需判断进程是否被换页或存储阻塞。
  • 网络流量与连接数:入站流量、并发连接或请求数上升,可能使工作进程、连接缓冲区和应用缓存一起增加。网络流量本身不等于内存泄漏,但能解释负载变化为何推动内存增长。
  • 业务响应时间和错误率:延迟上升若与 Swap 活跃、I/O 等待和可用内存下降同步,关联更强;若内存平稳而错误率上升,应检查应用依赖、数据库、网络和限流情况。
  • 队列和并发量:任务队列持续堆积可能让待处理对象、消息或请求在内存中滞留。若队列长度先增长、随后 RSS 上升,需检查消费者处理能力和回压机制,而不只是扩大服务器内存。
  • 重启与部署事件:进程重启后 RSS 清零、随后重新爬升,可能提示周期性泄漏或缓存重建;部署时间与内存变化重合,也要核对版本和配置差异。

多指标的先后顺序有助于区分原因。若请求量或队列先增加,随后进程 RSS 增长,再出现可用内存下降和 Swap 活跃,业务负载很可能是触发因素;若流量稳定而 RSS 仍持续爬升,需进一步检查应用内部对象、连接未释放或缓存上限;若缓存先升高但可用内存、Swap 和延迟稳定,则不应仅因“已用内存”上升就清理缓存或扩容。

形成判断后,用相同条件复测

完成关联分析后,将问题归入可验证的候选原因,而不是直接依据单项阈值处理:

观察到的组合优先判断方向下一步验证
RSS 持续增长、可用内存下降,流量相对稳定进程内存增长或释放不及时按 PID、PSS、应用堆和版本分段观察
缓存增长、可用内存稳定,Swap 与延迟平稳文件缓存或内核缓存增加继续观察业务文件访问和缓存趋势
容器用量接近上限,宿主机仍有可用内存容器限制或工作集过大核对容器限额、事件记录和容器内进程
Swap 持续读写、I/O 等待和响应时间上升活跃内存工作集超过可用内存的可能性较高对齐进程占用、磁盘延迟和请求并发
内存稳定,CPU、队列或错误率先恶化其他资源瓶颈或应用积压检查 CPU、存储、依赖服务和队列处理能力

若要通过降低并发、调整应用缓存或改变容器限制验证假设,应先记录原配置、明确影响的服务与流量范围,并选择可回退的变更方式。调整后在相似流量和相同时长下复测,比较 MemAvailable、进程或容器占用、Swap 换入换出、I/O、响应时间、错误率和队列长度。若内存曲线改善但错误率、延迟或队列恶化,说明变更可能只是转移了压力,不能视为问题已经解决。

下一次观察日本服务器的内存趋势时,至少同时保存“可用内存与缓存、进程或容器占用、Swap 活动、CPU 与 I/O、网络或请求量、响应时间与错误率、队列长度”这组指标,并统一时间戳。这样才能判断内存增长是可回收缓存、负载随动、容器限制、进程持续占用,还是已经影响业务的系统压力。

对于内存占用持续增长的业务,A5数据提供日本物理服务器方案,涵盖 Xeon Gold 与 AMD EPYC 平台,并有 NVMe 存储及多种线路选择,可为网站、数据库、接口服务和容器业务提供部署资源。日本 CTG 系列还提供 SSD、大容量 HDD 与多 IP 等配置,适合不同的数据存储和业务架构需求;香港、美国等地区也有不同硬件与网络方案,支持多地区业务部署。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/4740.html

相关推荐