马来西亚服务器内存耗尽时,怎样从进程、缓存和交换空间定位原因?

发布人:A5数据发布时间:2026-11-13 14:18阅读量:42

马来西亚服务器出现内存告警、网站变慢或进程被系统终止时,先不要只看 free 中的“空闲内存”一项,也不要因为交换空间已用就直接认定物理内存不足。Linux 会把空闲内存用于文件缓存;判断压力要结合 MemAvailable、交换读写、进程实际占用、内核 OOM 记录和服务请求变化。

排查时可以沿着一条问题树推进:告警是否对应真实的可用内存压力;压力来自系统缓存、单个进程、多个服务叠加,还是容器内存限制;是否已经触发 OOM;最后再通过负载下降或配置调整观察指标是否恢复。马来西亚只是服务器所在区域,不会改变 Linux 的内存判断方式,但当地业务流量时段、日志时区和监控采样间隔会影响故障时间线的还原。

问题树诊断配图

内存压力排查不仅要看进程,也要结合主机资源与业务负载。A5idc数据在马来西亚吉隆坡及香港、日本、新加坡等地区提供物理服务器,配置覆盖不同CPU、内存与存储需求,可为网站、数据库、接口服务和多任务业务提供部署资源。部分方案搭配NVMe存储,适用于承载需要快速读写的业务数据;多地区资源也便于按业务部署区域规划服务器环境。

一、先确认“内存耗尽”是哪一种情况

同一台主机上,以下几种表现容易被统称为内存不足,但原因和处理方式并不相同:

  • free 显示空闲内存很少,但 available 仍较充足,系统也没有持续交换读写。这可能是文件缓存占用较多,未必属于故障。
  • MemAvailable 持续下降,交换空间不断被使用,vmstat 中出现持续的 si、so,业务响应变慢。这更像是实际内存压力。
  • 某个服务或容器被终止,但整机看起来仍有可用内存。需要检查容器、服务管理器或应用自身的内存上限。
  • 内存告警后,网站出现 502、连接超时或进程重启。网络错误可能是内存压力的结果,也可能是流量突增触发了应用进程扩张,需从时间线上判断。
  • 机器仍可登录,但数据库、应用或 Web 服务不可用。系统可能只杀掉了某个高耗内存进程,没有耗尽整机资源。

建议先记录告警时间、受影响服务、业务错误率和主机负载,并查看内存总量及趋势。以下命令适用于常见 Linux 发行版;若系统缺少 procps 等工具,可先确认发行版和现有工具,不要为了排查直接安装来源不明的软件。

date -Is
free -h
cat /proc/meminfo | head -20
uptime

重点看 free -h 中的 available,而不只是 free。available 是内核对当前可供新进程使用的内存估算,其中考虑了可回收缓存;它不是精确的“可分配保证值”,但通常比单看空闲内存更适合初步判断。

/proc/meminfo 中的 MemAvailable、Cached、Buffers、SwapTotal 和 SwapFree 可作为补充。内核版本、发行版和虚拟化环境不同,字段含义及呈现细节可能略有差异。

二、先判断是缓存占用,还是实际内存压力

Linux 会使用未占用的内存缓存文件内容、目录信息等,以减少后续磁盘访问。文件缓存增加本身通常是正常现象;需要判断的是这些缓存能否在内存需求上升时及时回收,以及回收是否伴随明显性能损失。

观察结果可能含义下一步
free 较低,available 仍较高,交换读写很少内存主要用于可回收缓存,未必存在持续压力观察趋势及业务延迟,不因单次快照清理缓存
available 持续下降,交换空间使用量增加进程占用或不可回收内存可能挤压可用内存查看交换活动、进程占用和 OOM 记录
Cached 较高,但 available 很低缓存不一定能完全回收,也可能同时存在大量进程占用查看 MemAvailable、SReclaimable、进程 PSS 和内核日志
内存占用接近上限,交换读写频繁、系统响应迟缓系统可能处于内存回收或换页压力按时间段定位增长进程、服务或容器

用 vmstat 观察交换活动时,命令中的间隔和次数是采样设置,并非监控结论:

vmstat 1 10

输出里的 si 和 so 分别表示从交换空间读入和写出的内存活动,单位通常按 KiB/s 展示。第一行往往是自开机以来的平均值或累计表现,不宜与后续每秒采样行混为一谈;应重点观察后续多行是否持续出现明显交换活动。

交换空间已用,不代表当前仍有严重压力。系统可能在较早时段换出过冷数据,而后负载已经恢复。反过来,交换空间尚未用满,也不能排除内存压力。要结合 MemAvailable、si、so、业务延迟和故障时间判断。交换读写持续增加时,磁盘延迟也会影响表现,因此不能把所有慢响应都归因于 CPU 或网络。

若要看内存与交换空间的总体分布,可以执行:

swapon --show
cat /proc/swaps

这些命令只用于查看。不要把“清空交换空间”当作常规排障动作:关闭再开启交换可能要求系统腾出大量内存,在压力状态下反而导致进程被杀或服务中断。调整交换配置应先确认可用内存、维护窗口、系统策略和回滚办法。

三、沿原因树逐层定位

1. 网络与请求量:确认是否由流量变化触发

网络本身通常不会直接消耗大量系统内存,但请求量、连接数和请求类型会驱动 Web 服务、应用进程和缓存使用更多内存。例如,突发访问可能导致工作进程增加;慢请求或长连接可能使连接对象长期驻留;大文件上传、图片处理和导出任务也可能产生内存峰值。

先把内存曲线与请求量、连接数、错误率和业务任务时间对齐。马来西亚服务器面向不同地区提供服务时,流量来源和高峰时段可能与本地时区不一致;日志使用 UTC 或本地时间,也可能导致同一事件看起来错开。应确认监控平台、系统日志和应用日志的时区设置,再比较时间线。

如果连接量或请求量突然上升,而进程数、工作进程数和 RSS 同步增加,优先检查入口流量变化以及服务并发配置。若请求量稳定,但单个进程内存持续增长,则转向服务和应用层排查。网络指标只能说明触发条件,不能单独证明内存根因。

2. 系统层:识别内核回收、共享内存和 OOM

先查看主要进程的内存占用,再查内核是否记录了 OOM(Out of Memory)处理。Linux 内存统计中有些项目属于内核、共享映射或缓存,不能简单把所有数值相加后与物理内存总量比较。

ps -eo pid,ppid,user,comm,rss,vsz,%mem --sort=-rss | head -20

RSS 是进程当前驻留在物理内存中的页面估算,VSZ 是虚拟地址空间大小,不等同于实际占用。多个进程可能共享同一份库或映射,逐项相加 RSS 会重复计算共享页面。若机器安装了 smem,可通过 PSS(按共享比例分摊)辅助比较;该工具不是所有系统默认安装的,不应把它的缺失当作异常。

查看 OOM 相关内核记录时,根据发行版和日志管理方式选择可用命令:

journalctl -k --since "2 hours ago" | grep -Ei 'out of memory|oom|killed process'
dmesg -T | grep -Ei 'out of memory|oom|killed process'

journalctl 依赖 systemd 日志,dmesg 可能受权限或日志保留策略限制。没有查到记录,并不能证明从未发生 OOM:日志可能已轮转、内核日志缓冲区已覆盖,也可能是容器或服务管理层实施了限制。若看到类似 Killed process 1234 (java) 的记录,需将 PID、进程名和时间与应用日志、服务重启记录对应;OOM 选择的受害进程不一定就是最初制造压力的进程。

还要区分整机 OOM 与 cgroup 内存限制。容器或服务即使在宿主机还有可用内存时,也可能先达到自身限制并被终止。若使用容器,应同时检查容器的配置上限、当前使用量和事件记录,而不能只看宿主机的 free -h。

对于 cgroup v2 环境,可检查相关控制组目录中的 memory.current、memory.max、memory.events 等文件。实际路径取决于容器运行时和系统配置,可先查看挂载信息:

findmnt -t cgroup,cgroup2

确认控制组路径后,再读取对应目录里的数据;不要假设所有主机都使用相同目录结构。memory.events 中的 oom 或 oom_kill 计数如果在故障时增加,说明该控制组发生过内存限制相关事件。宿主机层面的总内存尚有余量,并不能否定容器达到自身上限。

3. 服务层:判断服务配置是否放大了占用

单个服务通常由多个进程、线程或工作进程共同组成。排查时要看总量和单个进程的分布,避免只看到一个低占用 PID 就判断服务没有问题。

常见检查方向包括:

  • Web 服务工作进程数是否与 CPU 核数、并发量相匹配;配置过高时,多个工作进程会共同增加常驻内存。
  • 应用服务器是否将连接池、任务线程、队列或缓存设置得过大;并发提高时,内存占用可能近似随工作单元数量增长。
  • 数据库是否为缓冲池、连接或查询操作预留过多内存;需以实际配置和峰值并发为准,不能只看进程 RSS。
  • 日志处理、备份、压缩、报表和批量导入是否与线上高峰重叠;这些任务可能产生短时高峰。
  • 服务管理器、容器编排平台或面板是否设置了比主机资源更低的内存上限。

先查看进程与服务状态,不要为了“释放内存”随意重启数据库或清理缓存。重启可以暂时降低某些进程的占用,却会掩盖持续增长问题,并可能造成连接中断、缓存冷启动或数据处理任务失败。

4. 应用层:区分正常峰值与持续泄漏

应用内存升高可能来自请求体过大、批量结果集、未释放对象、缓存无上限、任务积压或内存泄漏。识别关键不在于某次峰值有多高,而在于负载回落后内存是否回落、是否每个周期都垫高一截,以及重启后是否重复出现同一增长曲线。

可以按下表判断后续方向:

曲线或日志表现更值得核查的方向
业务高峰时升高,流量回落后逐步下降正常缓存、并发峰值或请求处理的临时对象
每次批处理完成后都比上次多占一部分,长期不回落对象未释放、缓存缺少上限、任务积压或泄漏
多个同类进程同时上升,单进程变化相近工作进程数量、并发配置或共享服务资源
只有一个进程快速增长特定请求、任务、查询或应用组件
进程存活但响应变慢,交换读写增多内存回收压力或工作集大于可用内存
进程被终止后服务自动重启,主机内存仍有余量容器、服务或应用级内存限制

这类判断需要结合应用自身的指标,例如堆使用量、垃圾回收、队列长度、连接池、请求大小和任务执行时间。不能仅凭 Linux 进程 RSS 就确定具体代码位置。若故障只在某一类请求后出现,应优先缩小到对应路由、任务或查询,并在应用日志中按请求 ID、任务 ID 或时间段关联;避免记录敏感请求内容。

四、一个示例:如何从多项证据得出判断

下面是用于说明判断方法的模拟数据,不代表某台马来西亚服务器的实际监控结果:

一个示例:如何从多项证据得出判断配图

  • 主机内存为 8 GiB,MemAvailable 从约 2 GiB 在 20 分钟内降至约 300 MiB。
  • SwapFree 持续减少,vmstat 多个采样行中 si、so 均持续出现。
  • 某应用进程的 RSS 从约 700 MiB 增至 2.4 GiB,同期请求量只增加约 10%。
  • 内核日志记录该进程被 OOM 机制终止;服务管理器随后重新拉起进程。

这些证据支持“应用进程增长造成实际内存压力,最终触发 OOM”的判断,单纯的文件缓存解释不了进程 RSS 持续上升和 OOM 记录。但仍不能仅凭以上数据认定代码存在内存泄漏:还需观察进程重启后的增长曲线,检查堆、缓存、队列及任务状态,并确认进程是否受 cgroup 限制。

若同一时间请求量大幅上涨、工作进程数增多,且各进程占用均匀增加,则更应核查并发和工作进程配置。若进程 RSS 不高,但容器 memory.current 接近 memory.max,且 memory.events 计数增加,则问题可能是容器上限不足或容器内存在未从宿主机进程列表直接看出的占用。每一种结论都需要与其对应的证据吻合。

五、找到根因后,按风险处理并验证

确认原因后,优先调整与证据对应的变量,而不是一次修改多个设置。若是流量或批处理导致峰值,先核对并发、任务时间和请求大小;若是服务工作进程过多,按单进程实际内存和高峰并发重新评估;若是容器上限过低,应同时评估宿主机可分配容量和其他容器峰值;若怀疑应用泄漏,应保留增长曲线、应用指标和相关日志,交由代码或运行时层定位。

调整前记录当前配置和服务状态,确认变更影响范围、维护窗口和恢复方式。修改配置应保留原文件副本或版本记录;回滚时恢复原配置并按服务要求重新加载或重启。重启、提高内存上限或增加交换空间都不是通用解法:提高限制可能把压力转移到宿主机,增加交换空间只能提供缓冲,并不能替代足够的工作集内存。

处理后至少检查三类结果:

  1. 系统恢复:MemAvailable 回升并保持稳定,交换读写不再持续;已经使用的交换空间未必会立即归零。
  2. 服务恢复:进程数和单进程占用符合预期,错误率、响应时间和重启次数回到正常区间。
  3. 根因不再出现:在相近业务负载下观察一段时间,确认内存不再阶梯式增长,也没有新的 OOM 或容器内存事件。

发生过 OOM 时,可重新查看对应时间窗口的内核日志和服务日志,确认是否再次出现相同进程、相同限制或相同任务触发。若只是告警消失,但应用反复重启、交换持续读写或内存曲线继续上升,应视为问题尚未解决。

六、为复发设置有用的监控点

单个“内存使用率”指标很难解释故障。建议主机侧至少保留 MemAvailable、交换空间使用量及换入换出速率、主要进程 RSS 或 PSS、OOM 事件和系统负载;容器环境还应分别监控每个控制组的使用量、限制和 OOM 计数。服务侧则记录进程数量、连接数、工作队列、缓存大小、数据库连接和关键请求延迟。

告警阈值应结合主机用途、工作负载和历史基线设定。对某些服务而言,MemAvailable 低于总内存的 10% 可以作为需要关注的参考信号,但不应机械套用为所有机器的故障线;持续时间、交换活动、业务延迟和趋势通常更有判断价值。可将短时低值设为观察告警,将持续下降并伴随交换读写或服务异常作为升级条件。

对马来西亚节点上的业务,另需统一监控、系统和应用日志的时区,并保留故障前后的采样数据。这样在下一次内存告警时,才能把访问变化、服务扩容、进程增长和 OOM 记录排在同一条时间线上,避免把缓存误判为故障,也避免只看到进程被杀而错过真正的触发原因。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/9250.html

相关推荐