新加坡服务器内存耗尽如何排查?从进程占用到OOM记录逐层定位
新加坡服务器出现接口超时、SSH 登录变慢或服务进程突然退出时,内存耗尽是需要排查的原因之一,但不能只凭监控面板上的“内存使用率高”下结论。Linux 会利用空闲内存做文件缓存;真正需要关注的是可用内存是否持续下降、进程是否开始频繁使用交换空间,以及内核或容器是否记录了 OOM(内存不足)事件。
排查时先确定影响范围和发生时间,再沿着“主机内存 → 交换与内核回收 → 进程及服务 → 容器限制 → OOM 记录”逐层收窄。网络超时可以是内存压力造成的结果,也可能有独立原因。把症状、资源曲线和日志放在同一时间线上,才能判断该优化应用、调整限制,还是处理主机容量。

先确认:是整台服务器受影响,还是单个服务异常
记录故障开始时间、持续时长,以及受影响的入口:所有网站和 SSH 都变慢,还是只有某个接口报错?如果仅一个服务异常,而同机其他服务正常,应优先查看该服务的进程状态和资源限制;如果 SSH、数据库和网站同时出现延迟,则要检查主机级内存压力,并留意 CPU、磁盘 I/O 等共同影响。
在 Linux 主机上,先运行只读命令获取当前状态:
date
uptime
free -h
cat /proc/swaps
vmstat 1 5
date用于对齐监控和日志时间,跨地区查看新加坡服务器告警时尤其要核对面板使用的是本地时间还是 UTC。free -h重点看 available,不要把 free 很低直接解释为内存不足。/proc/swaps显示交换空间是否启用及占用情况;vmstat中的 si、so分别表示每秒换入、换出的数据量,持续出现非零值比单次交换空间占用更值得追查。
可以把可用内存持续接近低位、业务延迟同步上升、si/so持续活跃作为内存压力的组合信号。例如,一台 8 GiB 主机的 MemAvailable 长时间低于约 800 MiB,可作为加密观察的参考线,但不是通用故障阈值:服务峰值需求、文件缓存回收能力和容器限制都可能改变判断。
如果故障已经过去,当前 free 输出只能说明“现在”,不能还原事发瞬间。此时应优先对齐历史监控、内核日志和应用日志,而不是根据恢复后的内存数值反推原因。
建立原因树:每个分支要找什么证据
| 分支 | 主要观察依据 | 下一步 |
|---|---|---|
| 网络与入口 | 仅外部访问超时,主机内服务仍能正常响应;内存和进程状态无对应变化 | 检查入口、上游依赖及网络错误,不把超时直接归因于内存 |
| 主机内存回收 | MemAvailable持续下降,交换活动或内存压力升高 | 分辨进程匿名内存、文件缓存、内核内存等占用 |
| 服务与进程 | 某个进程占用持续增长,或同类工作进程数量突增 | 核对进程启动时间、业务请求量及服务日志 |
| 容器或服务限制 | 主机仍有可用内存,但受限服务发生 OOM | 检查该服务所在控制组的用量、上限和事件计数 |
| 应用行为 | 内存增长与任务、发布或异常流量时间吻合 | 分析队列、连接、缓存和堆内存,并验证修复效果 |
这棵原因树的作用是避免跳步。例如,发现某个进程 RSS 很高,只能说明它值得调查;还不能证明它泄漏了内存,更不能证明它造成了某次请求超时。
第一层:分清可用内存、缓存与交换压力
free中的 used包含多类用途。文件页缓存通常可以在需要时回收,因此“已用内存很高、available仍充足”与“available接近耗尽”不是一回事。进一步查看内存构成:

grep -E '^(MemTotal|MemFree|MemAvailable|Buffers|Cached|SReclaimable|SUnreclaim|AnonPages|Shmem|SwapTotal|SwapFree|Dirty|Writeback):' /proc/meminfo
如果 Cached较高、MemAvailable也较高,先核查是否只是正常缓存。若 AnonPages持续增长,应转向进程和应用;若 Shmem明显增长,要检查共享内存及 /dev/shm等使用情况;若 SUnreclaim异常增长,则不能只靠用户态进程排名解释,还需调查内核对象及相关服务。Dirty、Writeback持续偏高并伴随磁盘延迟时,也要考虑写入压力影响了响应时间。
交换空间需要同时看存量和速率。SwapFree减少表示已有数据被换出,但不等于此刻仍在频繁换页;反过来,vmstat的 si/so持续活跃,且业务延迟同步增加,说明交换正在影响运行。没有启用交换空间也不等于一定会 OOM,是否触发还取决于内存需求、可回收空间和限制条件。不要在尚未定位原因时直接清缓存、关闭交换或修改内核参数:这些动作会改变现场,也可能加剧压力。
部分 Linux 系统还提供 PSI(Pressure Stall Information)用于观察任务等待内存资源的情况:
cat /proc/pressure/memory
如果该文件不存在,就以系统现有的监控和日志为准。PSI 的 some、full反映不同程度的等待,适合与请求延迟曲线一起看,不宜脱离业务基线单独设定“故障值”。
第二层:找出进程占用,并核对是否真的在增长
查看按常驻内存排序的进程:
ps -eo pid,ppid,comm,rss,vsz --sort=-rss | head -n 16
这里的 RSS和 VSZ以 KiB 为单位。RSS 是进程当前驻留的物理内存,适合找调查对象;但多个进程可能共享内存页,简单相加 RSS 会重复计算。VSZ 是虚拟地址空间大小,不能当作实际耗尽的物理内存。
选定进程后,再查看进程状态及更细的内存统计。以下 1234仅为示例 PID,执行时应替换为实际值:
PID=1234
ps -p "$PID" -o pid,ppid,lstart,etime,%mem,rss,vsz,comm
cat "/proc/$PID/smaps_rollup"
smaps_rollup中的 Pss会按共享比例分摊内存,比多个进程的 RSS 总和更适合比较一组工作进程的实际负担;读取权限不足时,应使用有权限的账号执行,而不是随意变更进程或文件权限。
接下来要问两个问题:占用是一直高,还是持续增长?增长的是单个进程,还是进程数量? 单个应用在相近请求量下持续增长,可能与缓存无界、连接未释放或任务积压有关;单个工作进程大小稳定、进程数量却翻倍,则要检查并发配置、进程拉起策略和流量变化。数据库使用大量内存也不必然异常,应结合其缓存配置、主机可用内存和查询延迟判断。
进程排名只是当前快照。若 OOM 已经杀掉了占用最高的进程,事后再运行 ps可能看不到它,因此必须继续查事件记录。
第三层:用 OOM 记录确定“谁被杀”与“哪里触发”
先按故障时间检索内核日志;--since后面的时间应替换为实际排查区间:
journalctl -k --since "2026-01-01 10:00:00" --until "2026-01-01 11:00:00" | grep -Ei 'out of memory|oom-kill|killed process|memory cgroup'
日志可能包含类似以下片段,仅用于演示字段含义,并非某台服务器的检查结果:
oom-kill:constraint=CONSTRAINT_MEMCG,...
Out of memory: Killed process 1234 (java) ...
Killed process指出被选中终止的进程,不等于该进程一定是唯一根因。内核会依据当时的内存状态和进程特征选择对象;例如,其他进程或任务先推高了需求,被杀的却是内存占用较大的服务。日志中的时间、进程名、PID和内存数据,应与发布记录、进程监控、应用错误一并核对。
尤其要区分两种情况:

- 主机级 OOM:整台主机的可用内存不足,应检查所有主要进程、内核内存和交换状况。
- 控制组内 OOM:进程所在容器或受限服务达到自己的内存上限,即使主机还有可用内存,该服务仍可能被终止。日志出现
CONSTRAINT_MEMCG等线索时,应进一步检查对应限制。
不同发行版和日志保留策略会影响可查范围。journalctl -k -b可限定本次启动;若要查上次启动,先用 journalctl --list-boots确认旧日志是否仍在。查不到 OOM 文本不能直接证明没有发生内存问题:也可能是日志未保留、服务自行退出,或应用在触发内核 OOM 前就因分配失败而报错。
第四层:主机还有内存,为何服务仍然退出
运行在容器或受限服务中的应用,还要检查控制组内存上限。先确认系统是否使用 cgroup v2,再从目标进程获取所属路径:
test -f /sys/fs/cgroup/cgroup.controllers && echo "cgroup v2"
PID=1234
cat "/proc/$PID/cgroup"
在 cgroup v2 环境中,结合输出路径查看相应目录下的 memory.current、memory.max和 memory.events。不要猜测容器目录名;应以该进程实际所属路径为准。memory.max为 max表示没有在这一层设置数值上限,否则显示以字节为单位的限制。memory.events中的 oom、oom_kill可提供事件线索,但计数值应结合监控时间或前后两次读数判断,不能只凭一个累计值断定本次事故。
例如,主机尚有 4 GiB 可用内存,而某容器上限为 1 GiB、用量已接近上限,并且故障时 oom_kill计数增加,就应优先排查容器内进程和限制配置,而不是给整台主机加内存。反之,若多个服务同时接近主机容量,单独提高一个容器上限可能只是把压力转移给其他服务。
服务日志也能补齐内核记录没有回答的问题:进程退出前是否出现“内存分配失败”、队列积压、请求并发突增或重启循环?若网络入口报超时,同时应用日志显示处理线程长期停顿、内存压力上升,可沿应用链路继续查;若内存指标平稳,则应回到网络与上游依赖分支,避免把同时发生的事件误认为因果关系。
定位根因后,怎样验证恢复
可以用一条时间线检验推断是否闭合:某时段请求或任务量上升,随后进程内存持续增长、MemAvailable下降,接着出现交换活动或容器 OOM,最后服务重启并产生超时。若其中某一环缺少证据,就保留其他可能性,而不是仅凭最后一条 OOM 日志认定“加内存即可解决”。

恢复措施取决于根因。应用存在无界缓存或任务堆积时,优先修正容量控制和处理逻辑;工作进程数配置过高时,结合并发与每进程占用调整;业务确有稳定增长且配置合理时,再评估扩容。临时重启可能释放内存,但也会中断连接并抹去部分现场信息。需要重启或变更配置时,应先保存相关日志、监控截图和当前配置,确认影响范围;变更后按预先保留的原配置或已验证版本回退,不能把“重启后内存下降”当作根因已消除的证明。
验收至少覆盖一个有代表性的业务高峰:请求错误率与延迟恢复,MemAvailable不再持续走低,vmstat没有持续换入换出,进程或控制组用量趋于稳定,并且没有新增 OOM 事件。如果只能在低负载时观察到恢复,仍需保留容量风险判断。
后续监控建议同时保留主机 MemAvailable、交换换入换出速率、内存 PSI、主要进程或控制组用量、OOM 事件增量,以及服务重启次数和请求延迟。告警应结合持续时间与业务峰值设置:它要提示“内存压力正在影响服务”,而不只是提醒“缓存把内存用起来了”。
围绕新加坡业务的主机资源部署,A5idc数据提供新加坡物理服务器方案,配置涵盖不同CPU、存储与网络线路,可用于承载网站、业务后台、数据库和接口服务。服务器的计算与存储资源组合,为运行多类服务、安排业务负载提供硬件基础;结合新加坡地区部署,也可服务于面向当地及周边用户的业务场景。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/7307.html



