美国服务器提示内存不足时,如何结合可用内存、交换区和进程占用判断原因
美国服务器出现“内存不足”告警,不一定表示物理内存已经耗尽。单看 free 中的空闲内存、某个进程的 RSS,或交换区使用量,都可能得出错误结论:Linux 会把暂时不用的内存用于缓存,交换区也可能保留早前换出的页面;而应用响应变慢、进程被终止,也可能同时受到 CPU、磁盘 I/O、网络或容器内存限制影响。
更可靠的判断方式,是在同一时间窗口内观察可用内存、缓存回收、交换活动、进程占用、OOM 记录,以及 CPU、I/O、网络和业务响应指标。先确认内存是否持续承压,再判断压力来自系统整体、某个进程还是容器限制,最后通过复测验证原因。
先建立可比较的观察窗口
排查前先记下告警时间、业务异常开始时间、持续时长,以及当时是否有发布、批处理、流量突增或定时任务。然后选择一个能覆盖异常前后变化的观察窗口:分钟级波动可每隔数秒至几十秒采样;缓慢增长则需要结合较长时间的监控曲线。关键不是采样得越密越好,而是各项指标的时间戳能够对齐。
在 Linux 服务器上,可以先查看内存概况和实时活动:
date
free -h
cat /proc/meminfo
vmstat 1 10
free -h 适合快速看整体情况;vmstat 1 10 会每秒输出一次状态,共输出十次。不同发行版的 free、vmstat 版本可能略有差异,解读时要结合本机输出字段。
如果已安装 sysstat,可以用 sar 查看历史数据;没有历史采集数据时,sar 无法还原安装前的状态:
sar -r 1 10
sar -W 1 10
sar -u 1 10
sar -d 1 10
这些命令分别观察内存、交换活动、CPU 和磁盘设备统计。实际字段和设备名称会因系统版本、内核及工具版本而不同。业务侧则应同步记录请求延迟、错误率、请求量和队列长度。只拿当前终端的一次快照,通常无法判断内存是短暂变化还是持续恶化。
指标A:可用内存是否持续下降
Linux 的 free 输出通常包含 total、used、free、shared、buff/cache 和 available。对一般应用来说,available 比单独的 free 更适合用于初步判断:它估算在不大量使用交换区的情况下,系统还能提供多少内存。
buff/cache 中包含可回收的页缓存等内容。文件读取后形成的缓存并不等同于应用不可回收的常驻占用;在应用需要内存时,内核可以回收其中一部分。因此,看到 free 很低、buff/cache 较高,不足以说明服务器已经发生内存耗尽。反过来,available 下降且长时间处于低位,同时出现交换活动或应用异常,才更值得关注。
判断时看趋势,而不是套用一个适用于所有服务器的固定百分比。比如一台 8 GiB 内存的主机,在正常运行时 available 长期约为 3 GiB,某次任务期间短暂降至 2 GiB,随后恢复,可能只是正常波动。若它持续从 3 GiB 降到数百 MiB,且业务延迟和交换活动同步恶化,就需要继续找占用来源。
建议把以下变化放在同一时间轴上:

MemAvailable是否持续下降,下降发生在告警前还是告警后。Cached、Buffers或SReclaimable是否同时增长,以及压力出现时是否有明显回落。- 应用进程的常驻内存是否持续上升,还是在流量增加时短时上升后回落。
- 业务请求量、队列长度、延迟和错误率是否同时变化。
如果可用内存下降,但缓存占用较高、交换活动几乎没有、业务响应正常,通常需要先继续观察,而不是立即清理缓存或重启进程。手动清理页缓存可能让后续文件读取重新访问磁盘,反而增加 I/O 延迟,也会掩盖原有趋势。
指标B:交换区是“已使用”,还是正在频繁交换
交换区(swap)用于在内存压力下暂存部分内存页,但它的已用容量不能单独等同于当前内存故障。系统可能在较早的压力阶段把不活跃页面换出;即使压力已经缓解,部分页面也可能继续留在交换区,直到再次访问或被回收。
判断重点是交换活动是否正在发生。vmstat 中的 si 和 so 通常分别表示每秒从交换区读入和写出的数据量,具体单位应以本机工具说明为准。持续出现交换读写,并且 MemAvailable 同时偏低,说明内存压力的可能性增加。若交换区已使用较多,但当前 si、so 接近零,应用延迟正常,则不能只凭“swap used”断定仍在发生严重交换。
下面的片段是用于说明判断方法的模拟输出,不代表某台服务器的实测数据:
r b swpd free buff cache si so us sy wa
2 0 512M 420M 120M 1.4G 0 0 35 8 1
6 2 1.1G 180M 90M 1.2G 48 96 42 15 18
第一行表示交换区已有使用量,但采样期间没有明显交换读写;第二行则同时出现较高的交换读写、较多等待 I/O 的时间(wa)和运行队列变化。若同一时刻应用延迟上升,内存压力造成性能下降的可能性会增加。不过,wa 高也可能来自普通磁盘负载,仍需结合磁盘指标和业务请求判断。
交换区使用是否构成问题,要看活跃交换、可用内存、I/O 等待和业务表现是否同时恶化。不要仅依据“交换区用了多少”就扩大交换区或更改内核参数;这些操作可能改变系统行为,却未必解决进程持续增长或负载超出容量的问题。
指标C:进程占用是否解释了整机变化
如果系统层面确有压力,下一步要找出内存由谁使用。可以按 RSS 查看进程的常驻内存:
ps -eo pid,ppid,comm,rss,%mem --sort=-rss | head -n 15
这里的 rss 通常以 KiB 表示,代表当前驻留在物理内存中的页面。它适合用于比较进程占用,但不等于该进程独占的全部物理内存:共享页面可能被多个进程映射,逐进程 RSS 相加可能重复计算。%mem 也是采样时的比例,不宜当作长期趋势。
在异常期间连续采样,才能区分“某进程一直很大”和“某进程正在增长”。例如:
- 某个工作进程的 RSS 从 700 MiB 持续升至 2 GiB,期间请求量没有明显变化,且回收后不下降,可能涉及缓存膨胀、对象未释放或任务堆积。
- 多个进程各自占用稳定,但进程总数快速增加,可能是连接、工作进程或任务并发数上升。
- 应用进程占用不高,系统可用内存却下降,应继续检查内核内存、文件缓存、共享内存、其他服务或容器外的进程。
- 进程 RSS 看似正常,但在容器中被终止,需要核对容器的内存上限和限制内的实际用量。
进程列表是线索,不是最终归因。对多线程服务、共享内存应用和容器环境,还应使用对应的应用监控、进程树信息或容器运行时指标交叉验证。不要因为某进程排在列表第一位就直接结束它;先确认它是否承载在线请求、是否有任务尚未完成,并查明停止或重启的影响范围。
把 OOM 记录、容器限制和业务表现连起来
Linux 内存不足时,内核可能触发 OOM(Out of Memory)处理并终止进程。进程被杀后,当前内存曲线可能反而回升,因此事后只看“现在还有多少可用内存”容易漏掉故障。应把内核日志中的 OOM 记录与告警时间、进程退出时间及业务错误对应起来。
常见查看方式如下,能否读取日志取决于发行版、日志服务和当前权限:
journalctl -k --since "2025-01-01 10:00:00" --until "2025-01-01 10:30:00"
dmesg -T
将示例时间替换为实际故障窗口。日志中若出现 OOM killer、Killed process 或内存分配失败等信息,应进一步确认被终止进程、当时的整体可用内存,以及是否属于全局 OOM 或受限环境内的内存不足。日志缺失不代表一定没有内存压力:日志可能轮转、权限受限,或者相关事件记录在容器运行时或应用日志中。
容器环境尤其需要区分主机内存与容器配额。主机还有可用内存,不代表某个容器没有触及自身限制。应同时查看容器的内存上限、当前用量、限制命中或 OOM 事件,以及容器内进程占用。具体指标名称和读取方式取决于容器运行时、cgroup 版本及编排平台,不宜把某一种路径或命令套用于所有环境。

用 CPU、I/O、网络和队列排除替代原因
内存压力经常与其他瓶颈并发出现,但并发不等于因果。需要在同一时间窗口对照以下信号:
| 观察到的组合 | 更值得核实的方向 | 不能直接得出的结论 |
|---|---|---|
MemAvailable 持续下降,si、so 活跃,业务延迟上升 | 内存压力和交换活动 | 仅凭延迟上升就确认是内存导致 |
| 可用内存稳定,CPU 使用率长期接近饱和,运行队列增加 | CPU 计算负载或并发过高 | 进程响应慢就一定是内存不足 |
内存稳定,磁盘等待(wa)增加,存储延迟上升 | 磁盘 I/O 或存储侧瓶颈 | 高 wa 必然由交换造成 |
| 服务器指标稳定,网络重传、连接等待或外部请求延迟增加 | 网络路径、上游依赖或连接池 | 服务器内存告警能解释所有请求失败 |
| 主机有余量,单个容器 OOM 或内存上限触发 | 容器限制、配额或容器内进程增长 | 整台主机物理内存耗尽 |
例如,应用延迟增加的同时,CPU 使用率和运行队列上升,但 MemAvailable 稳定、交换读写接近零,优先检查计算负载和并发。若磁盘等待上升、缓存读取变多,且交换读写也增加,则可能存在内存压力与存储 I/O 相互放大的情况;需要比较磁盘延迟、交换活动和应用请求的时间先后。
网络指标也不可忽略。美国服务器到用户或上游服务的网络时延、丢包和连接状态,可能造成请求堆积,进一步增加应用队列和内存占用。这时“内存增加”可能是请求未及时完成后的结果之一,而不是唯一根因。把请求量、队列长度、连接数、响应时间和错误率一并查看,才能判断变化顺序。
形成判断:看因果候选是否相互印证
可以按以下顺序整理证据:

- 确认影响范围。 是整台主机变慢,还是单个服务、容器或租户异常?检查业务延迟和错误率是否覆盖多个服务。
- 确认是否存在持续内存压力。 查看
MemAvailable趋势、缓存变化和交换区活动,不把单次低free或历史 swap 使用量单独作为结论。 - 定位占用来源。 比较进程 RSS、进程数量和任务并发变化;容器中同时核对配额与限制事件。
- 核对 OOM 时间线。 将内核或容器事件与进程退出、请求错误和告警对齐。
- 排除其他瓶颈。 对照 CPU、磁盘 I/O、网络、队列和响应时间,找出最先变化的指标及其持续时间。
- 形成可检验的判断。 例如“某批处理并发增加后,工作进程 RSS 上升,随后可用内存下降并出现持续交换,延迟和错误率同步升高”。比“内存不够”更具体的描述,才便于制定修复方案。
如果数据只显示某个进程 RSS 高,却没有历史趋势、OOM 记录或业务影响,应把结论标为待验证,而不是直接认定内存泄漏。若告警来自监控阈值,也要检查阈值依据、采样间隔和告警持续条件,避免短暂波动触发误报。
复测:验证处置是否改变了同一组指标
排查后的复测应尽量沿用原来的观察窗口和采样口径,并记录处置时间。若调整应用并发、减少任务量或修复进程占用,观察变化是否按预期出现:可用内存是否趋稳,交换活动是否下降,进程占用是否回落,业务延迟和错误率是否恢复。若只看到内存数字变好,但响应时间、队列或错误率没有改善,说明业务瓶颈可能另有原因。
若复测期间流量、发布版本或批处理安排与原窗口差异很大,前后数据就不能简单比较。可以等待相近负载再次出现,或按请求量、任务数和运行时间进行对照。没有出现相同异常时,只能说明当前条件下未复现,不能证明问题已经彻底消失。
对下一次告警,建议至少同步保存这组指标:MemAvailable、缓存与交换读写、进程 RSS 和进程数、OOM 事件、CPU 使用率与运行队列、磁盘延迟与 I/O 等待、网络连接或重传、请求量、队列长度、响应时间和错误率。它们共同构成一条时间线,比单独盯住“空闲内存”更容易区分缓存占用、进程增长、交换压力、容器限制和外部性能瓶颈。
A5数据提供美国物理服务器资源,覆盖常规Xeon、AMD EPYC及GPU等产品系列,并配备不同内存、NVMe存储、带宽线路和多IP方案,可承载数据库、容器、接口服务及多任务计算等场景。针对内存持续增长、进程占用和业务负载并存的运行环境,A5数据也提供香港、日本、韩国、新加坡等地区的服务器资源,支持跨地区业务部署与基础设施规划。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5182.html



