美国服务器提示内存不足时,如何结合可用内存、交换区和进程占用判断原因

发布人:A5数据发布时间:2026-10-22 17:57阅读量:114

美国服务器出现“内存不足”告警,不一定表示物理内存已经耗尽。单看 free 中的空闲内存、某个进程的 RSS,或交换区使用量,都可能得出错误结论:Linux 会把暂时不用的内存用于缓存,交换区也可能保留早前换出的页面;而应用响应变慢、进程被终止,也可能同时受到 CPU、磁盘 I/O、网络或容器内存限制影响。

更可靠的判断方式,是在同一时间窗口内观察可用内存、缓存回收、交换活动、进程占用、OOM 记录,以及 CPU、I/O、网络和业务响应指标。先确认内存是否持续承压,再判断压力来自系统整体、某个进程还是容器限制,最后通过复测验证原因。

先建立可比较的观察窗口

排查前先记下告警时间、业务异常开始时间、持续时长,以及当时是否有发布、批处理、流量突增或定时任务。然后选择一个能覆盖异常前后变化的观察窗口:分钟级波动可每隔数秒至几十秒采样;缓慢增长则需要结合较长时间的监控曲线。关键不是采样得越密越好,而是各项指标的时间戳能够对齐。

在 Linux 服务器上,可以先查看内存概况和实时活动:

date
free -h
cat /proc/meminfo
vmstat 1 10

free -h 适合快速看整体情况;vmstat 1 10 会每秒输出一次状态,共输出十次。不同发行版的 free、vmstat 版本可能略有差异,解读时要结合本机输出字段。

如果已安装 sysstat,可以用 sar 查看历史数据;没有历史采集数据时,sar 无法还原安装前的状态:

sar -r 1 10
sar -W 1 10
sar -u 1 10
sar -d 1 10

这些命令分别观察内存、交换活动、CPU 和磁盘设备统计。实际字段和设备名称会因系统版本、内核及工具版本而不同。业务侧则应同步记录请求延迟、错误率、请求量和队列长度。只拿当前终端的一次快照,通常无法判断内存是短暂变化还是持续恶化。

指标A:可用内存是否持续下降

Linux 的 free 输出通常包含 total、used、free、shared、buff/cache 和 available。对一般应用来说,available 比单独的 free 更适合用于初步判断:它估算在不大量使用交换区的情况下,系统还能提供多少内存。

buff/cache 中包含可回收的页缓存等内容。文件读取后形成的缓存并不等同于应用不可回收的常驻占用;在应用需要内存时,内核可以回收其中一部分。因此,看到 free 很低、buff/cache 较高,不足以说明服务器已经发生内存耗尽。反过来,available 下降且长时间处于低位,同时出现交换活动或应用异常,才更值得关注。

判断时看趋势,而不是套用一个适用于所有服务器的固定百分比。比如一台 8 GiB 内存的主机,在正常运行时 available 长期约为 3 GiB,某次任务期间短暂降至 2 GiB,随后恢复,可能只是正常波动。若它持续从 3 GiB 降到数百 MiB,且业务延迟和交换活动同步恶化,就需要继续找占用来源。

建议把以下变化放在同一时间轴上:

指标A:可用内存是否持续下降配图

  • MemAvailable 是否持续下降,下降发生在告警前还是告警后。
  • Cached、Buffers 或 SReclaimable 是否同时增长,以及压力出现时是否有明显回落。
  • 应用进程的常驻内存是否持续上升,还是在流量增加时短时上升后回落。
  • 业务请求量、队列长度、延迟和错误率是否同时变化。

如果可用内存下降,但缓存占用较高、交换活动几乎没有、业务响应正常,通常需要先继续观察,而不是立即清理缓存或重启进程。手动清理页缓存可能让后续文件读取重新访问磁盘,反而增加 I/O 延迟,也会掩盖原有趋势。

指标B:交换区是“已使用”,还是正在频繁交换

交换区(swap)用于在内存压力下暂存部分内存页,但它的已用容量不能单独等同于当前内存故障。系统可能在较早的压力阶段把不活跃页面换出;即使压力已经缓解,部分页面也可能继续留在交换区,直到再次访问或被回收。

判断重点是交换活动是否正在发生。vmstat 中的 si 和 so 通常分别表示每秒从交换区读入和写出的数据量,具体单位应以本机工具说明为准。持续出现交换读写,并且 MemAvailable 同时偏低,说明内存压力的可能性增加。若交换区已使用较多,但当前 si、so 接近零,应用延迟正常,则不能只凭“swap used”断定仍在发生严重交换。

下面的片段是用于说明判断方法的模拟输出,不代表某台服务器的实测数据:

r  b  swpd   free   buff  cache  si  so  us  sy  wa
2  0  512M   420M   120M  1.4G   0   0  35   8   1
6  2  1.1G   180M    90M  1.2G  48  96  42  15  18

第一行表示交换区已有使用量,但采样期间没有明显交换读写;第二行则同时出现较高的交换读写、较多等待 I/O 的时间(wa)和运行队列变化。若同一时刻应用延迟上升,内存压力造成性能下降的可能性会增加。不过,wa 高也可能来自普通磁盘负载,仍需结合磁盘指标和业务请求判断。

交换区使用是否构成问题,要看活跃交换、可用内存、I/O 等待和业务表现是否同时恶化。不要仅依据“交换区用了多少”就扩大交换区或更改内核参数;这些操作可能改变系统行为,却未必解决进程持续增长或负载超出容量的问题。

指标C:进程占用是否解释了整机变化

如果系统层面确有压力,下一步要找出内存由谁使用。可以按 RSS 查看进程的常驻内存:

ps -eo pid,ppid,comm,rss,%mem --sort=-rss | head -n 15

这里的 rss 通常以 KiB 表示,代表当前驻留在物理内存中的页面。它适合用于比较进程占用,但不等于该进程独占的全部物理内存:共享页面可能被多个进程映射,逐进程 RSS 相加可能重复计算。%mem 也是采样时的比例,不宜当作长期趋势。

在异常期间连续采样,才能区分“某进程一直很大”和“某进程正在增长”。例如:

  • 某个工作进程的 RSS 从 700 MiB 持续升至 2 GiB,期间请求量没有明显变化,且回收后不下降,可能涉及缓存膨胀、对象未释放或任务堆积。
  • 多个进程各自占用稳定,但进程总数快速增加,可能是连接、工作进程或任务并发数上升。
  • 应用进程占用不高,系统可用内存却下降,应继续检查内核内存、文件缓存、共享内存、其他服务或容器外的进程。
  • 进程 RSS 看似正常,但在容器中被终止,需要核对容器的内存上限和限制内的实际用量。

进程列表是线索,不是最终归因。对多线程服务、共享内存应用和容器环境,还应使用对应的应用监控、进程树信息或容器运行时指标交叉验证。不要因为某进程排在列表第一位就直接结束它;先确认它是否承载在线请求、是否有任务尚未完成,并查明停止或重启的影响范围。

把 OOM 记录、容器限制和业务表现连起来

Linux 内存不足时,内核可能触发 OOM(Out of Memory)处理并终止进程。进程被杀后,当前内存曲线可能反而回升,因此事后只看“现在还有多少可用内存”容易漏掉故障。应把内核日志中的 OOM 记录与告警时间、进程退出时间及业务错误对应起来。

常见查看方式如下,能否读取日志取决于发行版、日志服务和当前权限:

journalctl -k --since "2025-01-01 10:00:00" --until "2025-01-01 10:30:00"
dmesg -T

将示例时间替换为实际故障窗口。日志中若出现 OOM killer、Killed process 或内存分配失败等信息,应进一步确认被终止进程、当时的整体可用内存,以及是否属于全局 OOM 或受限环境内的内存不足。日志缺失不代表一定没有内存压力:日志可能轮转、权限受限,或者相关事件记录在容器运行时或应用日志中。

容器环境尤其需要区分主机内存与容器配额。主机还有可用内存,不代表某个容器没有触及自身限制。应同时查看容器的内存上限、当前用量、限制命中或 OOM 事件,以及容器内进程占用。具体指标名称和读取方式取决于容器运行时、cgroup 版本及编排平台,不宜把某一种路径或命令套用于所有环境。

把 OOM 记录、容器限制和业务表现连起来配图

用 CPU、I/O、网络和队列排除替代原因

内存压力经常与其他瓶颈并发出现,但并发不等于因果。需要在同一时间窗口对照以下信号:

观察到的组合更值得核实的方向不能直接得出的结论
MemAvailable 持续下降,si、so 活跃,业务延迟上升内存压力和交换活动仅凭延迟上升就确认是内存导致
可用内存稳定,CPU 使用率长期接近饱和,运行队列增加CPU 计算负载或并发过高进程响应慢就一定是内存不足
内存稳定,磁盘等待(wa)增加,存储延迟上升磁盘 I/O 或存储侧瓶颈高 wa 必然由交换造成
服务器指标稳定,网络重传、连接等待或外部请求延迟增加网络路径、上游依赖或连接池服务器内存告警能解释所有请求失败
主机有余量,单个容器 OOM 或内存上限触发容器限制、配额或容器内进程增长整台主机物理内存耗尽

例如,应用延迟增加的同时,CPU 使用率和运行队列上升,但 MemAvailable 稳定、交换读写接近零,优先检查计算负载和并发。若磁盘等待上升、缓存读取变多,且交换读写也增加,则可能存在内存压力与存储 I/O 相互放大的情况;需要比较磁盘延迟、交换活动和应用请求的时间先后。

网络指标也不可忽略。美国服务器到用户或上游服务的网络时延、丢包和连接状态,可能造成请求堆积,进一步增加应用队列和内存占用。这时“内存增加”可能是请求未及时完成后的结果之一,而不是唯一根因。把请求量、队列长度、连接数、响应时间和错误率一并查看,才能判断变化顺序。

形成判断:看因果候选是否相互印证

可以按以下顺序整理证据:

形成判断:看因果候选是否相互印证配图

  1. 确认影响范围。 是整台主机变慢,还是单个服务、容器或租户异常?检查业务延迟和错误率是否覆盖多个服务。
  2. 确认是否存在持续内存压力。 查看 MemAvailable 趋势、缓存变化和交换区活动,不把单次低 free 或历史 swap 使用量单独作为结论。
  3. 定位占用来源。 比较进程 RSS、进程数量和任务并发变化;容器中同时核对配额与限制事件。
  4. 核对 OOM 时间线。 将内核或容器事件与进程退出、请求错误和告警对齐。
  5. 排除其他瓶颈。 对照 CPU、磁盘 I/O、网络、队列和响应时间,找出最先变化的指标及其持续时间。
  6. 形成可检验的判断。 例如“某批处理并发增加后,工作进程 RSS 上升,随后可用内存下降并出现持续交换,延迟和错误率同步升高”。比“内存不够”更具体的描述,才便于制定修复方案。

如果数据只显示某个进程 RSS 高,却没有历史趋势、OOM 记录或业务影响,应把结论标为待验证,而不是直接认定内存泄漏。若告警来自监控阈值,也要检查阈值依据、采样间隔和告警持续条件,避免短暂波动触发误报。

复测:验证处置是否改变了同一组指标

排查后的复测应尽量沿用原来的观察窗口和采样口径,并记录处置时间。若调整应用并发、减少任务量或修复进程占用,观察变化是否按预期出现:可用内存是否趋稳,交换活动是否下降,进程占用是否回落,业务延迟和错误率是否恢复。若只看到内存数字变好,但响应时间、队列或错误率没有改善,说明业务瓶颈可能另有原因。

若复测期间流量、发布版本或批处理安排与原窗口差异很大,前后数据就不能简单比较。可以等待相近负载再次出现,或按请求量、任务数和运行时间进行对照。没有出现相同异常时,只能说明当前条件下未复现,不能证明问题已经彻底消失。

对下一次告警,建议至少同步保存这组指标:MemAvailable、缓存与交换读写、进程 RSS 和进程数、OOM 事件、CPU 使用率与运行队列、磁盘延迟与 I/O 等待、网络连接或重传、请求量、队列长度、响应时间和错误率。它们共同构成一条时间线,比单独盯住“空闲内存”更容易区分缓存占用、进程增长、交换压力、容器限制和外部性能瓶颈。

A5数据提供美国物理服务器资源,覆盖常规Xeon、AMD EPYC及GPU等产品系列,并配备不同内存、NVMe存储、带宽线路和多IP方案,可承载数据库、容器、接口服务及多任务计算等场景。针对内存持续增长、进程占用和业务负载并存的运行环境,A5数据也提供香港、日本、韩国、新加坡等地区的服务器资源,支持跨地区业务部署与基础设施规划。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5182.html

相关推荐