马来西亚服务器提示内存不足,如何判断是进程占用还是容器限额?

发布人:A5数据发布时间:2026-11-15 12:00阅读量:23

马来西亚服务器出现“内存不足”时,先看故障发生在哪一层:宿主机可用内存是否真的紧张,某个进程的常驻内存是否持续增长,还是进程所在的容器、systemd 服务或 Kubernetes Pod 达到了内存上限。容器限额触发时,宿主机可能仍有大量可用内存;因此,单看 free 或某个进程的内存百分比,不能区分这几类问题。

判断时应把同一时间段的主机内存、进程占用、所属 cgroup 限额和 OOM 记录对应起来。若主机 MemAvailable 充足、目标 cgroup 的 memory.current 接近 memory.max,并且 memory.events 中的 oom 或 oom_kill 增长,更像是容器或服务限额问题;若主机可用内存持续下降、多个服务受影响,并出现系统级 OOM 记录,则更可能是主机整体内存压力。以下命令以 Linux 服务器为例,建议先只读采集,再决定是否调整配置。

故障分层判断配图

先确认告警和故障范围

先记下告警时间、受影响的服务或容器、应用错误、进程是否重启,以及服务器是否有其他服务同时变慢。内存问题常表现为响应变慢、分配失败、进程被杀后自动拉起,也可能只在流量高峰或任务批处理期间出现。

马来西亚这个地域本身不会改变 Linux 的内存判定方式;主要区别在于实际运行的系统、虚拟化环境和编排方式。云平台控制台显示的实例规格、Linux 内部识别到的内存,以及容器实际可用的内存,可能是不同层级的数值。排查时应以服务器当前系统和进程所在的限制为准。

先在服务器上查看整体状态:

date
free -h
grep -E 'MemTotal|MemFree|MemAvailable|Buffers|Cached|SwapTotal|SwapFree|SReclaimable' /proc/meminfo

free -h 中的 available 是判断当前主机还能否为新任务提供内存的实用估计值,比单看 free 更有参考意义。Linux 会把空闲内存用于文件缓存,缓存通常可以在需要时回收,因此 used 较高不等于内存已经耗尽。/proc/meminfo 中的 Cached、SReclaimable 等字段也不应简单相加后当作可以立即使用的精确容量。

如果 MemAvailable 长时间偏低,同时服务出现分配失败或整体延迟升高,应继续检查主机压力。如果 MemAvailable 仍较充足,但某个容器提示内存不足,则优先调查它的 cgroup 限额,而不是立即扩容整台服务器。

由外到内排查

1. 查看压力是否持续,以及交换是否正在频繁发生

连续观察比单次快照更容易识别趋势:

vmstat 1 5

重点看后续采样行中的 si 和 so。它们分别表示交换区读入和写出的速率;如果连续多行都有明显交换活动,且同时伴随响应变慢,说明系统可能在用磁盘交换缓解内存压力。第一行在一些 Linux 环境中反映的是启动以来的平均值,判断短时变化时应重点看之后的采样。

交换区已用量本身不能证明当前正发生内存故障:较早被换出的页面可能还没有换回。反过来,没有配置交换区也不代表没有内存压力。若系统支持 Linux Pressure Stall Information,可查看内存压力:

cat /proc/pressure/memory

输出中的 some 表示至少有任务因资源等待而受到影响,full 表示所有非空闲任务都受到影响;avg10、avg60、avg300 是不同时间窗口的压力比例。它们适合结合故障时间观察趋势,不能单独用作“内存已满”的判定。

2. 找出占用较高的进程

在宿主机上执行:

ps -eo pid,ppid,rss,comm --sort=-rss | head -n 15

rss 的单位是 KiB,表示进程当前驻留在物理内存中的页面。它可以用于快速定位大户,但不能直接当作进程独占内存:多个进程可能共享相同页面,将所有 RSS 相加会重复计算共享部分。若服务器启用了 PID 命名空间,宿主机与容器内看到的 PID 列表也可能不同。

锁定 PID 后查看状态:

PID=1234
grep -E 'Name|VmRSS|VmHWM|VmSize|VmSwap' "/proc/$PID/status"

将 1234 替换为实际 PID。VmRSS 是当前驻留集,VmHWM 是历史峰值,VmSize 是进程虚拟地址空间大小,不能与实际物理占用画等号;VmSwap 可辅助判断该进程是否有页面被换出。如果 VmRSS 随时间持续增长,且服务工作量相近,应进一步检查应用的缓存、队列、对象生命周期或内存泄漏,而不是仅凭某一次高峰就认定泄漏。

若系统提供 smaps_rollup,可查看按比例分摊共享页面后的估算值:

cat "/proc/$PID/smaps_rollup"

其中的 PSS 通常比直接累加 RSS 更适合估算多个进程的合计占用。文件不存在时,可能是内核或系统环境不支持;此时可保留 status 的结果,并结合 cgroup 统计判断。

3. 确认进程是否被容器或服务限额约束

Linux cgroup 是容器和部分服务管理器实施资源限制的基础。先查目标进程所属的 cgroup:

3. 确认进程是否被容器或服务限额约束配图

cat "/proc/$PID/cgroup"

在常见的 cgroup v2 主机上,输出可能包含 0::/system.slice/example.service 或某个容器对应的路径。若在宿主机上排查,可将该路径与 /sys/fs/cgroup 下的目录对应起来。确认路径后读取常见指标:

CG=/sys/fs/cgroup/system.slice/example.service
cat "$CG/memory.current"
cat "$CG/memory.max"
cat "$CG/memory.events"
cat "$CG/memory.stat"

请将 CG 改为目标进程实际对应的目录,不要直接照抄示例路径。memory.current 是当前 cgroup 的内存使用量;memory.max 是硬限制,显示 max 通常代表该层未设置数值上限;memory.events 记录高水位或 OOM 等事件;memory.stat 可帮助区分匿名页和文件缓存等类别。读取时若出现权限错误或文件不存在,应先确认自己是在宿主机还是容器内部,以及当前系统使用的 cgroup 版本和挂载方式。

cgroup v1 的文件名不同,常见指标包括 memory.usage_in_bytes、memory.limit_in_bytes、memory.failcnt 和 memory.stat。可查看挂载和进程归属后再定位对应目录:

findmnt -t cgroup,cgroup2
cat "/proc/$PID/cgroup"

在 v1 中,极大的 memory.limit_in_bytes 数值可能表示没有实际的有限上限,不能机械地将它解释成可用容量。memory.failcnt 增长说明曾触及限制相关条件,但单独这一项不足以证明进程已经被 OOM 杀死,应与内核日志和进程退出情况相互印证。

对由 systemd 管理的服务,可先查看它所在单元的内存数据:

systemctl show example.service \
  -p MemoryCurrent \
  -p MemoryMax \
  -p ControlGroup

将 example.service 换成真实服务单元名。若系统版本或 systemd 配置不支持某个属性,输出可能为空或提示属性不可用;此时以 /proc/$PID/cgroup 和实际 cgroup 文件为准。MemoryMax 是服务单元的限制之一,父级 cgroup 也可能另有限制,所以即使当前服务显示未触顶,也应确认是否受到上层范围约束。

4. 检查容器或 Kubernetes 层的限制

使用 Docker 时,可先查看容器使用情况和退出状态:

docker stats --no-stream
docker inspect --format \
  'memory_limit={{.HostConfig.Memory}} oom_killed={{.State.OOMKilled}} exit_code={{.State.ExitCode}}' \
  容器名或ID

HostConfig.Memory 为 0 通常表示 Docker 配置中没有单独的容器内存上限,但这不排除宿主机、systemd 或上级 cgroup 的限制。OOMKilled=true 是重要线索;exit_code=137 只说明进程以相应状态退出,可能由 SIGKILL 导致,不能单凭 137 认定是 OOM。docker stats 适合观察当前趋势,但具体统计口径和 Linux 缓存处理可能影响显示值,最好与宿主机 cgroup 指标一起判断。

Kubernetes 环境中,查看 Pod、容器资源配置和事件:

kubectl describe pod Pod名称 -n 命名空间
kubectl top pod Pod名称 -n 命名空间 --containers
kubectl get pod Pod名称 -n 命名空间 -o yaml

kubectl top 需要集群已提供相应的资源指标;命令不可用不等于容器没有内存使用量。查看 YAML 中各容器的 resources.requests.memory 和 resources.limits.memory,并检查 describe 输出中的重启次数、事件,以及容器上一次终止状态是否为 OOMKilled。requests 用于调度和资源保障相关计算,不能当作容器的硬上限;排查是否因容器限额被杀时,重点核对 limits.memory 和运行时事件。

4. 检查容器或 Kubernetes 层的限制配图

5. 对照 OOM 记录和发生时间

查阅内核日志,确认是否出现系统级或 cgroup 级 OOM:

sudo journalctl -k --since "1 hour ago" | grep -Ei 'out of memory|oom|killed process|memory cgroup'

将时间范围调整为故障发生前后。若系统没有使用 systemd 日志,或当前账号没有读取内核日志的权限,命令可能没有结果;可在有权限的前提下使用发行版提供的内核日志查看方式。不要因 grep 没有匹配项就立即排除 OOM,也要考虑日志轮转、权限不足、容器日志与宿主机日志分离等情况。

日志中的 Memory cgroup out of memory 等信息,通常提示某个 cgroup 触及限制;若有明确的进程被杀记录,应进一步比对 PID、时间和所属服务。系统整体可用内存很低、多个服务同时受影响,且日志指向全局 OOM,则需要从主机总容量和各进程合计占用入手。应用自身报错但没有相应内核记录时,也可能是运行时堆上限、应用配置或内存分配失败,而不是 Linux OOM。

按结果区分原因

观测结果更可能的原因下一步核对
主机 MemAvailable 持续偏低,多个服务变慢或退出主机整体内存压力观察进程趋势、交换活动、内存压力和内核日志
主机可用内存充足,目标 cgroup 使用量接近上限,OOM 事件增加容器或服务限额核对该层及其父级限制、峰值用量和工作负载
单个进程 RSS 或 PSS 持续增长,其他进程相对稳定进程或应用内存增长对比相同业务阶段,检查缓存、队列、运行时堆和任务并发
交换区已用,但当前没有持续 si、so,服务也正常可能是历史换出页面继续观察速率、延迟和内存压力,不要只凭已用量扩容
应用提示内存不足,但系统和 cgroup 都有余量应用自身限制或其他分配条件核对运行时堆、进程限制、启动参数和应用日志
有 OOMKilled 或 OOM 日志,但退出码单独不明确确有被杀的可能,原因仍需定位将事件时间、进程 PID、cgroup 限额和主机状态对应起来

举例来说,假设一台服务器有 16 GiB 内存,MemAvailable 仍约为 6 GiB,但某容器的 memory.current 已接近 memory.max,并且该容器的 OOM 事件计数增加。这种情况更符合容器限额触顶,而非整台主机的物理内存不足。相反,若多个不相关服务同时受影响,主机可用内存接近耗尽,并出现系统级 OOM 记录,就应先处理主机容量或全局内存增长。这里的数字仅用于说明判断方式,不代表特定服务器的实测情况。

根据分支修复,并控制变更风险

容器或服务限额触顶

先检查现有限额由哪一层配置:Docker 参数、systemd 单元、Kubernetes 清单,还是平台级 cgroup。不要只提高最内层的限制:父级限额仍然生效时,子服务配置再大也不能获得超出父级的内存。

如果主机确有可用容量、应用峰值增长有合理原因,且提高限额不会挤占其他关键服务,可按平台的配置管理流程调整。容器或服务限制的变更可能引发重启、调度变化或邻近服务争用,应记录原配置、控制变更范围,并准备恢复原限额的方案。Kubernetes 环境应修改实际维护配置的清单或发布源,避免只改运行中的对象后被后续部署覆盖。完成后观察新的 memory.current、OOM 事件、重启次数和主机 MemAvailable,确认问题缓解且没有把压力转移到宿主机。

针对马来西亚业务的主机容量规划,A5idc数据提供吉隆坡物理服务器租用,涵盖不同CPU、内存、存储与网络配置,可为网站后台、数据库及容器化业务提供硬件资源基础。面向多进程和并发任务等负载,也有不同档位的资源组合,支持企业围绕部署区域与计算、内存需求规划服务器资源。

主机整体内存紧张

确认主要内存消耗来自哪些进程以及是否为持续增长后,再决定是优化并发、限制批处理规模、调整缓存,还是增加实例内存。若是可控的短时任务峰值,可以评估错峰或降低并发;若长时间高位且业务负载稳定,则需要按峰值和安全余量重新规划容量,而不是只根据空闲时刻的快照配置。

交换区可在某些场景下缓冲短时内存峰值,但速度通常低于物理内存,持续交换可能明显增加延迟。不要把增加交换空间当作容器限额触顶的通用解决办法,也不要在没有评估磁盘容量、性能和业务影响时直接调整交换配置。涉及分区、文件系统或启动配置的修改,应先备份当前配置、确认目标设备和影响范围,并规划恢复步骤。

进程占用持续增长

先区分正常缓存和异常增长。流量上涨、任务并发增加、批次变大,都可能使进程短期占用上升;若业务量回落后内存仍不下降,或在相近负载下持续抬高,应检查应用缓存是否有容量边界、队列是否积压、请求或任务是否被重复保留,以及运行时的堆和垃圾回收情况。

应用重启可能暂时释放内存,但也会中断连接或正在执行的任务,且不能修复持续存在的泄漏。仅在确认影响范围、通知相关业务并按维护流程操作后,才考虑重启;操作前保存故障时间、进程数据和必要日志,避免丢失定位线索。若确需回滚应用配置,应恢复此前记录的配置版本,并验证服务是否恢复到变更前的运行状态。

应用自身堆或分配限制

Java 等运行时可能设置独立于容器上限的堆大小;其他应用也可能有内部缓存或进程资源限制。出现应用层“内存不足”,但主机和 cgroup 都有余量时,应核对应用启动参数、运行时日志和该软件的内存配置。不要把应用堆上限直接调到容器上限:进程还需要为线程、元数据、直接内存和其他本地分配留出空间,容器中的其他进程也可能共享同一个限额。调整前应确认运行时版本、配置单位和当前实际参数,并为恢复旧值保留记录。

修复后复测与持续观察

调整后,在相近负载下重复采集主机、进程和 cgroup 指标,并覆盖可能出现峰值的业务时段。至少核对以下几项:

修复后复测与持续观察配图

  • 主机 MemAvailable 是否保持合理余量,是否出现持续交换或明显内存压力。
  • 目标进程的 RSS、PSS 或 cgroup 使用量是否稳定,是否随负载变化后能够回落。
  • memory.events、容器 OOMKilled 状态和服务重启次数是否继续增加。
  • 应用响应时间、错误率和任务完成情况是否改善,且其他服务没有出现新的内存问题。
  • 变更后的限制是否与实际容量相符,重启或重新部署后配置是否仍然生效。

如果告警消失但内存仍持续增长,应继续追踪趋势,而不是把一次短暂恢复视为问题已经解决。对马来西亚服务器而言,地域信息可用于确认实例和业务部署位置;判断这类故障的关键仍是主机可用内存、进程实际占用、cgroup 限额和 OOM 证据是否在同一时间线上相互吻合。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/9559.html

相关推荐