美国服务器内存占用持续增长,如何结合进程与交换空间定位原因?
单看“已用内存”持续上升,不能直接判断美国服务器正在发生内存泄漏:Linux 会把空闲内存用于页缓存,缓存增长时,已用值可能上升,但系统仍能快速回收。反过来,即使已用比例不高,如果可用内存下降、交换空间持续换入换出,应用响应时间和错误率也可能已经受到影响。
定位时应把内存、交换、进程、I/O、CPU以及业务响应放进同一个观察窗口,先确认增长是否真实,再判断是缓存、进程常驻内存、容器限制还是其他资源压力所致。下面的监控数据均为用于说明判断方法的示例,不代表某台服务器的实测结果。
针对网站后台、数据库、容器服务及多任务计算中的内存增长问题,A5数据提供美国物理服务器资源,覆盖常规Xeon、AMD EPYC及不同内存与NVMe存储配置。部分方案配备64GB、128GB内存和高速NVMe磁盘,可为进程常驻、数据库缓存、批处理与文件访问等负载提供相应的硬件基础;结合美国CN2 GIA等线路资源,也能承载面向美国用户的业务部署与持续运行。
先建立可比较的观察窗口
单次快照只能说明某一时刻的状态,难以区分短暂波动与持续增长。建议先记录 15 至 30 分钟的基线;如果业务有明显的日周期或批处理任务,再把观察延长到数小时,并覆盖相同类型的业务时段。
采样频率可从 1 分钟开始。对短时间内可能发生的故障,可以缩短到 10 至 30 秒,但不要因采样过密造成额外负担。每次采样至少记录:
| 指标 | 重点观察内容 | 能回答的问题 |
|---|---|---|
| 内存 | MemAvailable、缓存、匿名内存、可用比例 | 系统是否真的缺少可回收内存 |
| 交换空间 | Swap 使用量、换入和换出速率 | 是否发生持续的内存压力 |
| 进程 | RSS、PSS、进程数量及其变化 | 哪些进程持有或累积内存 |
| CPU | 使用率、运行队列、iowait | 是否有计算或等待造成的响应变慢 |
| I/O | 磁盘延迟、吞吐、队列长度 | 换页或存储访问是否拖慢应用 |
| 网络与业务 | 连接数、请求延迟、超时和错误率 | 用户可见的影响是否与资源变化同步 |
美国服务器可能承载跨时区业务,记录采样时间时应同时明确时区,避免把流量高峰、定时任务和内存变化错配。若监控系统与服务器时钟不一致,也要先核对时间同步情况。
Linux 上可先用以下命令查看整体内存和交换概况:
date -Is
free -h
grep -E 'MemTotal|MemFree|MemAvailable|Buffers|Cached|SReclaimable|SwapTotal|SwapFree|SwapCached|AnonPages|Shmem' /proc/meminfo
vmstat 1 10
free -h 中的 available 是判断当前可供应用使用、且不需要明显交换的内存的实用指标;它比单看 free 更有参考价值。vmstat 输出中的 si、so 分别表示采样期间的交换换入和换出情况,通常以每秒的内存量呈现。首次输出往往包含自系统启动以来的平均信息,后续行才适合用来观察当前变化。
指标A:确认“已用增长”是否等于可用内存变少
如果 used 增长,但 MemAvailable 大致稳定,且交换没有持续活动,首先考虑页缓存和可回收内核内存,而不是直接认定应用泄漏。
例如,文件服务读取大量文件后,内核可能把文件内容留在页缓存中,以便后续读取更快。缓存占用会计入部分已用内存,但在应用需要内存时,内核可以回收其中一部分。判断关键在于缓存变化是否伴随可用内存持续下降,而不是缓存数值本身是否较大。
另一种情况是匿名内存增长。匿名内存通常来自进程堆、栈及其他非文件映射区域,不能像普通文件页缓存那样直接丢弃;压力增大时,部分匿名页可能被换出。若 AnonPages、进程 RSS 同时上升,MemAvailable 下降,交换活动也增加,就应进一步检查进程和容器。
还要留意共享内存、内核 slab 和 tmpfs。共享内存可能被多个进程映射,简单累加各进程 RSS 会重复计算;tmpfs 则使用内存并可能与交换机制相关。SReclaimable 增长通常意味着一部分 slab 可回收,但是否构成压力仍要结合 MemAvailable 与交换活动判断。
可用下面的命令查看进程级内存概况:
ps -eo pid,ppid,user,comm,rss,vsz,%mem --sort=-rss | head -20
这里的 RSS 是当前驻留在物理内存中的页面,适合用来初筛“大户”,但共享页面会在多个进程中重复计入。VSZ 是进程虚拟地址空间大小,不能直接当作实际物理内存占用。若需要比较共享内存影响,可进一步查看进程的比例集 PSS:
sudo cat /proc/<PID>/smaps_rollup
将 <PID> 替换为实际进程号。smaps_rollup 通常需要相应权限,且读取大量进程映射可能增加开销;排查时优先抽查排名靠前、变化明显的进程。
指标B:用交换空间判断压力是否正在发生
交换空间已使用,不等于系统此刻仍处于内存危机。进程可能在较早时被换出,之后压力解除,但交换区里的页面仍未重新读回。因此要区分“交换占用存量”和“交换活动速率”。
更值得关注的是连续采样中的 si、so。如果二者长期接近零,应用响应正常,MemAvailable 稳定,那么已有交换占用未必需要立即处理。若换出持续发生,随后又出现换入,且伴随磁盘 I/O 增高、请求延迟上升或超时增多,则说明系统可能正在频繁搬运内存页面。
例如:

时间 MemAvailable Swap已用 si so 磁盘等待 请求延迟
10:00 3.8 GiB 0.6 GiB 0 0 低 120 ms
10:10 2.9 GiB 0.8 GiB 0 18 上升 145 ms
10:20 1.7 GiB 1.4 GiB 22 35 高 310 ms
10:30 1.5 GiB 1.5 GiB 28 31 高 420 ms
这组示例中的单位按 vmstat 对应系统口径解释,数值只用于说明趋势。单独一两个采样点的换入换出可能是短暂现象;持续数分钟、并与 I/O 等待和业务延迟同步,才构成更强的压力证据。交换空间位于磁盘上,具体性能取决于存储类型和负载,不能仅凭“Swap 已用多少”推断应用一定变慢。
指标联动:把进程增长与业务影响对齐
发现可用内存下降后,应将进程列表按时间重复采样,而不是只看一次排名。对每个主要进程记录 PID、RSS、PSS、进程数量及重启时间。若某个长期运行的进程 RSS/PSS 稳步增长,且增长与请求量、队列长度或连接数不成比例,内存泄漏或缓存无界增长的可能性会上升。
可以每分钟保存一次进程快照,示例命令如下:
ps -eo pid,ppid,comm,rss,%cpu --sort=-rss | head -20
要注意 PID 可能在进程退出后被复用;对长期分析,应同时记录进程启动时间、服务实例或容器标识。若进程数量不断增加,也要检查是否存在工作进程未退出、任务积压或异常重试。单进程内存稳定,并不能排除“进程数增长导致总占用上升”。
业务指标能帮助区分原因:
- 请求量增加时,工作进程和缓存随之增加,但请求完成后内存回落,可能是正常负载响应。
- 请求量、连接数大致稳定,单个进程的 PSS 却持续爬升,更值得检查内存泄漏、对象缓存或请求处理逻辑。
- 内存变化与队列长度、后台任务数量同步,且任务完成后未回落,可能是任务滞留或消费者处理速度不足。
- 内存下降时 CPU 使用率、I/O 等待和响应延迟同时升高,可能不是单纯的内存问题,而是交换、存储瓶颈或业务拥塞共同作用。
对 CPU,关注使用率、运行队列和 iowait;对磁盘,关注延迟与队列,而不只是吞吐量。换页可能带来 I/O 活动,但高 I/O 也可能由日志写入、数据库查询或文件扫描造成。网络流量增加也可能是流量高峰的结果,不能直接当作内存增长的原因。关键是用相同时间戳对齐这些变化。
排除常见替代解释
页缓存和文件访问增加
如果 Cached 或 SReclaimable 增长,MemAvailable 仍有余量,且交换速率接近零,优先把它视为缓存变化。可以结合业务的文件读取、部署、备份或索引任务时间核对。不要为了让 free 显示更大而随意清空缓存;这会丢失有用缓存,增加后续磁盘读取,不能修复真正的进程内存问题。
流量、批处理或进程数量变化
把进程 RSS 与请求量、连接数、任务队列和计划任务时间放在一起看。短时内存上升后回落,且与批处理时段吻合,可能是工作集的正常变化;若任务已结束而内存仍持续增长,则要继续检查缓存释放策略、任务积压或对象未释放情况。
容器或服务的内存上限
主机还有可用内存,并不代表容器没有触及自身限制。容器内存达到 cgroup 上限时,容器可能先发生回收,严重时被 OOM 终止,而宿主机整体看起来仍有余量。
在使用 cgroup v2 的系统中,可查看对应容器或服务的 cgroup 文件,例如:
cat /sys/fs/cgroup/<路径>/memory.current
cat /sys/fs/cgroup/<路径>/memory.max
cat /sys/fs/cgroup/<路径>/memory.events
memory.current 是当前用量,memory.max 是限制值;memory.events 中的 oom、oom_kill 变化可作为触及限制或发生 OOM 的线索。不同容器运行时和系统配置下,cgroup 路径不完全相同。先通过运行时工具或服务配置确认实际路径,不要照搬示例路径。cgroup v1 的文件名称和目录结构不同,应按系统实际挂载情况核验。
OOM 记录与服务重启
若进程突然退出、服务重启次数上升,或容器实例频繁重建,要检查内核日志及服务日志。不同发行版和日志配置会影响查看方式,可以先执行:
sudo journalctl -k --since "30 minutes ago" | grep -Ei 'out of memory|oom|killed process'
没有匹配结果不代表一定没有 OOM:日志可能已轮转、权限不足,或由容器运行时记录在其他位置。应结合服务退出码、容器事件和监控告警核实。内核日志中的 OOM 记录通常能指出被终止的进程,但被杀进程不一定就是内存增长的根因;它也可能只是当时最容易回收或被选中的进程。
形成判断:用多项证据而非单一阈值
下表给出常见联动模式。它们是排查线索,不是适用于所有应用的固定阈值。
| 观察到的组合 | 更可能的解释 | 下一步核对 |
|---|---|---|
已用增长,缓存增加,MemAvailable 稳定,si/so 基本为零 | 文件缓存或可回收内核内存增长 | 对照文件读取、备份和扫描任务,继续观察可用内存 |
| MemAvailable 持续下降,单个进程 PSS 持续上升 | 进程工作集、泄漏或无界缓存 | 记录该进程随时间的 PSS、请求量和重启时间 |
主机可用内存尚可,但容器 memory.current 接近 memory.max | 容器内存上限约束 | 查容器限制、memory.events 和容器内 OOM 记录 |
| 交换换入换出持续,磁盘等待升高,业务延迟恶化 | 真实内存压力并伴随换页 I/O | 核对主要进程、I/O 延迟和业务队列,确认压力来源 |
| 内存与进程数同步上升,单进程占用变化不大 | 工作进程、连接或任务数量增长 | 检查进程模型、连接数、队列积压和退出机制 |
| 错误率和重启上升,但宿主机内存仍有余量 | 可能是容器限制、单进程限制或非内存故障 | 对齐 OOM 事件、服务日志、CPU 与 I/O 指标 |
可以把“内存异常”拆成三个问题来判断:可回收内存是否耗尽;交换是否持续活跃并影响响应;是否有明确的进程、容器或 OOM 事件与之对应。只有当这些证据在时间上相互吻合,才能较有把握地把症状归因到内存压力。若只有 used 上升而其他指标稳定,结论应保持谨慎。

复测:验证原因是否与变化同步
初步判断后,选择一个风险较低、可观测的验证窗口继续采样。记录开始时间、业务流量、配置变更和任务状态,比较处理前后的 MemAvailable、交换速率、进程 PSS、I/O 等待、响应时间和错误率。若内存增长在流量回落后停止,或者特定进程的 PSS 与业务量同步变化,能够进一步支持对应解释;如果内存下降但延迟仍高,就要转查 CPU、磁盘、网络或应用队列。
不要仅凭一次重启后内存恢复就判定问题解决。重启会清空进程状态,也可能暂时缓解泄漏,但若随后以相同斜率增长,根因仍然存在。变更服务限制、内存上限或进程数量前,应核对业务容量和服务配置,并保留原配置以便恢复;这类调整不能替代对 OOM 和持续换页的原因分析。
下一次遇到内存持续增长,至少同时观察 MemAvailable、缓存与匿名内存、进程 RSS/PSS、交换换入换出、容器限制、I/O 等待、请求延迟和错误率。再把这些指标按同一时间轴复测,通常比单看内存百分比更容易区分正常缓存、业务负载变化、进程增长与真实内存压力。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/4375.html



