美国洛杉矶服务器Linux空闲内存偏低,怎样判断是否只是缓存占用?

发布人:A5数据发布时间:2026-11-14 11:28阅读量:37

看到美国洛杉矶服务器上 Linux 的 free 内存只剩几百 MB,并不能直接说明内存不足。Linux 会主动把空闲内存用于文件页缓存、目录项和 inode 等可回收数据,因此“空闲内存低”本身可能是正常现象。真正需要关注的是:应用还能获得多少内存、缓存能否在压力下被回收、是否发生交换,以及进程响应是否已经受到影响。

判断是否只是缓存占用,建议把 MemAvailable、缓存构成、交换活动、内存压力、进程 RSS、磁盘 I/O、网络请求量、响应时间和错误率放在同一时间窗口内观察。若可用内存保持稳定,交换读写接近于零,进程占用没有持续增长,业务延迟和错误率也没有同步恶化,低 free 通常不构成故障;反之,就不能只用“这是缓存”来解释。

先区分 free、available 与 buff/cache

执行以下命令,可以先获得一组基础快照:

free -h

常见输出类似下面的结构:

               total        used        free      shared  buff/cache   available
Mem:            15Gi        9.1Gi       420Mi       180Mi       5.8Gi       5.2Gi
Swap:          2.0Gi          0B        2.0Gi

各字段的含义并不相同:

指标含义判断重点
free当前没有被使用的物理页数值低不等于内存不足
available内核估算在不明显触发交换的情况下可供新程序使用的内存判断是否接近内存压力的主要入口
buff/cache缓冲区、文件页缓存以及部分可回收内核对象需要进一步拆分,不能全部当作同一种缓存
shared通常包含 tmpfs、共享内存等过高时需要检查 /dev/shm 和相关进程
Swap used已经写入交换空间的内存量存量不等于当前故障,关键是是否持续换入换出

free 命令中的 available 是内核根据可回收页、空闲页和其他内存状态估算出的结果,不是一个静态保留值。它比 free 更接近“应用还能否正常申请内存”的问题。

buff/cache 也不是一块完全同质的空间。文件页缓存通常比较容易回收,但部分 slab、共享内存、脏页或被特定内核对象持有的内存,回收条件不同。因此看到 buff/cache 很大,只能说明内存中存在较多缓存或内核缓存,不能单凭这个字段确认所有内存都可以立即释放。

进一步查看内核拆分数据:

grep -E '^(Mem|Swap|Buffers|Cached|SReclaimable|SUnreclaim|Shmem|Dirty|Writeback|AnonPages|PageTables):' /proc/meminfo

重点可以这样理解:

  • Cached 主要反映文件页缓存;
  • SReclaimable 是可回收 slab 的重要组成部分;
  • SUnreclaim 属于不容易回收的 slab,持续增长时需要关注;
  • Shmem 可能包含 tmpfs 和共享内存;
  • Dirty 与 Writeback 反映尚未完成写回的页;
  • AnonPages 更接近进程匿名内存,例如堆、栈和部分运行时内存;
  • SwapCached 表示曾经进入交换空间、目前仍保留相关缓存的页。

例如,一台 16 GiB 内存的服务器可能只有 400 MiB 的 free,但仍有 5 GiB 的 available,同时交换读写为零、内存压力接近零。这种情况通常比“free 还有 2 GiB,但 available 只有 300 MiB”更健康。

建立一个可比较的观察窗口

一次 free -h 只能说明某个时刻,无法说明内存是在稳定状态、持续下降,还是刚刚经历了一次缓存回收。排查时应先建立观察窗口,再解释变化。

普通业务可以先观察 15 至 30 分钟;如果问题只在批处理、备份、流量高峰或定时任务期间出现,则应覆盖完整的异常时段。不要只在告警触发后采集一次,因为此时可能已经错过了进程增长、交换开始或缓存回收的过程。

如果服务器使用 UTC,而监控平台显示洛杉矶本地时间,还要先确认时间轴是否一致:

date -Is
timedatectl status

timedatectl 在精简系统中可能不存在,此时以 date -Is 和监控平台的时区设置为准。洛杉矶地区的本地时间会受到夏令时影响,定时任务、日志轮转、备份和流量高峰的对应时刻不应凭记忆换算。

建议在同一时间窗口内保留以下指标:

类别建议观察的指标用途
内存容量MemAvailable、free、buff/cache、AnonPages判断可用空间和组成变化
交换活动swap 使用量、si、so判断是否正在频繁换入换出
内存压力PSI 的 some、full判断任务是否因内存等待而停顿
进程占用按 PID 记录 RSS、进程数、重启次数判断是否由具体服务持续增长
内核与共享内存slab、Shmem、tmpfs排除内核对象或共享内存异常
磁盘 I/Oawait、队列长度、写回、I/O wait区分内存压力和存储阻塞
CPUuser、system、iowait、steal判断计算、内核、I/O 或虚拟化影响
网络与业务请求量、连接数、队列、P95/P99、错误率判断是否由流量或外部延迟引起

vmstat 适合快速查看内存、交换、进程队列和 I/O 的联动:

vmstat 1 10

常见字段包括:

  • free、buff、cache:内存相关量,通常以 KiB 显示;
  • si、so:每秒从交换空间换入、换出的数据量;
  • r:等待运行的任务数量;
  • b:处于不可中断睡眠的任务数量;
  • bi、bo:块设备读写活动;
  • wa:CPU 等待 I/O 的比例。

这里的 si、so 是速率,不是 swap 总使用量。总量没有变化,并不代表没有发生交换活动;连续多个采样点都有较大的 si 或 so,才更能说明系统正在承受交换压力。

把内存主指标和联动指标放在一起

可以把 MemAvailable 的变化作为主指标,再将交换、PSI、进程和业务指标作为联动证据。下面是一组模拟数据,用于说明观察方式,不代表任何实际洛杉矶服务器的监控结果。

时间availablebuff/cacheswap 使用量si/so(KiB/s)memory PSI some磁盘 await请求 P955xx
10:005.8 GiB7.4 GiB0 MiB0/00.00%2.5 ms110 ms0.1%
10:105.1 GiB8.0 GiB0 MiB0/00.00%2.8 ms114 ms0.1%
10:205.3 GiB6.7 GiB0 MiB0/00.01%3.0 ms118 ms0.1%
10:305.0 GiB7.1 GiB0 MiB0/00.00%2.7 ms116 ms0.1%

这组变化中,缓存增加后又下降,但 available 始终在相近范围内,交换没有活动,业务指标也没有明显变化。此时“低 free 主要是缓存占用”的解释具有较高可信度。

再看另一组模拟数据:

时间availablebuff/cacheswap 使用量si/so(KiB/s)memory PSI some磁盘 await请求 P955xx
10:004.5 GiB5.2 GiB0 MiB0/00.02%3 ms120 ms0.2%
10:101.6 GiB4.8 GiB0.8 GiB400/1602.8%12 ms290 ms0.4%
10:200.5 GiB4.1 GiB2.4 GiB1800/90015.0%45 ms900 ms3.2%

这里不仅是 free 变低,available 也快速下降,swap 持续换入换出,内存 PSI、磁盘等待、接口延迟和错误率同时恶化。即使 buff/cache 仍然存在,也不应简单判断为“只是缓存”。

把内存主指标和联动指标放在一起配图

观察内存压力 PSI

如果内核支持 PSI,可以查看系统整体内存压力:

cat /proc/pressure/memory

输出通常包含类似内容:

some avg10=0.15 avg60=0.04 avg300=0.01 total=123456
full avg10=0.00 avg60=0.00 avg300=0.00 total=0

其中:

  • some 表示至少有部分任务因内存资源不足而等待;
  • full 表示一段时间内所有任务都处于这类等待,影响通常更严重;
  • avg10、avg60、avg300 分别是不同时间范围的平均比例。

PSI 不适合脱离基线使用。短暂的微小波动不一定表示故障,但如果 available 下跌的同时,some 持续升高,并且响应时间或队列长度也同步增加,就应把内存压力视为真实候选原因。

观察进程是否持续增长

使用 RSS 排序查看占用较大的进程:

ps -eo pid,ppid,user,comm,rss,%mem --sort=-rss | head -n 15

这里的 rss 通常以 KiB 表示,%mem 是进程占物理内存的比例。应每隔一段时间记录同一 PID,而不是只看某一次排序结果。

如果某个服务的 RSS 从 800 MiB 持续增长到 1.5 GiB、3 GiB,并且 AnonPages 同步增加,那么进程内存增长比文件缓存更值得怀疑。需要注意,RSS 可能包含共享库或共享页,多个进程的 RSS 相加不一定等于实际占用;它适合发现趋势,不适合直接作为精确总账。

如果进程 RSS 基本稳定,而 Cached 或 SReclaimable 随文件访问量升高,且在压力出现后能够回落,更符合缓存行为。

排除几种容易混淆的情况

文件页缓存正常增长

读文件、加载静态资源、扫描日志或执行备份时,Linux 可能把文件内容保留在页缓存中。缓存增长本身不是泄漏,关键要看:

  • MemAvailable 是否仍然稳定;
  • 业务进程 RSS 是否没有持续增长;
  • 内存压力出现时缓存是否能够下降;
  • 磁盘读延迟是否在缓存变化时同步恶化;
  • 访问量下降后,缓存是否逐渐回落或被其他数据替换。

如果缓存增加伴随着磁盘读减少、响应时间稳定,可能只是缓存提高了后续读取命中率。反过来,如果写入量增加,Dirty 和 Writeback 持续升高,磁盘队列也变长,则需要关注写回拥堵,而不能把所有现象都归为“健康缓存”。

内核 slab 或目录项占用

大量小文件、频繁创建删除文件、容器镜像层和高并发目录操作,可能让 dentry、inode 等内核对象明显增加。此时 buff/cache 看起来很大,但不一定全部是普通文件页缓存。

在具备 slabtop 的系统上,可以只读查看:

slabtop -o

重点观察是否有某类 slab 长时间持续增长,以及 SReclaimable 和 SUnreclaim 的变化。如果主要增长集中在可回收对象,且系统没有内存压力,通常先记录趋势;如果 SUnreclaim 持续增加并伴随 available 下降,则需要结合内核版本、文件系统和具体服务进一步定位。

tmpfs、共享内存或应用内存盘

Shmem 增长时,应检查是否有服务使用 /dev/shm、tmpfs 或共享内存。可先查看挂载和容量:

df -hT
df -hT /dev/shm 2>/dev/null

tmpfs 使用的是内存和可能的交换空间,不能因为数据没有落在普通磁盘上,就把它当作文件缓存。数据库、浏览器类服务、消息队列或多进程程序也可能通过共享内存使用大量空间。

容器或服务受 cgroup 限制

宿主机还有很多 available,不代表容器内部一定没有内存压力。容器可能先达到自己的 memory.max,并触发 cgroup 范围内的回收或 OOM。

在使用 cgroup v2 且挂载路径为默认位置时,可以查看:

if [ -r /sys/fs/cgroup/memory.current ]; then
  printf '%s\n' 'memory.current:'
  cat /sys/fs/cgroup/memory.current

  printf '%s\n' 'memory.max:'
  cat /sys/fs/cgroup/memory.max

  printf '%s\n' 'memory.events:'
  cat /sys/fs/cgroup/memory.events
fi

重点关注:

容器或服务受 cgroup 限制配图

  • memory.current 是否接近 memory.max;
  • memory.events 中的 high、max、oom、oom_kill 是否增长;
  • 容器内的进程 RSS、堆内存和缓存是否与宿主机观察结果一致。

不同发行版、容器运行时和 cgroup 版本的路径可能不同。如果上述文件不存在,不要直接假设没有限制,应先确认 cgroup 版本和服务所属的控制组。

交换空间已有使用量,但不一定正在故障

服务器上有少量 swap 使用量,不一定说明当前正在发生严重交换。有些页面可能是在早期压力期间被换出,之后长期没有再次访问。此时更重要的是观察:

  • swap 使用量是否持续上升;
  • vmstat 的 si、so 是否持续有值;
  • 内存 PSI 是否升高;
  • 磁盘 I/O 和业务延迟是否同步恶化。

只有 swap 存量而没有持续换入换出时,判断应结合当前压力,而不是只看一个总数。

确认是否发生过 OOM

内存压力不一定会立即表现为整台服务器不可用。进程可能先被 cgroup 或系统 OOM 机制终止,因此需要检查内核日志和服务日志。

使用 systemd 的系统可以按时间查看内核日志:

journalctl -k --since "30 min ago" | grep -Ei 'out of memory|oom|killed process|memory cgroup'

也可以在有权限的情况下查看:

dmesg -T | grep -Ei 'out of memory|oom|killed process|memory cgroup'

若出现 Killed process、Out of memory 或 memory cgroup out of memory,需要记录被终止的 PID、进程名、时间和所属控制组。宿主机的 free 在当时可能仍有可用空间,因为被杀的是某个容器或服务的局部内存额度。

日志时间应与监控数据对齐。如果系统日志已经轮转,当前命令没有结果也不能证明过去没有发生 OOM,还需要查看集中式日志或服务自身的重启记录。

同时排除 I/O、CPU 和网络因素

内存指标变化与业务变慢同时出现,并不意味着内存是唯一原因。缓存变化本身还可能改变磁盘访问模式,跨地区访问也可能放大网络延迟,因此需要把替代解释纳入同一时间线。

如果安装了 sysstat,可以查看设备级 I/O:

iostat -xz 1 5

重点关注:

  • await:请求从提交到完成的平均等待时间;
  • avgqu-sz:平均队列长度;
  • %util:设备忙碌程度;
  • 读写吞吐和请求数是否与业务流量同步变化。

%util 不应单独作为“磁盘已满载”的结论,尤其是在并行度较高的设备上,应结合 await、队列和业务延迟判断。

查看 CPU 和进程级内存、I/O 变化:

mpstat -P ALL 1 5
pidstat -r -d 1 5

如果 iowait 升高、磁盘队列增加,但内存 PSI 和 swap 都稳定,优先调查存储路径。若虚拟机的 steal 升高,则还要考虑宿主机资源争用,而不是把响应变慢归因于缓存。

网络方面可以记录连接和请求队列:

ss -s

业务监控还应同时保留请求速率、活跃连接、队列长度、P95/P99 响应时间和错误率。美国洛杉矶服务器面向不同地区用户时,客户端到服务器的网络往返时间可能发生变化,这会影响接口响应时间,但它不会直接证明服务器内存不足。只有当网络指标稳定、请求量相近,而内存压力和服务延迟同步恶化时,内存因素的权重才会增加。

用条件组合形成判断

可以按下面的条件组合区分几类情况:

用条件组合形成判断配图

观测组合更可能的解释后续重点
free 低,available 稳定,缓存可回落,swap 无持续活动,业务正常普通文件缓存或可回收缓存继续建立基线,不必为了提高 free 而清缓存
available 持续下降,某个 PID 的 RSS 同步增长,AnonPages 增加应用堆、内存泄漏或工作集扩大记录进程趋势、堆指标和发布变更
available 下降,swap 的 si/so 持续有值,PSI 上升,响应变慢真实内存压力或局部控制组压力检查进程、cgroup、OOM 和容量余量
buff/cache 较大,Dirty/Writeback 高,磁盘 await 和队列增加写回压力或存储性能瓶颈检查写入量、日志、备份和存储设备
宿主机 available 尚可,但容器 memory.current 接近上限,oom_kill 增加cgroup 限额导致的局部 OOM查看容器限制和服务内存模型
内存指标稳定,但网络 RTT、请求队列或上游错误增加网络或依赖服务问题对齐客户端、负载均衡、上游和应用日志

这里没有一个适合所有服务器的“可用内存低于多少就故障”的固定阈值。16 GiB、64 GiB 和带有大型数据库缓存的服务器,其正常工作集不同;同一台服务器在低峰和批处理期间的基线也不同。阈值应建立在历史基线、业务峰值和可接受的响应时间之上,并且尽量使用组合条件触发告警。

例如,可以将“available 低于历史基线”“PSI 连续上升”“swap 持续换出”“P95 超过业务目标”作为联合判断,而不是只对 free 设置一个很低的单点阈值。

复测时不要把清缓存当作诊断工具

为了让 free 数字变大而手动清空缓存,不能证明问题已经解决。清缓存后,后续请求需要重新从磁盘读取,可能造成读延迟升高、I/O 队列增加和业务抖动;它还会破坏原有工作集,使复测结果失去代表性。

更稳妥的复测方式是:

  1. 在正常流量或可控的测试流量下,记录复测开始前的 available、缓存、swap、PSI、进程 RSS 和业务指标。
  2. 覆盖一次真实的访问高峰、批处理或文件操作场景,观察缓存增加后的可用内存是否稳定。
  3. 关注压力出现后缓存是否能回落,以及 si/so、PSI、磁盘队列和响应时间是否同步变化。
  4. 对同一个 PID 或同一个 cgroup 进行多次采样,确认内存是否持续增长,而不是被一次性快照误导。
  5. 复测结束后对比请求量、错误率和存储负载,确认指标变化不是由流量或外部依赖变化造成的。

如果需要进行高负载测试,应优先在与生产配置接近的测试环境完成,并设置停止条件。生产环境中的进程重启、限制调整、swap 修改和缓存策略变更,都应先保留日志和监控数据,明确影响范围及恢复方式,避免在尚未确认根因时用高风险操作掩盖现象。

下一次应同时保留的指标组合

针对美国洛杉矶服务器上的 Linux 内存告警,下一次观察至少应保留以下几组同时间戳数据:

  • MemAvailable、free、Cached、SReclaimable、SUnreclaim、Shmem;
  • swap 总使用量,以及 vmstat 中连续采样的 si、so;
  • /proc/pressure/memory 的 some 和 full;
  • 按 PID 或 cgroup 记录的 RSS、内存上限和 OOM 事件;
  • Dirty、Writeback、磁盘 await、I/O 队列和 CPU iowait;
  • 请求量、活跃连接、队列长度、P95/P99 响应时间和错误率;
  • 统一时区后的应用日志、内核日志和定时任务时间点。

当这些指标显示“低 free、available 稳定、缓存可回收、swap 无活动、PSI 低、进程不增长、业务无恶化”时,通常可以把现象判断为正常缓存占用。只有在可用内存持续下降,并且交换、压力、进程增长、I/O 或业务指标至少有一组形成同步证据时,才应按实际内存压力或具体资源瓶颈继续处理。

A5idc数据面向美国业务提供常规Xeon、AMD EPYC等物理服务器,覆盖不同内存容量、NVMe存储与CN2 GIA线路组合,可为Linux网站、数据库、容器服务及多任务计算提供相应的硬件基础。针对内存占用、缓存使用和I/O联动分析场景,充足的内存配置与高速存储能够纳入业务部署的资源规划,并结合美国服务器资源服务本地访问与跨境业务需求。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/9393.html

相关推荐