美国洛杉矶服务器Linux空闲内存偏低,怎样判断是否只是缓存占用?
看到美国洛杉矶服务器上 Linux 的 free 内存只剩几百 MB,并不能直接说明内存不足。Linux 会主动把空闲内存用于文件页缓存、目录项和 inode 等可回收数据,因此“空闲内存低”本身可能是正常现象。真正需要关注的是:应用还能获得多少内存、缓存能否在压力下被回收、是否发生交换,以及进程响应是否已经受到影响。
判断是否只是缓存占用,建议把 MemAvailable、缓存构成、交换活动、内存压力、进程 RSS、磁盘 I/O、网络请求量、响应时间和错误率放在同一时间窗口内观察。若可用内存保持稳定,交换读写接近于零,进程占用没有持续增长,业务延迟和错误率也没有同步恶化,低 free 通常不构成故障;反之,就不能只用“这是缓存”来解释。
先区分 free、available 与 buff/cache
执行以下命令,可以先获得一组基础快照:
free -h
常见输出类似下面的结构:
total used free shared buff/cache available
Mem: 15Gi 9.1Gi 420Mi 180Mi 5.8Gi 5.2Gi
Swap: 2.0Gi 0B 2.0Gi
各字段的含义并不相同:
| 指标 | 含义 | 判断重点 |
|---|---|---|
free | 当前没有被使用的物理页 | 数值低不等于内存不足 |
available | 内核估算在不明显触发交换的情况下可供新程序使用的内存 | 判断是否接近内存压力的主要入口 |
buff/cache | 缓冲区、文件页缓存以及部分可回收内核对象 | 需要进一步拆分,不能全部当作同一种缓存 |
shared | 通常包含 tmpfs、共享内存等 | 过高时需要检查 /dev/shm 和相关进程 |
Swap used | 已经写入交换空间的内存量 | 存量不等于当前故障,关键是是否持续换入换出 |
free 命令中的 available 是内核根据可回收页、空闲页和其他内存状态估算出的结果,不是一个静态保留值。它比 free 更接近“应用还能否正常申请内存”的问题。
buff/cache 也不是一块完全同质的空间。文件页缓存通常比较容易回收,但部分 slab、共享内存、脏页或被特定内核对象持有的内存,回收条件不同。因此看到 buff/cache 很大,只能说明内存中存在较多缓存或内核缓存,不能单凭这个字段确认所有内存都可以立即释放。
进一步查看内核拆分数据:
grep -E '^(Mem|Swap|Buffers|Cached|SReclaimable|SUnreclaim|Shmem|Dirty|Writeback|AnonPages|PageTables):' /proc/meminfo
重点可以这样理解:
Cached主要反映文件页缓存;SReclaimable是可回收 slab 的重要组成部分;SUnreclaim属于不容易回收的 slab,持续增长时需要关注;Shmem可能包含 tmpfs 和共享内存;Dirty与Writeback反映尚未完成写回的页;AnonPages更接近进程匿名内存,例如堆、栈和部分运行时内存;SwapCached表示曾经进入交换空间、目前仍保留相关缓存的页。
例如,一台 16 GiB 内存的服务器可能只有 400 MiB 的 free,但仍有 5 GiB 的 available,同时交换读写为零、内存压力接近零。这种情况通常比“free 还有 2 GiB,但 available 只有 300 MiB”更健康。
建立一个可比较的观察窗口
一次 free -h 只能说明某个时刻,无法说明内存是在稳定状态、持续下降,还是刚刚经历了一次缓存回收。排查时应先建立观察窗口,再解释变化。
普通业务可以先观察 15 至 30 分钟;如果问题只在批处理、备份、流量高峰或定时任务期间出现,则应覆盖完整的异常时段。不要只在告警触发后采集一次,因为此时可能已经错过了进程增长、交换开始或缓存回收的过程。
如果服务器使用 UTC,而监控平台显示洛杉矶本地时间,还要先确认时间轴是否一致:
date -Is
timedatectl status
timedatectl 在精简系统中可能不存在,此时以 date -Is 和监控平台的时区设置为准。洛杉矶地区的本地时间会受到夏令时影响,定时任务、日志轮转、备份和流量高峰的对应时刻不应凭记忆换算。
建议在同一时间窗口内保留以下指标:
| 类别 | 建议观察的指标 | 用途 |
|---|---|---|
| 内存容量 | MemAvailable、free、buff/cache、AnonPages | 判断可用空间和组成变化 |
| 交换活动 | swap 使用量、si、so | 判断是否正在频繁换入换出 |
| 内存压力 | PSI 的 some、full | 判断任务是否因内存等待而停顿 |
| 进程占用 | 按 PID 记录 RSS、进程数、重启次数 | 判断是否由具体服务持续增长 |
| 内核与共享内存 | slab、Shmem、tmpfs | 排除内核对象或共享内存异常 |
| 磁盘 I/O | await、队列长度、写回、I/O wait | 区分内存压力和存储阻塞 |
| CPU | user、system、iowait、steal | 判断计算、内核、I/O 或虚拟化影响 |
| 网络与业务 | 请求量、连接数、队列、P95/P99、错误率 | 判断是否由流量或外部延迟引起 |
vmstat 适合快速查看内存、交换、进程队列和 I/O 的联动:
vmstat 1 10
常见字段包括:
free、buff、cache:内存相关量,通常以 KiB 显示;si、so:每秒从交换空间换入、换出的数据量;r:等待运行的任务数量;b:处于不可中断睡眠的任务数量;bi、bo:块设备读写活动;wa:CPU 等待 I/O 的比例。
这里的 si、so 是速率,不是 swap 总使用量。总量没有变化,并不代表没有发生交换活动;连续多个采样点都有较大的 si 或 so,才更能说明系统正在承受交换压力。
把内存主指标和联动指标放在一起
可以把 MemAvailable 的变化作为主指标,再将交换、PSI、进程和业务指标作为联动证据。下面是一组模拟数据,用于说明观察方式,不代表任何实际洛杉矶服务器的监控结果。
| 时间 | available | buff/cache | swap 使用量 | si/so(KiB/s) | memory PSI some | 磁盘 await | 请求 P95 | 5xx |
|---|---|---|---|---|---|---|---|---|
| 10:00 | 5.8 GiB | 7.4 GiB | 0 MiB | 0/0 | 0.00% | 2.5 ms | 110 ms | 0.1% |
| 10:10 | 5.1 GiB | 8.0 GiB | 0 MiB | 0/0 | 0.00% | 2.8 ms | 114 ms | 0.1% |
| 10:20 | 5.3 GiB | 6.7 GiB | 0 MiB | 0/0 | 0.01% | 3.0 ms | 118 ms | 0.1% |
| 10:30 | 5.0 GiB | 7.1 GiB | 0 MiB | 0/0 | 0.00% | 2.7 ms | 116 ms | 0.1% |
这组变化中,缓存增加后又下降,但 available 始终在相近范围内,交换没有活动,业务指标也没有明显变化。此时“低 free 主要是缓存占用”的解释具有较高可信度。
再看另一组模拟数据:
| 时间 | available | buff/cache | swap 使用量 | si/so(KiB/s) | memory PSI some | 磁盘 await | 请求 P95 | 5xx |
|---|---|---|---|---|---|---|---|---|
| 10:00 | 4.5 GiB | 5.2 GiB | 0 MiB | 0/0 | 0.02% | 3 ms | 120 ms | 0.2% |
| 10:10 | 1.6 GiB | 4.8 GiB | 0.8 GiB | 400/160 | 2.8% | 12 ms | 290 ms | 0.4% |
| 10:20 | 0.5 GiB | 4.1 GiB | 2.4 GiB | 1800/900 | 15.0% | 45 ms | 900 ms | 3.2% |
这里不仅是 free 变低,available 也快速下降,swap 持续换入换出,内存 PSI、磁盘等待、接口延迟和错误率同时恶化。即使 buff/cache 仍然存在,也不应简单判断为“只是缓存”。

观察内存压力 PSI
如果内核支持 PSI,可以查看系统整体内存压力:
cat /proc/pressure/memory
输出通常包含类似内容:
some avg10=0.15 avg60=0.04 avg300=0.01 total=123456
full avg10=0.00 avg60=0.00 avg300=0.00 total=0
其中:
some表示至少有部分任务因内存资源不足而等待;full表示一段时间内所有任务都处于这类等待,影响通常更严重;avg10、avg60、avg300分别是不同时间范围的平均比例。
PSI 不适合脱离基线使用。短暂的微小波动不一定表示故障,但如果 available 下跌的同时,some 持续升高,并且响应时间或队列长度也同步增加,就应把内存压力视为真实候选原因。
观察进程是否持续增长
使用 RSS 排序查看占用较大的进程:
ps -eo pid,ppid,user,comm,rss,%mem --sort=-rss | head -n 15
这里的 rss 通常以 KiB 表示,%mem 是进程占物理内存的比例。应每隔一段时间记录同一 PID,而不是只看某一次排序结果。
如果某个服务的 RSS 从 800 MiB 持续增长到 1.5 GiB、3 GiB,并且 AnonPages 同步增加,那么进程内存增长比文件缓存更值得怀疑。需要注意,RSS 可能包含共享库或共享页,多个进程的 RSS 相加不一定等于实际占用;它适合发现趋势,不适合直接作为精确总账。
如果进程 RSS 基本稳定,而 Cached 或 SReclaimable 随文件访问量升高,且在压力出现后能够回落,更符合缓存行为。
排除几种容易混淆的情况
文件页缓存正常增长
读文件、加载静态资源、扫描日志或执行备份时,Linux 可能把文件内容保留在页缓存中。缓存增长本身不是泄漏,关键要看:
MemAvailable是否仍然稳定;- 业务进程 RSS 是否没有持续增长;
- 内存压力出现时缓存是否能够下降;
- 磁盘读延迟是否在缓存变化时同步恶化;
- 访问量下降后,缓存是否逐渐回落或被其他数据替换。
如果缓存增加伴随着磁盘读减少、响应时间稳定,可能只是缓存提高了后续读取命中率。反过来,如果写入量增加,Dirty 和 Writeback 持续升高,磁盘队列也变长,则需要关注写回拥堵,而不能把所有现象都归为“健康缓存”。
内核 slab 或目录项占用
大量小文件、频繁创建删除文件、容器镜像层和高并发目录操作,可能让 dentry、inode 等内核对象明显增加。此时 buff/cache 看起来很大,但不一定全部是普通文件页缓存。
在具备 slabtop 的系统上,可以只读查看:
slabtop -o
重点观察是否有某类 slab 长时间持续增长,以及 SReclaimable 和 SUnreclaim 的变化。如果主要增长集中在可回收对象,且系统没有内存压力,通常先记录趋势;如果 SUnreclaim 持续增加并伴随 available 下降,则需要结合内核版本、文件系统和具体服务进一步定位。
tmpfs、共享内存或应用内存盘
Shmem 增长时,应检查是否有服务使用 /dev/shm、tmpfs 或共享内存。可先查看挂载和容量:
df -hT
df -hT /dev/shm 2>/dev/null
tmpfs 使用的是内存和可能的交换空间,不能因为数据没有落在普通磁盘上,就把它当作文件缓存。数据库、浏览器类服务、消息队列或多进程程序也可能通过共享内存使用大量空间。
容器或服务受 cgroup 限制
宿主机还有很多 available,不代表容器内部一定没有内存压力。容器可能先达到自己的 memory.max,并触发 cgroup 范围内的回收或 OOM。
在使用 cgroup v2 且挂载路径为默认位置时,可以查看:
if [ -r /sys/fs/cgroup/memory.current ]; then
printf '%s\n' 'memory.current:'
cat /sys/fs/cgroup/memory.current
printf '%s\n' 'memory.max:'
cat /sys/fs/cgroup/memory.max
printf '%s\n' 'memory.events:'
cat /sys/fs/cgroup/memory.events
fi
重点关注:

memory.current是否接近memory.max;memory.events中的high、max、oom、oom_kill是否增长;- 容器内的进程 RSS、堆内存和缓存是否与宿主机观察结果一致。
不同发行版、容器运行时和 cgroup 版本的路径可能不同。如果上述文件不存在,不要直接假设没有限制,应先确认 cgroup 版本和服务所属的控制组。
交换空间已有使用量,但不一定正在故障
服务器上有少量 swap 使用量,不一定说明当前正在发生严重交换。有些页面可能是在早期压力期间被换出,之后长期没有再次访问。此时更重要的是观察:
- swap 使用量是否持续上升;
vmstat的si、so是否持续有值;- 内存 PSI 是否升高;
- 磁盘 I/O 和业务延迟是否同步恶化。
只有 swap 存量而没有持续换入换出时,判断应结合当前压力,而不是只看一个总数。
确认是否发生过 OOM
内存压力不一定会立即表现为整台服务器不可用。进程可能先被 cgroup 或系统 OOM 机制终止,因此需要检查内核日志和服务日志。
使用 systemd 的系统可以按时间查看内核日志:
journalctl -k --since "30 min ago" | grep -Ei 'out of memory|oom|killed process|memory cgroup'
也可以在有权限的情况下查看:
dmesg -T | grep -Ei 'out of memory|oom|killed process|memory cgroup'
若出现 Killed process、Out of memory 或 memory cgroup out of memory,需要记录被终止的 PID、进程名、时间和所属控制组。宿主机的 free 在当时可能仍有可用空间,因为被杀的是某个容器或服务的局部内存额度。
日志时间应与监控数据对齐。如果系统日志已经轮转,当前命令没有结果也不能证明过去没有发生 OOM,还需要查看集中式日志或服务自身的重启记录。
同时排除 I/O、CPU 和网络因素
内存指标变化与业务变慢同时出现,并不意味着内存是唯一原因。缓存变化本身还可能改变磁盘访问模式,跨地区访问也可能放大网络延迟,因此需要把替代解释纳入同一时间线。
如果安装了 sysstat,可以查看设备级 I/O:
iostat -xz 1 5
重点关注:
await:请求从提交到完成的平均等待时间;avgqu-sz:平均队列长度;%util:设备忙碌程度;- 读写吞吐和请求数是否与业务流量同步变化。
%util 不应单独作为“磁盘已满载”的结论,尤其是在并行度较高的设备上,应结合 await、队列和业务延迟判断。
查看 CPU 和进程级内存、I/O 变化:
mpstat -P ALL 1 5
pidstat -r -d 1 5
如果 iowait 升高、磁盘队列增加,但内存 PSI 和 swap 都稳定,优先调查存储路径。若虚拟机的 steal 升高,则还要考虑宿主机资源争用,而不是把响应变慢归因于缓存。
网络方面可以记录连接和请求队列:
ss -s
业务监控还应同时保留请求速率、活跃连接、队列长度、P95/P99 响应时间和错误率。美国洛杉矶服务器面向不同地区用户时,客户端到服务器的网络往返时间可能发生变化,这会影响接口响应时间,但它不会直接证明服务器内存不足。只有当网络指标稳定、请求量相近,而内存压力和服务延迟同步恶化时,内存因素的权重才会增加。
用条件组合形成判断
可以按下面的条件组合区分几类情况:

| 观测组合 | 更可能的解释 | 后续重点 |
|---|---|---|
free 低,available 稳定,缓存可回落,swap 无持续活动,业务正常 | 普通文件缓存或可回收缓存 | 继续建立基线,不必为了提高 free 而清缓存 |
available 持续下降,某个 PID 的 RSS 同步增长,AnonPages 增加 | 应用堆、内存泄漏或工作集扩大 | 记录进程趋势、堆指标和发布变更 |
available 下降,swap 的 si/so 持续有值,PSI 上升,响应变慢 | 真实内存压力或局部控制组压力 | 检查进程、cgroup、OOM 和容量余量 |
buff/cache 较大,Dirty/Writeback 高,磁盘 await 和队列增加 | 写回压力或存储性能瓶颈 | 检查写入量、日志、备份和存储设备 |
宿主机 available 尚可,但容器 memory.current 接近上限,oom_kill 增加 | cgroup 限额导致的局部 OOM | 查看容器限制和服务内存模型 |
| 内存指标稳定,但网络 RTT、请求队列或上游错误增加 | 网络或依赖服务问题 | 对齐客户端、负载均衡、上游和应用日志 |
这里没有一个适合所有服务器的“可用内存低于多少就故障”的固定阈值。16 GiB、64 GiB 和带有大型数据库缓存的服务器,其正常工作集不同;同一台服务器在低峰和批处理期间的基线也不同。阈值应建立在历史基线、业务峰值和可接受的响应时间之上,并且尽量使用组合条件触发告警。
例如,可以将“available 低于历史基线”“PSI 连续上升”“swap 持续换出”“P95 超过业务目标”作为联合判断,而不是只对 free 设置一个很低的单点阈值。
复测时不要把清缓存当作诊断工具
为了让 free 数字变大而手动清空缓存,不能证明问题已经解决。清缓存后,后续请求需要重新从磁盘读取,可能造成读延迟升高、I/O 队列增加和业务抖动;它还会破坏原有工作集,使复测结果失去代表性。
更稳妥的复测方式是:
- 在正常流量或可控的测试流量下,记录复测开始前的
available、缓存、swap、PSI、进程 RSS 和业务指标。 - 覆盖一次真实的访问高峰、批处理或文件操作场景,观察缓存增加后的可用内存是否稳定。
- 关注压力出现后缓存是否能回落,以及
si/so、PSI、磁盘队列和响应时间是否同步变化。 - 对同一个 PID 或同一个 cgroup 进行多次采样,确认内存是否持续增长,而不是被一次性快照误导。
- 复测结束后对比请求量、错误率和存储负载,确认指标变化不是由流量或外部依赖变化造成的。
如果需要进行高负载测试,应优先在与生产配置接近的测试环境完成,并设置停止条件。生产环境中的进程重启、限制调整、swap 修改和缓存策略变更,都应先保留日志和监控数据,明确影响范围及恢复方式,避免在尚未确认根因时用高风险操作掩盖现象。
下一次应同时保留的指标组合
针对美国洛杉矶服务器上的 Linux 内存告警,下一次观察至少应保留以下几组同时间戳数据:
MemAvailable、free、Cached、SReclaimable、SUnreclaim、Shmem;- swap 总使用量,以及
vmstat中连续采样的si、so; /proc/pressure/memory的some和full;- 按 PID 或 cgroup 记录的 RSS、内存上限和 OOM 事件;
Dirty、Writeback、磁盘 await、I/O 队列和 CPU iowait;- 请求量、活跃连接、队列长度、P95/P99 响应时间和错误率;
- 统一时区后的应用日志、内核日志和定时任务时间点。
当这些指标显示“低 free、available 稳定、缓存可回收、swap 无活动、PSI 低、进程不增长、业务无恶化”时,通常可以把现象判断为正常缓存占用。只有在可用内存持续下降,并且交换、压力、进程增长、I/O 或业务指标至少有一组形成同步证据时,才应按实际内存压力或具体资源瓶颈继续处理。
A5idc数据面向美国业务提供常规Xeon、AMD EPYC等物理服务器,覆盖不同内存容量、NVMe存储与CN2 GIA线路组合,可为Linux网站、数据库、容器服务及多任务计算提供相应的硬件基础。针对内存占用、缓存使用和I/O联动分析场景,充足的内存配置与高速存储能够纳入业务部署的资源规划,并结合美国服务器资源服务本地访问与跨境业务需求。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/9393.html



