Kubernetes驱逐与节点压力有什么关系?如何结合内存和磁盘指标定位

发布人:A5数据发布时间:2026-10-23 10:29阅读量:120

Kubernetes驱逐通常不是由某一个容器的资源曲线直接决定,而是由 kubelet 观察到节点资源压力后执行的保护动作。内存可用量持续下降,可能触发 MemoryPressure;节点文件系统可用空间或 inode 接近阈值,可能触发 DiskPressure。CPU使用率高本身不会直接触发驱逐,但会与内存回收、I/O等待、应用延迟和数据库队列一起制造类似的故障表现。

定位时应把节点条件、Pod资源、内存可用量、文件系统空间、inode、磁盘I/O、CPU调度、网络错误和应用响应时间放进同一个时间窗口。只有看到“压力指标变化—kubelet事件—工作负载指标联动”的连续关系,才能判断是内存压力、磁盘压力,还是应用或数据库瓶颈被误认为节点驱逐。

在承载容器化业务、数据库和接口服务时,节点硬件的内存、存储与网络资源会直接影响压力表现。A5数据提供香港、美国、日本、韩国、中国台湾、新加坡及马来西亚等地区的物理服务器,覆盖Xeon与AMD EPYC平台,并提供NVMe、HDD、多IP及不同带宽线路组合,为Kubernetes节点和多任务工作负载提供可按业务区域、数据规模与资源特征组织的硬件基础。

先区分:节点压力、驱逐与容器 OOM

这三个现象经常同时出现,但触发层级不同。

现象主要观察对象常见表现是否一定导致节点驱逐
节点内存压力节点可用内存、内存回收和 PSIMemoryPressure=True、kubelet记录内存不足可能触发,取决于阈值和驱逐策略
节点磁盘压力nodefs、imagefs、inode、临时存储DiskPressure=True、临时存储不足事件可能触发
容器 OOM容器 cgroup 限制容器退出,OOMKilled,重启次数增加不一定,节点仍可能有充足内存
CPU饱和CPU利用率、throttling、运行队列响应时间上升、任务排队不会单独触发驱逐
应用或数据库故障延迟、错误率、连接数、锁和查询队列业务请求失败或变慢不会直接触发节点驱逐

节点驱逐由 kubelet 的 eviction manager 根据资源信号和驱逐阈值进行判断。阈值并不是所有集群都相同,Kubernetes版本、发行版、kubelet配置、容器运行时和 cgroup 模式都会影响最终行为,因此不应把某个固定百分比当成通用结论。

当节点进入压力状态时,通常可以看到以下关联:

先区分:节点压力、驱逐与容器 OOM配图

  1. 节点条件变为 MemoryPressure、DiskPressure 或其他压力状态。
  2. 节点可能被添加相应的 taint,阻止新的普通Pod继续调度。
  3. kubelet根据资源使用、Pod优先级、QoS和资源请求等因素选择驱逐对象。
  4. 被驱逐的Pod通常会出现 Evicted 状态或相关事件。
  5. 如果工作负载由 Deployment、StatefulSet等控制器管理,控制器可能在其他可用节点重新创建Pod。

这里的“重新创建”并不代表问题已经解决。如果其他节点也没有足够的内存、临时存储或调度空间,新Pod可能继续处于 Pending,或者很快再次被驱逐。

建立观察窗口:不要只看驱逐发生的那一分钟

单点数据很容易误导。例如,驱逐发生时CPU已经达到90%,但CPU升高可能是内存回收、磁盘等待或应用重试造成的结果,而不是驱逐原因。更可靠的做法是围绕事件建立时间线。

建议至少保留:

  • 事件发生前15至30分钟的基线;
  • 事件发生前后5至10分钟的高分辨率数据;
  • 如果是批处理、备份或定时任务,扩大到一个完整任务周期;
  • 统一监控、日志和事件的时区;
  • 用15秒至1分钟的采样间隔观察峰值与持续时间。

先确认驱逐事件的时间和节点:

kubectl get events -A --sort-by=.lastTimestamp
kubectl get nodes -o wide
kubectl describe node <node-name>

kubectl describe node中重点查看:

  • Conditions里的MemoryPressure、DiskPressure、PIDPressure;
  • Taints是否出现压力相关 taint;
  • Events中是否有 eviction、ephemeral-storage、memory等信息;
  • 节点的Capacity与Allocatable差异;
  • Non-terminated Pods的资源请求和限制。

如果集群启用了 Metrics Server,可以先看一个粗粒度快照:

kubectl top nodes
kubectl top pods -A --containers

该命令适合确认当前谁在消耗资源,但不能替代历史时间序列。驱逐往往在数据已经恢复后才被人工查看,单次快照可能看不到当时的峰值。

指标A:用内存联动判断 MemoryPressure

先看节点可用内存,而不是只看容器使用量

节点内存分析至少需要同时观察四组数据:

  • 节点总内存和可用内存;
  • 各Pod、容器的 working set、RSS和缓存;
  • 内存回收压力,例如 PSI;
  • OOMKilled、容器重启和 kubelet驱逐事件。

常见的监控指标包括:

  • node_memory_MemTotal_bytes
  • node_memory_MemAvailable_bytes
  • container_memory_working_set_bytes
  • container_memory_rss
  • container_memory_cache
  • container_oom_events_total
  • container_memory_failures_total
  • /proc/pressure/memory中的some和full

MemAvailable更适合表示节点在不明显触发交换或回收压力前还能提供多少内存。container_memory_working_set_bytes适合用于比较容器内存趋势,但它与节点层面的MemAvailable不是简单相加关系。内核、kubelet、容器运行时、日志进程和文件缓存都可能占用节点内存。

判断内存压力时,可重点寻找以下组合:

节点内存表现容器与系统表现事件表现初步判断
MemAvailable持续下降一个或多个容器working set持续增长出现MemoryPressure或内存驱逐事件节点内存压力可能性高
MemAvailable低但容器总量没有明显增加系统进程、内核缓存或日志进程增长节点出现压力需要排查Pod之外的内存消耗
某容器达到limit后退出节点仍有较多可用内存容器显示OOMKilled,没有节点驱逐更像容器级cgroup OOM
CPU升高、内存平稳run queue和throttling升高没有MemoryPressure优先判断CPU饱和,而非内存驱逐
内存使用率短时尖峰后立即恢复没有持续PSI和事件没有压力条件可能只是瞬时缓存或采样峰值

容器达到限制,不等于节点发生驱逐

例如,一个容器的内存限制为512MiB,使用量达到限制后被内核终止,即使节点还有20GiB可用内存,也可以出现OOMKilled。这属于容器 cgroup 层面的限制。

另一种情况是节点整体可用内存不足。此时某个容器可能没有超过自身limit,但由于节点需要释放内存,kubelet会根据请求、优先级和QoS等条件选择Pod驱逐。通常情况下,BestEffort Pod风险更高;Burstable Pod如果实际使用量超过请求,也可能较早被选中。Guaranteed并不代表绝对不会被驱逐,节点极端缺内存或系统保留资源不足时仍需结合事件判断。

因此,看到“容器重启”后应进一步确认退出原因:

kubectl get pod <pod-name> -n <namespace> \
  -o jsonpath='{range .status.containerStatuses[*]}{.name}{" => "}{.lastState.terminated.reason}{" / "}{.lastState.terminated.exitCode}{"\n"}{end}'

如果返回OOMKilled,还要查看节点是否同时出现MemoryPressure。两者同时出现时,容器可能是节点压力下的受害者;只有容器自己达到限制而节点条件正常时,则更接近单个工作负载的资源配置问题。

指标A:用内存联动判断 MemoryPressure配图

PSI可以帮助识别“内存够不够用”

内存使用率并不能说明应用是否正在等待内存回收。Linux PSI中的memory some表示部分任务在一段时间内因内存资源而等待,持续升高通常比单纯的内存百分比更能说明系统已经出现回收压力。

在节点上可以使用只读方式查看:

cat /proc/pressure/memory

如果节点可用内存下降、memory PSI升高、容器延迟上升,并且随后出现MemoryPressure,因果链条较完整。若内存使用量很高但PSI长期平稳、应用延迟也没有变化,则不能仅凭“使用率高”断定已经形成性能瓶颈。

指标B:用磁盘空间、inode和I/O区分 DiskPressure

磁盘压力不只是“磁盘读写速度变慢”。Kubernetes更关心节点本地文件系统是否还有可用空间和 inode,以及容器临时存储是否达到限制。

nodefs、imagefs和 inode 要分别看

常见资源对象包括:

  • nodefs:节点根文件系统,通常承载日志、emptyDir、容器可写层等;
  • imagefs:容器镜像存储所在文件系统,具体是否独立取决于运行时和节点布局;
  • inode:文件数量达到上限后,即使还有很多GB空间,也无法创建新文件;
  • ephemeral-storage:Pod使用的本地临时存储,包括容器日志、可写层和部分临时目录。

节点上可以先执行:

df -hT
df -ih

监控系统中可以关注:

  • node_filesystem_avail_bytes
  • node_filesystem_size_bytes
  • node_filesystem_files_free
  • node_filesystem_files
  • container_fs_usage_bytes
  • container_fs_limit_bytes
  • kubelet_volume_stats_available_bytes

node_filesystem类指标需要排除tmpfs、伪文件系统以及不属于目标节点本地根盘的挂载点,否则容易把内存文件系统或业务数据盘混入判断。

磁盘空间不足与磁盘I/O繁忙不是同一个问题

下面两种情况应分开处理:

空间或 inode 压力:

  • df -h显示可用空间持续下降;
  • df -i显示 inode 使用率接近上限;
  • 容器日志、镜像、emptyDir或可写层占用持续增加;
  • 节点出现DiskPressure;
  • 事件中出现ephemeral-storage不足或驱逐信息。

I/O性能瓶颈:

  • 设备利用率长时间接近满载;
  • await、I/O队列长度或I/O PSI持续升高;
  • 应用响应时间和数据库查询耗时同步上升;
  • 但磁盘剩余空间和 inode仍然充足;
  • 不一定出现DiskPressure。

因此,磁盘读写吞吐很高并不自动等于磁盘压力驱逐。相反,旧日志或大量小文件可能让 inode耗尽,读写吞吐并不高,却仍然触发DiskPressure。

在节点上可以查看I/O压力:

cat /proc/pressure/io

如果监控系统提供设备级指标,可结合node_disk_read_bytes_total、node_disk_written_bytes_total、设备利用率、I/O等待时间和队列长度观察。不要只看读写MB/s,因为顺序大块I/O和随机小块I/O在相同吞吐下可能产生完全不同的延迟。

还要确认数据实际写到了哪个文件系统。业务数据库挂载的独立持久卷空间不足,可能造成数据库报错或写入失败,但不一定改变节点根文件系统的DiskPressure状态。反过来,节点根盘的容器日志爆满,也可能先触发节点驱逐,而业务持久卷仍然有充足空间。

把内存与磁盘放到同一条时间线

下面是一组用于说明判断过程的模拟监控数据,并非实际集群采集结果:

把内存与磁盘放到同一条时间线配图

时间节点可用内存根文件系统可用空间inode可用率CPU利用率I/O PSI应用P95延迟节点事件
10:006.2GiB28%41%48%0.3%120ms无
10:053.8GiB27%40%61%2.1%180ms无
10:081.5GiB27%39%66%8.7%420msMemoryPressure=True
10:091.1GiB26%39%69%12.4%680ms内存驱逐事件
10:124.6GiB26%39%51%1.2%150ms被驱逐Pod减少

这条时间线中,磁盘空间几乎稳定,inode也没有明显下降;内存可用量下降、I/O PSI上升、应用延迟升高,并在随后出现MemoryPressure。这里的I/O等待可能是内存回收造成的次生现象,不能据此把根因直接判定为磁盘空间不足。

另一种磁盘压力场景可能是:

把内存与磁盘放到同一条时间线配图

时间节点可用内存根文件系统可用空间inode可用率CPU利用率磁盘写入应用错误率节点事件
14:008.0GiB22%18%42%35MB/s0.2%无
14:107.7GiB12%7%44%39MB/s0.8%日志目录增长
14:147.5GiB5%2%46%21MB/s4.5%DiskPressure=True
14:167.8GiB5%2%45%10MB/s6.1%临时存储驱逐

此时内存稳定,CPU也不高,但文件系统空间和 inode快速下降,且事件指向临时存储,磁盘压力的判断更有依据。需要继续定位是容器日志、镜像、emptyDir还是容器可写层占用空间。

排除CPU、网络、应用和数据库的替代解释

CPU瓶颈

CPU问题通常需要同时看:

  • 节点和容器CPU使用率;
  • CPU throttling;
  • load、run queue或调度延迟;
  • 应用响应时间和请求队列;
  • 内存可用量和节点压力条件。

如果CPU利用率持续接近满载,throttling比例明显升高,应用延迟同步上升,但内存、磁盘空间和 inode稳定,且没有驱逐事件,更接近CPU资源不足。CPU高也可能是内存回收、日志压缩、磁盘重试或应用重试的结果,所以必须结合其他指标判断方向。

网络瓶颈

网络问题常见的联动信号包括:

  • 网卡吞吐接近带宽上限;
  • 丢包、重传、连接建立失败;
  • conntrack表接近上限;
  • 网络队列和软中断升高;
  • 应用错误率和请求超时同步增加。

如果网络错误率先上升,而节点内存和文件系统在整个窗口内稳定,则不应把应用超时归因于节点驱逐。网络重试可能反过来增加CPU和内存消耗,形成二次压力,需要看最早出现变化的指标。

应用层瓶颈

应用自身可能出现线程池耗尽、锁竞争、消息队列积压、缓存失效或下游调用变慢。此类故障通常表现为:

  • 请求队列长度先上升;
  • P95/P99延迟先恶化;
  • 错误率或超时率上升;
  • 容器CPU、内存变化不明显;
  • 节点没有MemoryPressure或DiskPressure。

如果驱逐发生在应用延迟升高之后,不能据此证明驱逐导致了延迟。也可能是应用重试和队列堆积先消耗了节点资源。

数据库瓶颈

数据库应额外观察:

  • 活跃连接数和连接池等待;
  • 锁等待、事务提交延迟;
  • 慢查询数量;
  • buffer cache命中率;
  • WAL或日志写入延迟;
  • 数据库所在卷的空间和I/O延迟。

数据库写入延迟升高,但节点根文件系统空间充足、inode正常、节点没有DiskPressure时,优先检查数据库卷和存储系统。数据库容器被驱逐,则需要再确认是内存、临时存储还是节点其他Pod占用导致,不能仅凭数据库慢就判定为磁盘压力。

一套可执行的六步定位流程

1. 建立观察窗口

记录驱逐Pod、节点名称、事件时间、控制器类型和应用版本。向前查看至少15分钟,向后查看5至10分钟,标记以下时间点:

  • 第一个应用延迟或错误率异常点;
  • 第一个内存、磁盘或I/O指标异常点;
  • 节点条件变化点;
  • kubelet发出驱逐事件的时间;
  • Pod退出或被重新调度的时间。

“哪个指标最先变化”通常比“驱逐发生时哪个指标最高”更有价值。

2. 先判断内存指标是否形成闭环

对比节点MemAvailable、容器working set、RSS、memory PSI、OOM事件和MemoryPressure。如果容器总量增长但节点可用内存没有明显下降,可能存在指标口径、标签重复或监控范围不完整的问题,需要核对节点、容器和命名空间维度。

3. 再判断磁盘空间和 inode

同时查看根文件系统、镜像文件系统、容器临时存储和 inode。若空间正常但 inode快速耗尽,应检查大量小文件、日志切分、缓存目录和临时文件。若根盘正常而某个持久卷满,应将其归类为存储卷或数据库问题,而不是直接归类为节点DiskPressure。

4. 排除替代解释

将CPU throttling、I/O等待、网络重传、应用队列、数据库锁等待放到同一时间轴。尤其注意:

  • CPU升高是否晚于内存压力;
  • I/O等待是否晚于内存回收;
  • 应用重试是否早于节点资源增长;
  • 数据库延迟是否只发生在独立数据卷;
  • 是否有日志、备份或批处理任务在同一时段启动。

5. 形成条件化判断

可以按以下逻辑归类:

  • 内存驱逐:节点可用内存持续下降,memory PSI或回收压力增加,容器或系统内存增长,随后出现MemoryPressure和内存驱逐事件。
  • 临时存储驱逐:nodefs或imagefs空间、inode或ephemeral-storage持续逼近阈值,事件指向ephemeral-storage,内存并非主要异常。
  • 容器级OOM:单个容器达到内存limit并被OOMKilled,节点整体没有压力条件。
  • I/O性能瓶颈:磁盘延迟、I/O PSI和队列升高,应用变慢,但空间、inode和节点压力条件正常。
  • CPU瓶颈:CPU饱和、throttling和运行队列升高,其他节点压力指标没有形成闭环。
  • 应用或数据库瓶颈:请求队列、错误率、锁等待或连接池等待先异常,基础资源指标只是后续被拖高。

6. 复测并验证判断

处理措施应与判断对应,而不是统一增加节点规格。例如:

  • 内存压力:检查内存请求和限制、应用缓存上限、泄漏趋势以及节点系统进程;
  • 临时存储压力:检查日志保留、镜像清理策略、emptyDir、容器可写层和ephemeral-storage请求;
  • inode压力:定位小文件目录和日志切分行为;
  • I/O性能问题:检查设备延迟、队列、存储卷类型和数据库写入模式;
  • CPU问题:检查并发度、CPU limit导致的throttling和任务调度;
  • 应用或数据库问题:检查连接池、锁、慢查询、重试和队列消费速度。

调整配置或清理数据前,应先确认影响范围,并保留日志、事件和监控数据。涉及日志删除、镜像清理或数据库文件处理时,必须先确认这些文件不是审计、恢复或数据库正常运行所需内容,避免把“恢复磁盘空间”变成数据丢失。

为什么不能只设置一个资源阈值

节点压力判断受多个维度影响:

  • 节点Capacity不等于工作负载可用的Allocatable;
  • kubelet和操作系统需要预留资源;
  • 容器内存limit与节点实际可用内存是两个层级;
  • 根文件系统和镜像文件系统可能分离,也可能共用;
  • ephemeral-storage使用量受日志、镜像、emptyDir和可写层共同影响;
  • inode可能先于磁盘容量耗尽;
  • 驱逐阈值、宽限期和回收策略会影响事件先后;
  • Pod优先级、QoS和资源请求会影响被选择顺序。

所以,“内存超过80%就会驱逐”或“磁盘使用率超过90%就一定驱逐”都不是可靠的通用规则。应以节点条件、kubelet事件和对应资源信号是否在时间上相互印证为准。

下一次应同时观察的指标组合

遇到新的驱逐事件时,建议固定保留以下组合,而不是只截图一个面板:

判断方向节点指标工作负载指标事件与业务指标
内存驱逐MemAvailable、memory PSI、MemoryPressureworking set、RSS、OOM、重启次数kubelet事件、P95/P99、错误率
磁盘空间驱逐nodefs、imagefs可用空间ephemeral-storage、日志和emptyDir占用DiskPressure、驱逐原因、写入失败
inode压力inode可用率、文件数量小文件目录、日志文件数量文件创建失败、Pod事件
I/O瓶颈I/O PSI、await、队列、设备利用率数据库写入延迟、应用队列超时率、慢查询、存储卷事件
CPU瓶颈CPU利用率、throttling、run queue容器CPU使用和限额响应时间、任务排队
网络瓶颈吞吐、丢包、重传、conntrack连接池、请求重试超时率、下游错误
应用或数据库瓶颈节点资源基线线程池、锁、连接、慢查询错误率、队列长度、业务延迟

用这组指标复测时,重点不是寻找一个“超过阈值”的数字,而是确认一条可重复的关联链:资源信号先变化,系统压力随后出现,kubelet发出对应事件,应用指标呈现合理的次生影响,处理后这些指标又按预期恢复。只有这样,才能把 Kubernetes 驱逐与真正的节点压力区分开,也能避免把CPU、磁盘I/O、应用重试或数据库变慢错误地归结为同一个原因。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5264.html

相关推荐