Kubernetes驱逐与节点压力有什么关系?如何结合内存和磁盘指标定位
Kubernetes驱逐通常不是由某一个容器的资源曲线直接决定,而是由 kubelet 观察到节点资源压力后执行的保护动作。内存可用量持续下降,可能触发 MemoryPressure;节点文件系统可用空间或 inode 接近阈值,可能触发 DiskPressure。CPU使用率高本身不会直接触发驱逐,但会与内存回收、I/O等待、应用延迟和数据库队列一起制造类似的故障表现。
定位时应把节点条件、Pod资源、内存可用量、文件系统空间、inode、磁盘I/O、CPU调度、网络错误和应用响应时间放进同一个时间窗口。只有看到“压力指标变化—kubelet事件—工作负载指标联动”的连续关系,才能判断是内存压力、磁盘压力,还是应用或数据库瓶颈被误认为节点驱逐。
在承载容器化业务、数据库和接口服务时,节点硬件的内存、存储与网络资源会直接影响压力表现。A5数据提供香港、美国、日本、韩国、中国台湾、新加坡及马来西亚等地区的物理服务器,覆盖Xeon与AMD EPYC平台,并提供NVMe、HDD、多IP及不同带宽线路组合,为Kubernetes节点和多任务工作负载提供可按业务区域、数据规模与资源特征组织的硬件基础。
先区分:节点压力、驱逐与容器 OOM
这三个现象经常同时出现,但触发层级不同。
| 现象 | 主要观察对象 | 常见表现 | 是否一定导致节点驱逐 |
|---|---|---|---|
| 节点内存压力 | 节点可用内存、内存回收和 PSI | MemoryPressure=True、kubelet记录内存不足 | 可能触发,取决于阈值和驱逐策略 |
| 节点磁盘压力 | nodefs、imagefs、inode、临时存储 | DiskPressure=True、临时存储不足事件 | 可能触发 |
| 容器 OOM | 容器 cgroup 限制 | 容器退出,OOMKilled,重启次数增加 | 不一定,节点仍可能有充足内存 |
| CPU饱和 | CPU利用率、throttling、运行队列 | 响应时间上升、任务排队 | 不会单独触发驱逐 |
| 应用或数据库故障 | 延迟、错误率、连接数、锁和查询队列 | 业务请求失败或变慢 | 不会直接触发节点驱逐 |
节点驱逐由 kubelet 的 eviction manager 根据资源信号和驱逐阈值进行判断。阈值并不是所有集群都相同,Kubernetes版本、发行版、kubelet配置、容器运行时和 cgroup 模式都会影响最终行为,因此不应把某个固定百分比当成通用结论。
当节点进入压力状态时,通常可以看到以下关联:

- 节点条件变为
MemoryPressure、DiskPressure或其他压力状态。 - 节点可能被添加相应的 taint,阻止新的普通Pod继续调度。
- kubelet根据资源使用、Pod优先级、QoS和资源请求等因素选择驱逐对象。
- 被驱逐的Pod通常会出现
Evicted状态或相关事件。 - 如果工作负载由 Deployment、StatefulSet等控制器管理,控制器可能在其他可用节点重新创建Pod。
这里的“重新创建”并不代表问题已经解决。如果其他节点也没有足够的内存、临时存储或调度空间,新Pod可能继续处于 Pending,或者很快再次被驱逐。
建立观察窗口:不要只看驱逐发生的那一分钟
单点数据很容易误导。例如,驱逐发生时CPU已经达到90%,但CPU升高可能是内存回收、磁盘等待或应用重试造成的结果,而不是驱逐原因。更可靠的做法是围绕事件建立时间线。
建议至少保留:
- 事件发生前15至30分钟的基线;
- 事件发生前后5至10分钟的高分辨率数据;
- 如果是批处理、备份或定时任务,扩大到一个完整任务周期;
- 统一监控、日志和事件的时区;
- 用15秒至1分钟的采样间隔观察峰值与持续时间。
先确认驱逐事件的时间和节点:
kubectl get events -A --sort-by=.lastTimestamp
kubectl get nodes -o wide
kubectl describe node <node-name>
kubectl describe node中重点查看:
Conditions里的MemoryPressure、DiskPressure、PIDPressure;Taints是否出现压力相关 taint;Events中是否有 eviction、ephemeral-storage、memory等信息;- 节点的
Capacity与Allocatable差异; - Non-terminated Pods的资源请求和限制。
如果集群启用了 Metrics Server,可以先看一个粗粒度快照:
kubectl top nodes
kubectl top pods -A --containers
该命令适合确认当前谁在消耗资源,但不能替代历史时间序列。驱逐往往在数据已经恢复后才被人工查看,单次快照可能看不到当时的峰值。
指标A:用内存联动判断 MemoryPressure
先看节点可用内存,而不是只看容器使用量
节点内存分析至少需要同时观察四组数据:
- 节点总内存和可用内存;
- 各Pod、容器的 working set、RSS和缓存;
- 内存回收压力,例如 PSI;
- OOMKilled、容器重启和 kubelet驱逐事件。
常见的监控指标包括:
node_memory_MemTotal_bytesnode_memory_MemAvailable_bytescontainer_memory_working_set_bytescontainer_memory_rsscontainer_memory_cachecontainer_oom_events_totalcontainer_memory_failures_total/proc/pressure/memory中的some和full
MemAvailable更适合表示节点在不明显触发交换或回收压力前还能提供多少内存。container_memory_working_set_bytes适合用于比较容器内存趋势,但它与节点层面的MemAvailable不是简单相加关系。内核、kubelet、容器运行时、日志进程和文件缓存都可能占用节点内存。
判断内存压力时,可重点寻找以下组合:
| 节点内存表现 | 容器与系统表现 | 事件表现 | 初步判断 |
|---|---|---|---|
MemAvailable持续下降 | 一个或多个容器working set持续增长 | 出现MemoryPressure或内存驱逐事件 | 节点内存压力可能性高 |
MemAvailable低但容器总量没有明显增加 | 系统进程、内核缓存或日志进程增长 | 节点出现压力 | 需要排查Pod之外的内存消耗 |
| 某容器达到limit后退出 | 节点仍有较多可用内存 | 容器显示OOMKilled,没有节点驱逐 | 更像容器级cgroup OOM |
| CPU升高、内存平稳 | run queue和throttling升高 | 没有MemoryPressure | 优先判断CPU饱和,而非内存驱逐 |
| 内存使用率短时尖峰后立即恢复 | 没有持续PSI和事件 | 没有压力条件 | 可能只是瞬时缓存或采样峰值 |
容器达到限制,不等于节点发生驱逐
例如,一个容器的内存限制为512MiB,使用量达到限制后被内核终止,即使节点还有20GiB可用内存,也可以出现OOMKilled。这属于容器 cgroup 层面的限制。
另一种情况是节点整体可用内存不足。此时某个容器可能没有超过自身limit,但由于节点需要释放内存,kubelet会根据请求、优先级和QoS等条件选择Pod驱逐。通常情况下,BestEffort Pod风险更高;Burstable Pod如果实际使用量超过请求,也可能较早被选中。Guaranteed并不代表绝对不会被驱逐,节点极端缺内存或系统保留资源不足时仍需结合事件判断。
因此,看到“容器重启”后应进一步确认退出原因:
kubectl get pod <pod-name> -n <namespace> \
-o jsonpath='{range .status.containerStatuses[*]}{.name}{" => "}{.lastState.terminated.reason}{" / "}{.lastState.terminated.exitCode}{"\n"}{end}'
如果返回OOMKilled,还要查看节点是否同时出现MemoryPressure。两者同时出现时,容器可能是节点压力下的受害者;只有容器自己达到限制而节点条件正常时,则更接近单个工作负载的资源配置问题。

PSI可以帮助识别“内存够不够用”
内存使用率并不能说明应用是否正在等待内存回收。Linux PSI中的memory some表示部分任务在一段时间内因内存资源而等待,持续升高通常比单纯的内存百分比更能说明系统已经出现回收压力。
在节点上可以使用只读方式查看:
cat /proc/pressure/memory
如果节点可用内存下降、memory PSI升高、容器延迟上升,并且随后出现MemoryPressure,因果链条较完整。若内存使用量很高但PSI长期平稳、应用延迟也没有变化,则不能仅凭“使用率高”断定已经形成性能瓶颈。
指标B:用磁盘空间、inode和I/O区分 DiskPressure
磁盘压力不只是“磁盘读写速度变慢”。Kubernetes更关心节点本地文件系统是否还有可用空间和 inode,以及容器临时存储是否达到限制。
nodefs、imagefs和 inode 要分别看
常见资源对象包括:
nodefs:节点根文件系统,通常承载日志、emptyDir、容器可写层等;imagefs:容器镜像存储所在文件系统,具体是否独立取决于运行时和节点布局;- inode:文件数量达到上限后,即使还有很多GB空间,也无法创建新文件;
- ephemeral-storage:Pod使用的本地临时存储,包括容器日志、可写层和部分临时目录。
节点上可以先执行:
df -hT
df -ih
监控系统中可以关注:
node_filesystem_avail_bytesnode_filesystem_size_bytesnode_filesystem_files_freenode_filesystem_filescontainer_fs_usage_bytescontainer_fs_limit_byteskubelet_volume_stats_available_bytes
node_filesystem类指标需要排除tmpfs、伪文件系统以及不属于目标节点本地根盘的挂载点,否则容易把内存文件系统或业务数据盘混入判断。
磁盘空间不足与磁盘I/O繁忙不是同一个问题
下面两种情况应分开处理:
空间或 inode 压力:
df -h显示可用空间持续下降;df -i显示 inode 使用率接近上限;- 容器日志、镜像、
emptyDir或可写层占用持续增加; - 节点出现
DiskPressure; - 事件中出现
ephemeral-storage不足或驱逐信息。
I/O性能瓶颈:
- 设备利用率长时间接近满载;
await、I/O队列长度或I/O PSI持续升高;- 应用响应时间和数据库查询耗时同步上升;
- 但磁盘剩余空间和 inode仍然充足;
- 不一定出现
DiskPressure。
因此,磁盘读写吞吐很高并不自动等于磁盘压力驱逐。相反,旧日志或大量小文件可能让 inode耗尽,读写吞吐并不高,却仍然触发DiskPressure。
在节点上可以查看I/O压力:
cat /proc/pressure/io
如果监控系统提供设备级指标,可结合node_disk_read_bytes_total、node_disk_written_bytes_total、设备利用率、I/O等待时间和队列长度观察。不要只看读写MB/s,因为顺序大块I/O和随机小块I/O在相同吞吐下可能产生完全不同的延迟。
还要确认数据实际写到了哪个文件系统。业务数据库挂载的独立持久卷空间不足,可能造成数据库报错或写入失败,但不一定改变节点根文件系统的DiskPressure状态。反过来,节点根盘的容器日志爆满,也可能先触发节点驱逐,而业务持久卷仍然有充足空间。
把内存与磁盘放到同一条时间线
下面是一组用于说明判断过程的模拟监控数据,并非实际集群采集结果:

| 时间 | 节点可用内存 | 根文件系统可用空间 | inode可用率 | CPU利用率 | I/O PSI | 应用P95延迟 | 节点事件 |
|---|---|---|---|---|---|---|---|
| 10:00 | 6.2GiB | 28% | 41% | 48% | 0.3% | 120ms | 无 |
| 10:05 | 3.8GiB | 27% | 40% | 61% | 2.1% | 180ms | 无 |
| 10:08 | 1.5GiB | 27% | 39% | 66% | 8.7% | 420ms | MemoryPressure=True |
| 10:09 | 1.1GiB | 26% | 39% | 69% | 12.4% | 680ms | 内存驱逐事件 |
| 10:12 | 4.6GiB | 26% | 39% | 51% | 1.2% | 150ms | 被驱逐Pod减少 |
这条时间线中,磁盘空间几乎稳定,inode也没有明显下降;内存可用量下降、I/O PSI上升、应用延迟升高,并在随后出现MemoryPressure。这里的I/O等待可能是内存回收造成的次生现象,不能据此把根因直接判定为磁盘空间不足。
另一种磁盘压力场景可能是:

| 时间 | 节点可用内存 | 根文件系统可用空间 | inode可用率 | CPU利用率 | 磁盘写入 | 应用错误率 | 节点事件 |
|---|---|---|---|---|---|---|---|
| 14:00 | 8.0GiB | 22% | 18% | 42% | 35MB/s | 0.2% | 无 |
| 14:10 | 7.7GiB | 12% | 7% | 44% | 39MB/s | 0.8% | 日志目录增长 |
| 14:14 | 7.5GiB | 5% | 2% | 46% | 21MB/s | 4.5% | DiskPressure=True |
| 14:16 | 7.8GiB | 5% | 2% | 45% | 10MB/s | 6.1% | 临时存储驱逐 |
此时内存稳定,CPU也不高,但文件系统空间和 inode快速下降,且事件指向临时存储,磁盘压力的判断更有依据。需要继续定位是容器日志、镜像、emptyDir还是容器可写层占用空间。
排除CPU、网络、应用和数据库的替代解释
CPU瓶颈
CPU问题通常需要同时看:
- 节点和容器CPU使用率;
- CPU throttling;
- load、run queue或调度延迟;
- 应用响应时间和请求队列;
- 内存可用量和节点压力条件。
如果CPU利用率持续接近满载,throttling比例明显升高,应用延迟同步上升,但内存、磁盘空间和 inode稳定,且没有驱逐事件,更接近CPU资源不足。CPU高也可能是内存回收、日志压缩、磁盘重试或应用重试的结果,所以必须结合其他指标判断方向。
网络瓶颈
网络问题常见的联动信号包括:
- 网卡吞吐接近带宽上限;
- 丢包、重传、连接建立失败;
- conntrack表接近上限;
- 网络队列和软中断升高;
- 应用错误率和请求超时同步增加。
如果网络错误率先上升,而节点内存和文件系统在整个窗口内稳定,则不应把应用超时归因于节点驱逐。网络重试可能反过来增加CPU和内存消耗,形成二次压力,需要看最早出现变化的指标。
应用层瓶颈
应用自身可能出现线程池耗尽、锁竞争、消息队列积压、缓存失效或下游调用变慢。此类故障通常表现为:
- 请求队列长度先上升;
- P95/P99延迟先恶化;
- 错误率或超时率上升;
- 容器CPU、内存变化不明显;
- 节点没有
MemoryPressure或DiskPressure。
如果驱逐发生在应用延迟升高之后,不能据此证明驱逐导致了延迟。也可能是应用重试和队列堆积先消耗了节点资源。
数据库瓶颈
数据库应额外观察:
- 活跃连接数和连接池等待;
- 锁等待、事务提交延迟;
- 慢查询数量;
- buffer cache命中率;
- WAL或日志写入延迟;
- 数据库所在卷的空间和I/O延迟。
数据库写入延迟升高,但节点根文件系统空间充足、inode正常、节点没有DiskPressure时,优先检查数据库卷和存储系统。数据库容器被驱逐,则需要再确认是内存、临时存储还是节点其他Pod占用导致,不能仅凭数据库慢就判定为磁盘压力。
一套可执行的六步定位流程
1. 建立观察窗口
记录驱逐Pod、节点名称、事件时间、控制器类型和应用版本。向前查看至少15分钟,向后查看5至10分钟,标记以下时间点:
- 第一个应用延迟或错误率异常点;
- 第一个内存、磁盘或I/O指标异常点;
- 节点条件变化点;
- kubelet发出驱逐事件的时间;
- Pod退出或被重新调度的时间。
“哪个指标最先变化”通常比“驱逐发生时哪个指标最高”更有价值。
2. 先判断内存指标是否形成闭环
对比节点MemAvailable、容器working set、RSS、memory PSI、OOM事件和MemoryPressure。如果容器总量增长但节点可用内存没有明显下降,可能存在指标口径、标签重复或监控范围不完整的问题,需要核对节点、容器和命名空间维度。
3. 再判断磁盘空间和 inode
同时查看根文件系统、镜像文件系统、容器临时存储和 inode。若空间正常但 inode快速耗尽,应检查大量小文件、日志切分、缓存目录和临时文件。若根盘正常而某个持久卷满,应将其归类为存储卷或数据库问题,而不是直接归类为节点DiskPressure。
4. 排除替代解释
将CPU throttling、I/O等待、网络重传、应用队列、数据库锁等待放到同一时间轴。尤其注意:
- CPU升高是否晚于内存压力;
- I/O等待是否晚于内存回收;
- 应用重试是否早于节点资源增长;
- 数据库延迟是否只发生在独立数据卷;
- 是否有日志、备份或批处理任务在同一时段启动。
5. 形成条件化判断
可以按以下逻辑归类:
- 内存驱逐:节点可用内存持续下降,memory PSI或回收压力增加,容器或系统内存增长,随后出现
MemoryPressure和内存驱逐事件。 - 临时存储驱逐:
nodefs或imagefs空间、inode或ephemeral-storage持续逼近阈值,事件指向ephemeral-storage,内存并非主要异常。 - 容器级OOM:单个容器达到内存limit并被
OOMKilled,节点整体没有压力条件。 - I/O性能瓶颈:磁盘延迟、I/O PSI和队列升高,应用变慢,但空间、inode和节点压力条件正常。
- CPU瓶颈:CPU饱和、throttling和运行队列升高,其他节点压力指标没有形成闭环。
- 应用或数据库瓶颈:请求队列、错误率、锁等待或连接池等待先异常,基础资源指标只是后续被拖高。
6. 复测并验证判断
处理措施应与判断对应,而不是统一增加节点规格。例如:
- 内存压力:检查内存请求和限制、应用缓存上限、泄漏趋势以及节点系统进程;
- 临时存储压力:检查日志保留、镜像清理策略、
emptyDir、容器可写层和ephemeral-storage请求; - inode压力:定位小文件目录和日志切分行为;
- I/O性能问题:检查设备延迟、队列、存储卷类型和数据库写入模式;
- CPU问题:检查并发度、CPU limit导致的throttling和任务调度;
- 应用或数据库问题:检查连接池、锁、慢查询、重试和队列消费速度。
调整配置或清理数据前,应先确认影响范围,并保留日志、事件和监控数据。涉及日志删除、镜像清理或数据库文件处理时,必须先确认这些文件不是审计、恢复或数据库正常运行所需内容,避免把“恢复磁盘空间”变成数据丢失。
为什么不能只设置一个资源阈值
节点压力判断受多个维度影响:
- 节点
Capacity不等于工作负载可用的Allocatable; - kubelet和操作系统需要预留资源;
- 容器内存limit与节点实际可用内存是两个层级;
- 根文件系统和镜像文件系统可能分离,也可能共用;
- ephemeral-storage使用量受日志、镜像、
emptyDir和可写层共同影响; - inode可能先于磁盘容量耗尽;
- 驱逐阈值、宽限期和回收策略会影响事件先后;
- Pod优先级、QoS和资源请求会影响被选择顺序。
所以,“内存超过80%就会驱逐”或“磁盘使用率超过90%就一定驱逐”都不是可靠的通用规则。应以节点条件、kubelet事件和对应资源信号是否在时间上相互印证为准。
下一次应同时观察的指标组合
遇到新的驱逐事件时,建议固定保留以下组合,而不是只截图一个面板:
| 判断方向 | 节点指标 | 工作负载指标 | 事件与业务指标 |
|---|---|---|---|
| 内存驱逐 | MemAvailable、memory PSI、MemoryPressure | working set、RSS、OOM、重启次数 | kubelet事件、P95/P99、错误率 |
| 磁盘空间驱逐 | nodefs、imagefs可用空间 | ephemeral-storage、日志和emptyDir占用 | DiskPressure、驱逐原因、写入失败 |
| inode压力 | inode可用率、文件数量 | 小文件目录、日志文件数量 | 文件创建失败、Pod事件 |
| I/O瓶颈 | I/O PSI、await、队列、设备利用率 | 数据库写入延迟、应用队列 | 超时率、慢查询、存储卷事件 |
| CPU瓶颈 | CPU利用率、throttling、run queue | 容器CPU使用和限额 | 响应时间、任务排队 |
| 网络瓶颈 | 吞吐、丢包、重传、conntrack | 连接池、请求重试 | 超时率、下游错误 |
| 应用或数据库瓶颈 | 节点资源基线 | 线程池、锁、连接、慢查询 | 错误率、队列长度、业务延迟 |
用这组指标复测时,重点不是寻找一个“超过阈值”的数字,而是确认一条可重复的关联链:资源信号先变化,系统压力随后出现,kubelet发出对应事件,应用指标呈现合理的次生影响,处理后这些指标又按预期恢复。只有这样,才能把 Kubernetes 驱逐与真正的节点压力区分开,也能避免把CPU、磁盘I/O、应用重试或数据库变慢错误地归结为同一个原因。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5264.html



