Kubernetes节点排空前要检查哪些工作负载,如何安全完成迁移
节点排空的目标,是让 Kubernetes 停止向指定节点调度新 Pod,并通过驱逐机制让可迁移的工作负载在其他节点重新运行。日常维护前,应先确认这些 Pod 是否有足够副本、是否受 PodDisruptionBudget(PDB)约束、是否依赖节点本地数据,以及集群是否有余量承接它们。
安全操作通常按“检查工作负载和容量—标记节点不可调度—执行排空—验证迁移—维护节点”的顺序进行。排空失败时,不要先用强制参数绕过保护;先判断阻塞原因。若维护取消,可以恢复节点调度,但已迁出的 Pod 不会因此自动回到原节点。

排空前:确认节点和迁移条件
先确认集群上下文、节点名称和节点状态,避免在错误集群或错误节点上执行维护操作。
kubectl config current-context
kubectl get nodes -o wide
kubectl describe node <node-name>
检查节点上的 Pod 时,要注意过滤字段的行为:spec.nodeName 是 Pod 的字段,可用于查看当前绑定到某节点的 Pod。
kubectl get pods -A \
--field-selector spec.nodeName=<node-name> \
-o wide
逐个识别工作负载的控制器类型和业务影响。通常由 Deployment、StatefulSet 或 Job 管理的 Pod可以通过控制器重新创建,但“能重新创建”不等于“能无影响迁移”。应重点检查以下几类情况:
| 工作负载情况 | 排空前要确认 | 主要风险 |
|---|---|---|
| 单副本 Deployment 或关键服务 | 是否允许短暂中断,其他节点能否运行该 Pod | 驱逐后没有可用副本,服务中断 |
| 多副本 Deployment | 副本是否分布在不同节点、故障域,是否存在反亲和或拓扑约束 | 副本可能集中到少数节点,降低容错能力 |
| StatefulSet | 存储卷访问模式、重新挂载时间、应用自身的主从或选主机制 | 卷不能跨节点挂载,或切换期间出现业务延迟 |
| Job、CronJob 创建的 Pod | 任务是否允许重试,是否可能重复执行,是否正在处理不可重入任务 | 任务中断后重跑造成重复写入或数据不一致 |
| DaemonSet Pod | 是否只是节点级组件,是否有替代监控或网络能力 | 排空不会删除 DaemonSet Pod,不能据此判断节点已完全清空 |
使用 emptyDir 的 Pod | 其中是否有必须保留的数据 | Pod 被驱逐后,节点本地临时数据会丢失 |
| 无控制器管理的 Pod | 是否已准备好手动重建或迁移 | 驱逐后通常不会自动恢复 |
也要查看 PDB。PDB 限制通过驱逐 API 主动中断 Pod 的速率;如果可用副本已不足,排空会等待或失败,而不是自动突破限制。
kubectl get pdb -A
kubectl describe pdb -n <namespace> <pdb-name>
检查 PDB 的 ALLOWED DISRUPTIONS、匹配标签和对应工作负载副本数。若目标节点上的 Pod 属于某个受保护服务,而当前允许中断数为 0,应先查明原因:可能是副本不健康、就绪检查失败、PDB 配置过严,或其他维护操作已经消耗了可用中断额度。不要为了让排空命令通过,直接删除 PDB 或放宽约束;这会扩大服务中断范围。
确认其他节点能接住 Pod
Pod 被驱逐后,调度器还要找到符合资源和调度规则的节点。排空前查看节点资源、污点和工作负载约束:
kubectl top nodes
kubectl describe nodes
kubectl top 依赖集群已安装并正常工作的资源指标组件,反映的是采样时的使用情况,不能代替资源预留和峰值评估。还应结合节点可分配资源、Pod 的 requests、节点污点、节点选择器、亲和性、拓扑分布约束和配额判断是否有承载空间。
例如,待排空节点上有三个各请求 2 CPU、4 GiB 内存的 Pod,其他节点还要为系统组件和突发负载留出余量;不能只看集群总空闲量,还要确认这些 Pod 能否同时放入满足约束的节点。若缺少容量,先扩容、调整经评审的调度规则,或分批维护节点。
A5数据提供中国香港、美国、日本、韩国、中国台湾、新加坡和马来西亚等地区的物理服务器资源,覆盖常规计算、AMD高性能处理器、NVMe存储、大容量存储及不同带宽线路,可为 Kubernetes 工作节点、数据库、接口服务和有状态工作负载提供多样化的 CPU、内存、磁盘与网络基础。
日常操作:按可复用步骤执行
先将节点标记为不可调度,阻止新的普通工作负载被调度到该节点。这个操作不会自动迁出现有 Pod。
kubectl cordon <node-name>
kubectl get node <node-name>
确认节点状态显示为 SchedulingDisabled 后,再执行排空:
kubectl drain <node-name> \
--ignore-daemonsets \
--timeout=10m
--ignore-daemonsets 的含义是排空时不尝试删除 DaemonSet 管理的 Pod;DaemonSet Pod 会继续留在节点上,通常需要随后的节点关机或重启处理。命令默认使用驱逐机制,遵守 PDB。--timeout 是等待时间上限,需按工作负载启动、优雅终止和存储卸载时间调整;超时表示操作未按预期完成,应检查剩余 Pod 和事件,而不是马上增加超时时间或改用强制删除。
执行前也可以先做客户端模拟,检查命令选项和目标对象是否合理:
kubectl drain <node-name> \
--ignore-daemonsets \
--dry-run=client
客户端模拟不是对真实驱逐结果的保证,不能验证调度容量、PDB 后续变化或存储能否重新挂载。真正执行时仍需观察 Pod 状态与事件。
排空参数的使用边界
不要把以下参数作为日常“清障”手段:
--delete-emptydir-data会允许删除使用emptyDir的 Pod。Pod 迁移后,其节点本地临时数据可能丢失。只有确认数据可丢弃或已另行保存,并获得业务负责人确认后,才考虑使用。--force会允许处理没有控制器管理的 Pod,但这类 Pod 被删除后未必会重建。使用前必须确认其恢复方式、数据影响和责任人。--disable-eviction会绕过驱逐 API 的保护机制,包括 PDB 的正常约束。除非有明确的紧急操作方案、业务授权和可接受的中断窗口,否则不应使用。--grace-period=0会缩短 Pod 的优雅终止时间,可能打断连接清理、数据落盘或应用退出流程,不适合作为常规提速选项。
参数支持情况可能随 kubectl 版本变化,操作前可核对客户端版本和当前帮助信息:
kubectl version --client
kubectl drain --help
自动化:让重复维护有审计和并发控制
常规节点维护适合放入版本管理的运维流程,而不是将一条 drain 命令无条件写进定时任务。自动化至少要有节点白名单、变更审批或维护窗口、并发限制、超时、退出码检查和日志记录;执行前还应复查 PDB、容量及目标节点上的工作负载。
可以把维护过程拆成可审计的阶段:
- 预检查:记录集群上下文、节点名、节点状态、Pod 清单、PDB 状态和资源情况;任一检查不通过则停止。
- 变更批准:关联变更单或发布批次,明确维护范围、执行人、开始时间和中止条件。
- 逐节点排空:同一时间只处理经批准数量的节点,确认前一节点的服务恢复后再继续。
- 结果归档:保存命令、操作者、时间、退出码、排空前后 Pod 清单和相关事件。
- 维护完成检查:节点重新加入后,确认状态、关键工作负载和告警均恢复,再结束变更。
例如,在自动化脚本中,先记录执行上下文并进行明确的目标校验,再进入排空步骤。以下示例只展示关键控制点,不能替代团队自己的审批、锁和日志归档机制:
set -euo pipefail
NODE="${1:?用法: drain-node.sh <node-name>}"
EXPECTED_CONTEXT="${EXPECTED_CONTEXT:?请设置 EXPECTED_CONTEXT}"
CURRENT_CONTEXT="$(kubectl config current-context)"
if [ "$CURRENT_CONTEXT" != "$EXPECTED_CONTEXT" ]; then
echo "上下文不匹配:当前为 $CURRENT_CONTEXT" >&2
exit 2
fi
kubectl get node "$NODE" >/dev/null
echo "开始排空节点:$NODE"
kubectl cordon "$NODE"
kubectl drain "$NODE" \
--ignore-daemonsets \
--timeout=10m
echo "排空命令完成:$NODE"
这段示例在 drain 失败时会停止脚本,但不会自动撤销已经成功的驱逐,也不会自动执行 uncordon。自动回滚不能简单等同于“把节点设回可调度”:如果维护工作已经开始,重新接收新 Pod 可能扩大风险。应由流程判断节点是否健康、维护是否取消以及是否允许恢复调度。
定时执行时,应避免多个任务同时维护节点。可以在 CI/CD 流程、运维编排平台或受控的定时任务中使用互斥锁,并设置最大并发节点数。不要仅依赖 CronJob 的调度时间来防止重叠:任务耗时超过周期、控制器重试或人工重复触发,都可能造成并发。自动任务还应保留操作者或任务身份、触发原因、目标节点和结果,便于审计。
结果检查:排空完成不等于业务恢复
drain 返回成功后,先查看节点和该节点上仍然存在的 Pod:
kubectl get node <node-name>
kubectl get pods -A \
--field-selector spec.nodeName=<node-name> \
-o wide
节点不可调度时显示 SchedulingDisabled 是预期现象。节点上仍有 DaemonSet Pod 通常也符合预期;应区分它们与普通业务 Pod,不要为了让查询结果为空而删除节点级组件。
再检查受影响工作负载是否在其他节点恢复,并观察 Pod 是否处于 Running、Ready 状态:
kubectl get pods -A -o wide
kubectl get deployments,statefulsets -A
kubectl get events -A --sort-by=.lastTimestamp
重点确认以下结果:
- 关键 Deployment 的可用副本数达到预期,服务端点和健康检查正常。
- StatefulSet 成员按应用自身的顺序和健康条件恢复,所需持久卷已挂载,应用没有持续重启或选主异常。
- Job 是否完成、失败或被重新创建;对可重试任务确认没有重复处理风险。
- 其他节点没有因承接负载而出现资源压力、频繁驱逐或新的未调度 Pod。
- 监控、日志、网络等节点级 DaemonSet 正常运行;节点本身是否可维护,按变更流程另行确认。
若 Pod 长时间处于 Pending,查看具体原因:
kubectl describe pod -n <namespace> <pod-name>
Insufficient cpu 或 Insufficient memory 通常表示可分配资源不足;亲和性、节点选择器或拓扑约束不匹配,表示候选节点不满足调度条件;卷挂载错误则应检查存储类、卷访问模式、挂载事件和存储系统状态。应根据事件针对性处理,不要通过删除 Pod、放宽调度条件或删除 PDB来掩盖原因。

异常处理与必要恢复
排空被 PDB 阻止
如果命令提示驱逐会违反 PDB,先停止操作并检查对应 PDB 的选择器、健康副本和允许中断数。确认是否有工作负载故障或其他正在进行的维护,再与业务方确认是否可等待、先恢复副本,或调整维护批次。对 PDB 的任何修改都应先保存原配置并经评审,且在维护后核对是否恢复到原定策略。
Pod 无法调度或存储无法迁移
若 Pod 被驱逐后无法在其他节点启动,停止继续排空其他节点。检查 Pending 事件、资源请求、污点容忍、节点亲和性、拓扑规则和卷挂载状态。对有状态服务,不要在未确认卷访问能力和应用恢复状态前强行删除 Pod 或切换存储配置。修复资源或存储问题后,确认工作负载恢复,再决定是否继续维护。
本地数据或无控制器 Pod 阻塞
如果提示存在本地数据或无法处理的 Pod,不要立即加上 --delete-emptydir-data 或 --force。先确认数据是否可重建、是否已备份,以及 Pod 的所有者和恢复步骤。确实需要丢弃临时数据时,记录影响范围并取得授权;若无控制器管理的 Pod 必须迁移,先按应用方法创建替代实例并验证,再处理原 Pod。
维护取消时恢复调度
如果节点尚未开始维护且确认健康,可恢复调度:
kubectl uncordon <node-name>
kubectl get node <node-name>
uncordon 只允许后续 Pod 被调度到该节点,不会把已经迁出的 Pod 自动迁回,也不代表节点硬件、网络或存储已恢复。恢复后检查节点条件和业务状态;若节点仍有故障,应保持不可调度并继续排查。若节点已经关机、重启或变更过配置,先确认节点恢复健康,再决定是否执行 uncordon。
上线或验收检查清单
- [ ] 集群上下文、目标节点和维护范围已复核,操作关联到变更记录。
- [ ] 节点上的 Deployment、StatefulSet、Job、DaemonSet、无控制器 Pod 和本地数据均已识别。
- [ ] PDB、可用副本、节点资源、调度约束和持久卷条件满足迁移要求。
- [ ] 自动化具备目标校验、并发限制、超时、退出码检查和执行日志。
- [ ] 排空成功,非 DaemonSet 工作负载已离开目标节点并在其他节点达到就绪状态。
- [ ] 关键业务、存储、节点级组件和监控告警已检查,没有新增未处理故障。
- [ ] 维护完成后按流程恢复节点调度;维护取消时已明确节点是否应执行
uncordon。 - [ ] 若发生失败,已记录阻塞原因、受影响对象、已完成的驱逐和后续恢复步骤。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/4972.html



