Kubernetes节点变为NotReady,如何根据节点事件定位失联原因?
一台 Kubernetes 节点变为 NotReady 后,最容易误判的是把 NodeNotReady 事件当成原因。它通常只是控制平面确认节点状态异常后的记录。定位失联原因,应先确认受影响的是单个节点还是一批节点,再把节点事件、Ready 条件、节点 Lease 的更新时间和节点本机日志放到同一条时间线上,寻找最早出现的异常。
尤其要区分两种情况:Ready=Unknown 往往表示控制平面未能持续收到节点心跳;Ready=False 则可能是 kubelet 仍能报告状态,但明确认为容器运行时等组件未就绪。两者都可能显示为 NotReady,检查入口却不同。业务 Pod 的报错也要纳入影响评估,但不能仅凭应用报错反推节点失联。
先确认症状和影响范围
以下命令可在具有相应读取权限的运维终端执行。将节点名替换为实际名称;开始时只读取状态,不急于重启 kubelet、删除 Pod 或修改网络配置。
NODE=worker-03
kubectl get nodes -o wide
kubectl describe node "$NODE"
kubectl get pods -A --field-selector spec.nodeName="$NODE" -o wide
kubectl get lease "$NODE" -n kube-node-lease -o yaml
重点从输出中记下四组信息:
- 影响范围:只有一台节点异常,还是同一机房、网络区域或节点池的多台节点同时异常?如果控制平面上的查询本身也频繁超时,先不要把所有报错误判为各节点独立故障。
Ready条件:查看Status、Reason、Message、LastHeartbeatTime和LastTransitionTime。Reason=NodeStatusUnknown与Reason=KubeletNotReady指向不同的排查分支。- Lease:关注
spec.renewTime是否仍在更新。Lease 是判断近期心跳的重要线索;Ready条件的LastHeartbeatTime不一定每次 Lease 续期都会变化,不能仅凭它“几分钟前未更新”认定节点已失联。 - 工作负载:哪些 Pod 位于该节点,是否已被驱逐或在其他节点重建?“节点失联”和“某个应用不可用”需要分别确认。
如果节点对象已经不存在,或同名节点近期被重新创建,应核对节点对象的创建时间、UID 以及机器启动时间。否则,可能把旧节点的事件与新机器的日志拼成一条错误时间线。
用节点事件建立第一条时间线
kubectl describe node 的 Events 区域适合快速查看 NodeNotReady、NodeReady 等状态变化,但事件可能被聚合、过期或因事件写入受阻而缺失。需要查看更多事件时,可查询与该节点对象关联的记录:
kubectl get events -A \
--field-selector involvedObject.kind=Node,involvedObject.name="$NODE" \
--sort-by=.metadata.creationTimestamp
不同 Kubernetes 版本和事件 API 呈现的时间字段可能不同。阅读时优先辨认事件发生时间、最后一次出现时间、重复次数、reason、message 和报告组件,而不是只看列表的排序。重复的 NodeNotReady 可能是一段持续异常的汇总,并不代表每一行都是一次新的故障。
例如,下面是一组用于说明判断方法的时间记录:
10:01:46 节点内核日志:网卡链路断开
10:01:55 kubelet 日志:访问 API Server 超时
10:02:03 Lease:最后一次成功续期
10:02:54 节点事件:NodeNotReady
这组记录支持“节点网络异常先于心跳中断”的判断;10:02:54 是控制平面观察到的结果,不是链路断开的时间。若本机日志反而先出现 kubelet 退出,随后 Lease 停止更新,就应转向服务或系统分支。核对前还要确认控制平面和节点的时钟没有明显偏差;时钟不一致时,应结合日志顺序、重启记录和监控曲线判断,不能机械比较时间戳。
没有节点事件也不代表没有故障。事件有保留期限,异常期间还可能无法正常写入。此时以条件、Lease、节点本机日志及基础设施监控交叉核对。
按原因树逐层排除
先用 Ready 与 Lease 决定排查起点,再由外到内检查网络、系统、服务和应用。下表中的现象是线索,不是单独成立的根因证明。

| 观察到的组合 | 优先检查 | 下一步判断 |
|---|---|---|
Ready=Unknown,Lease 停止更新 | 节点到控制平面的网络、机器是否存活、kubelet 是否运行 | 看本机能否登录,以及 kubelet 最后日志停在何处 |
Ready=False,Lease 仍更新 | kubelet 的 Reason、Message,容器运行时及节点资源 | 查找 kubelet 主动报告未就绪的具体原因 |
| 多台节点几乎同时异常 | 共享网络路径、控制平面可用性、共同依赖 | 比较各节点日志中是否出现相同的超时目标和起始时间 |
仅部分 Pod 异常,节点持续 Ready=True | 应用、Pod 网络、存储等工作负载问题 | 不要仅因应用故障将节点归为失联 |
网络分支:先区分“机器不可达”和“访问 API Server 失败”
如果无法通过常规管理路径登录节点,先查看宿主机或云平台控制台中的开机状态、网卡状态和网络告警;有带外控制台时,可在控制台读取日志。不要因为 SSH 失败就直接判定 kubelet 故障:SSH 服务、管理网络与 kubelet 访问 API Server 的路径可能不同。
如果可以登录节点,先确认时间、路由、网卡错误计数,再检查 kubelet 实际使用的 API Server 地址及其 DNS 解析。下面的网络命令只用于观察;目标地址和端口应以该节点的 kubelet 配置为准,不能照搬运维终端上的 kubeconfig 地址。
timedatectl status
ip -br address
ip route
ip -s link
getent ahosts api.example.com
可用 curl 对实际 API 地址进行连接与 TLS 检查,但须区分“能建立连接”和“kubelet 能正常认证、续期”:
curl -v --connect-timeout 3 --max-time 8 \
https://api.example.com:6443/readyz -o /dev/null
连接超时、拒绝连接、DNS 解析失败和证书校验失败分别指向不同方向。即使请求得到 HTTP 响应,也只能说明该测试路径在当时可达,不能证明 kubelet 凭据和持续连接均正常。反过来,Pod 网络插件报错也不必然导致节点心跳中断;应检查主机到 API Server 的路径,而不是把所有网络现象混为一谈。
系统分支:检查重启、资源耗尽和内核异常
节点仍可访问,但 Lease 曾停止更新时,先看机器是否重启、是否发生 OOM、文件系统或磁盘异常。以下命令为只读检查;日志保留情况取决于系统配置,重启前的 journal 不一定还在。
uptime -s
journalctl --list-boots
journalctl -k --since "2025-05-20 09:50:00" --until "2025-05-20 10:20:00"
df -h /var/lib/kubelet /var/log
df -i /var/lib/kubelet /var/log
free -h
重点搜索 Out of memory、Killed process、I/O error、文件系统只读、网卡链路变化等记录。df -h 检查空间,df -i 检查 inode;两者任一耗尽都可能影响服务写入。也要注意因果顺序:DiskPressure=True 表明存在磁盘压力,不等于它已经导致 Ready=False;应继续寻找 kubelet 何时报告状态变化,以及对应的运行时或系统错误。
服务分支:关联 kubelet 与容器运行时日志
在节点本机,以异常发生时间为中心读取 kubelet 日志,并查看服务是否重启。示例时间需要替换为实际事件附近的时间段。
systemctl status kubelet --no-pager
journalctl -u kubelet \
--since "2025-05-20 09:50:00" \
--until "2025-05-20 10:20:00" \
--no-pager
kubelet 日志中应关注请求目标、错误类型、首次出现时间及是否持续重复。例如:
context deadline exceeded:请求超时;结合 DNS、路由和 API Server 状态判断,不等同于某一种网络故障。connection refused:目标地址可达但连接被拒绝,需核对地址、端口和目标服务状态。- 证书校验或认证错误:连接可能已建立,应核对节点时间、证书有效性及 kubelet 身份,而不是只查网卡。
container runtime is down、PLEG is not healthy:转查容器运行时及其依赖的磁盘、系统资源。
容器运行时服务名因环境而异,先确认实际使用的服务,再读取对应日志,不要在未知环境中固定查询某个服务:
systemctl list-units --type=service --all \
'containerd.service' 'crio.service'
确认服务名后,再用 journalctl -u <实际服务名> 查询同一时间段。如果日志显示 kubelet 持续运行、能更新 Lease,却反复报告运行时未就绪,这比单独看到 NodeNotReady 更能缩小范围。
应用分支:检查是否为诱因,而非直接归因
单个容器崩溃通常不会直接把节点变为 NotReady。但工作负载大量占用内存、产生异常磁盘写入或触发内核问题,可能间接影响 kubelet 或容器运行时。此时要同时具备两类证据:应用负载或异常先出现,以及随后系统资源、运行时或 kubelet 出现对应错误。若只有 Pod 重启、没有节点资源和服务异常,应按应用故障单独排查。
将“最早异常”落实为根因判断
整理一张简短的故障时间表,至少包含:业务首次受影响时间、节点最后一次成功续期 Lease 的时间、Ready 转换时间、首条相关 kubelet 错误、首条系统或网络错误,以及机器或服务重启时间。
根因判断应能解释整条链。例如,“网卡链路断开 → kubelet 访问 API Server 超时 → Lease 不再续期 → 控制平面标记 Ready=Unknown”是一条可继续验证的因果链;“出现 NodeNotReady 事件,所以网络故障”则不是。若多台节点同一时刻超时,还应检查共同的 API 入口或网络路径,避免把共享故障拆成多起单机故障。
当日志互相矛盾时,优先检查时钟偏差、日志是否跨越重启、查询的是否为同一节点实例,以及事件是否为聚合后的最后发生时间。无法取得节点本机日志时,可以将结论限定为“控制平面在某时刻后未收到心跳”,不要把推测写成已确认的系统或网络根因。
恢复后验证什么,并持续监控什么
故障修复后,不要只看到一次 Ready=True 就结束检查。应确认 Lease 持续续期、Ready 稳定,原有异常日志不再重复,并检查受影响 Pod 是否恢复。节点即使已就绪,也可能仍被人工标记为不可调度,或因其他条件带有调度限制,需要分别核对。
kubectl get node "$NODE"
kubectl describe node "$NODE"
kubectl get lease "$NODE" -n kube-node-lease -o yaml
kubectl get pods -A --field-selector spec.nodeName="$NODE" -o wide
若节点此前被人工 cordon,先确认维护安排和工作负载容量,再决定是否解除;不要把解除调度限制当成 NotReady 的自动修复步骤。涉及重启服务、修改防火墙或网络配置的处置,也应先确认影响范围、保留原配置及日志,并准备恢复原配置或切回原路径的方法。
为减少下次定位耗时,可持续监控节点 Ready 状态与持续时长、Lease 续期延迟、kubelet 和容器运行时的重启及错误日志、主机到 API Server 的连接失败、磁盘空间与 inode、内存 OOM、网卡错误计数。告警阈值应结合集群实际心跳和控制器配置设定,并保留足够覆盖故障前后的节点日志。这样再次出现 NodeNotReady 时,事件负责标出状态变化,日志与指标负责回答“失联从哪里开始”。
面向Kubernetes等容器化业务,A5数据提供中国香港、美国、日本、韩国、中国台湾、新加坡和马来西亚等地区的物理服务器资源,覆盖常规建站、AMD计算、存储、多IP及不同带宽线路方案。企业可结合节点负载、访问区域和数据规模,选择搭配NVMe或大容量硬盘、不同内存与CPU平台的服务器,为业务节点、数据库及多任务运行提供相应的硬件与网络基础。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5469.html



