Kubernetes Service无可用端点时,如何结合同节点与跨节点访问结果排查?

发布人:A5数据发布时间:2026-11-17 09:32阅读量:2

Service 没有可用端点时,集群内访问失败通常不是先查 DNS 或防火墙,而要先确认 Service 是否选中了合格的 Pod。若端点已经存在,再用同节点与跨节点客户端分别测试 Service 地址和 Pod IP,才能区分应用、端口、网络策略、节点网络及 Service 数据面问题。

同节点访问成功、跨节点失败,说明请求路径中的节点间网络或跨节点转发值得重点检查,但不能据此直接断定是 CNI 故障。两处访问都失败,也不代表原因相同:如果端点为空,应先修复后端选择或就绪状态;如果端点存在,则需要进一步比较 DNS、ClusterIP、Pod IP 和应用监听情况。

承载 Kubernetes 节点及其业务服务所需的物理资源方面,A5idc数据提供香港、美国、日本、韩国、中国台湾、新加坡和马来西亚等地区的服务器租用,涵盖常规与 AMD 平台,并有不同内存、NVMe 或 SSD 存储和网络线路配置,可为应用节点、数据库及多任务负载提供相应的硬件与地域部署选择。

先确认 Service 是否真的没有可用端点

先检查 Service 的选择器、端口和流量策略,再核对 EndpointSlice。EndpointSlice 是当前排查 Service 后端的主要对象;Endpoints 仍可用于快速查看,但不应只凭其中一个对象下结论。

NS=shop
SVC=api

kubectl -n "$NS" get svc "$SVC" -o yaml
kubectl -n "$NS" get endpoints "$SVC" -o yaml
kubectl -n "$NS" get endpointslice \
  -l "kubernetes.io/service-name=$SVC" -o yaml

重点核对以下信息:

  • spec.selector 是否与后端 Pod 的标签完全匹配。Service 只在自身所在的命名空间内选择 Pod;不同命名空间中标签相同,也不会自动成为它的后端。
  • Service 是否为无选择器的手动后端,或 type: ExternalName。这类 Service 不一定会有普通的 Pod EndpointSlice,不能把“没有 EndpointSlice”一概视为配置错误。
  • EndpointSlice 中是否有地址,以及端点的 ready、serving、terminating 条件。条件字段可能缺省,需结合 Kubernetes 版本和端点状态理解,不能仅凭缺少某个字段就判定端点不可用。
  • Service 的 port、targetPort 和协议是否符合预期。端口配置错误通常表现为端点存在但连接失败,不一定会导致端点列表为空。

把 Service 选择器与 Pod 标签、就绪状态放在一起核对:

kubectl -n "$NS" get pods -o wide --show-labels
kubectl -n "$NS" describe pod <后端Pod名称>
kubectl -n "$NS" get events --sort-by=.lastTimestamp

Running 不等于 Ready。容器可能已运行,但就绪探针失败、就绪门控未通过,或应用尚未完成初始化。默认情况下,未就绪的 Pod 通常不会作为可正常接收流量的后端。若业务确实需要把未就绪地址纳入端点,应先确认 publishNotReadyAddresses 的用途和风险,而不是把它当作通用修复手段。

可用下面的表快速缩小范围:

观察结果优先检查
Service 有选择器,但没有任何匹配标签的 Pod选择器拼写、标签值、命名空间
匹配的 Pod 存在,但都未就绪就绪探针、应用初始化、依赖服务、Pod 事件
Service 没有选择器是否应由人工维护后端,或是否选错了 Service
EndpointSlice 有地址,但请求连接失败端口映射、应用监听、策略、路由及 Service 数据面
EndpointSlice 有地址,只有部分 Pod 不可访问异常 Pod、节点差异、端点状态或应用实例差异

若端点为空,先记录当前 Service、Pod 标签和探针状态,再修正明确有误的选择器或应用就绪问题。不要为了让端点“出现”而直接关闭就绪探针:这可能把尚未能处理请求的 Pod 加入流量路径,扩大故障范围。

端点存在后,再比较同节点与跨节点访问

只有在 EndpointSlice 中确认有可用地址后,同节点与跨节点的对比才有诊断价值。选择两个客户端 Pod:一个与后端 Pod 位于同一节点,另一个位于不同节点。尽量使用相同命名空间、相同标签和相同诊断工具,避免网络策略、身份标签或客户端程序不同造成干扰。

先用以下命令确定客户端和后端所在节点:

kubectl -n "$NS" get pods -o wide
kubectl -n "$NS" get svc "$SVC" -o wide

从两处客户端按相同顺序测试:

  1. 用 Service DNS 名称访问。
  2. 用 Service 的 ClusterIP 访问。
  3. 用 EndpointSlice 中的某个 Pod IP 和端点端口访问。

以 HTTP Service 为例:

kubectl -n <客户端命名空间> exec <同节点客户端Pod> -- \
  curl -sv --connect-timeout 2 --max-time 5 \
  http://api.shop.svc.cluster.local:8080/

kubectl -n <客户端命名空间> exec <跨节点客户端Pod> -- \
  curl -sv --connect-timeout 2 --max-time 5 \
  http://api.shop.svc.cluster.local:8080/

随后将目标改为 Service 的 ClusterIP,保持 Service 端口不变;测试 Pod IP 时,则使用 EndpointSlice 对应的端点端口,也就是应用实际接收流量的端口。若服务不是 HTTP,不要用 curl 结果判断应用协议是否正常,可改用匹配协议的客户端或 TCP 连通性工具。诊断镜像未必包含 curl、nc 或 DNS 工具,应先确认工具是否存在。

对比结果时可按下表判断:

同节点客户端跨节点客户端Pod IP 测试更值得优先排查
Service 成功Service 失败跨节点 Pod IP 也失败跨节点路由、CNI、节点防火墙或网络 ACL
Service 成功Service 失败跨节点 Pod IP 成功跨节点节点上的 Service 转发规则、数据面实现或策略差异
Service 都失败Service 都失败两处 Pod IP 都成功Service 端口映射、kube-proxy 或替代数据面、内部流量策略
Service 都失败Service 都失败同节点 Pod IP 也失败后端监听、Pod 网络、NetworkPolicy 或目标端口
DNS 失败IP 访问成功Pod IP 测试成功DNS 名称、命名空间、搜索域或 DNS 服务
DNS 成功但 HTTP 失败两地结果相近Pod IP 也失败DNS 已解析,不代表后端应用或网络可达

这张表是定位方向,不是根因判定。尤其要确认比较的是同一 Service、同一端口、同一协议和同类客户端。若两处客户端标签不同,NetworkPolicy 可能让它们得到不同结果。

用 DNS 与 IP 结果区分名称解析和转发故障

普通 ClusterIP Service 即使没有可用后端,DNS 仍可能返回它的 Service 地址。因此,“DNS 解析成功”只说明名称可解析,不等于存在可用端点;反过来,DNS 失败也不一定是 Service 端点故障。

从客户端 Pod 内检查解析结果:

kubectl -n <客户端命名空间> exec <客户端Pod> -- \
  getent hosts api.shop.svc.cluster.local

如果容器没有 getent,可使用已安装的 DNS 查询工具,或在获准的诊断 Pod 中测试。短名称通常受客户端所在命名空间和搜索域影响;跨命名空间排查时,优先使用完整 Service 域名。集群的 DNS 域不一定是 cluster.local,应以实际配置为准。

按结果分支:

  • DNS 名称解析失败,但 ClusterIP 可访问:检查名称拼写、命名空间、搜索域和客户端的 DNS 配置。
  • Service DNS 与 ClusterIP 都失败,但 Pod IP 可访问:转向 Service 数据面、Service 端口和流量策略。
  • Service DNS 和 ClusterIP 均可访问,但应用响应异常:确认后端端口、应用协议、HTTP 路径及应用状态。
  • 普通 Service 的 DNS 返回 ClusterIP,但端点为空:DNS 成功不能改变没有后端这一事实,仍需先恢复端点。

若怀疑集群 DNS 服务,可查看 DNS Pod 状态和日志;不过只有在解析失败或 DNS 响应异常时,才需要把它作为主要排查分支。

端点存在但连接失败:核对端口和应用监听

Service 的 port 是客户端访问 Service 时使用的端口,targetPort 是转发给后端的端口。targetPort 可以是数字,也可以是容器端口名称;若使用名称,名称必须与后端 Pod 声明的端口名称匹配。

apiVersion: v1
kind: Service
meta
  name: api
  namespace: shop
spec:
  selector:
    app: api
  ports:
    - name: http
      port: 8080
      targetPort: http
      protocol: TCP

需要核对:

  • 客户端访问的是 Service 的 port,不是误把 targetPort 当成 ClusterIP 端口。
  • EndpointSlice 中的端口与预期应用端口一致。
  • Pod 中的进程确实在该端口监听,并且监听地址不是只绑定到 127.0.0.1。只在容器回环地址监听时,其他 Pod 通常无法通过 Pod IP 连接到它。
  • 协议一致。例如 Service 配置为 TCP 时,不能用它验证一个只提供 UDP 服务的端口。
  • HTTP 请求的路径、Host 头和应用协议符合服务预期。TCP 建连成功,只能说明连接层可达,不表示应用处理请求正常。

containerPort 主要是 Pod 的端口声明信息,本身不会启动监听,也不能证明应用已经在该端口工作。若容器镜像缺少 ss 等工具,可结合容器日志、健康检查、应用自身诊断接口或获准的临时诊断容器检查;不要仅凭 YAML 中出现 containerPort 就认定端口正确。

同节点成功、跨节点失败:检查节点间网络与策略

若同节点 Pod IP 可达,而跨节点 Pod IP 不可达,Service 还不是唯一嫌疑。这个结果更接近 Pod 网络路径,应对照源节点、目的节点、Pod 地址和 CNI 的工作方式检查:

  • 两节点是否具有到对方 Pod 网段的有效路由,节点间防火墙或云网络 ACL 是否允许对应流量。
  • CNI 是否报告节点或隧道状态异常,是否有地址冲突、路由缺失或 MTU 不匹配。
  • NetworkPolicy 是否限制了客户端出站或后端入站。除策略是否存在外,还需核对策略选择的 Pod 标签、命名空间和端口。
  • 故障是否只发生在特定节点对、特定网段或特定协议。若只有大报文或某些连接异常,再结合 MTU、分片和路径检查,而不是先调整全局网络参数。

可先查看节点和策略清单:

kubectl get nodes -o wide
kubectl get networkpolicy -A
kubectl -n kube-system get pods -o wide

不要用关闭主机防火墙、清空路由或放宽整个网段权限的方式做“快速验证”。这类操作可能影响同节点上的其他工作负载或暴露服务。应先核对具体规则、流量方向、端口和策略命中情况,并在变更前保存现有配置,按节点与影响范围分批处理。

Pod IP 可达但 ClusterIP 不通:检查 Service 数据面

当 EndpointSlice 有地址、Pod IP 可访问,而 ClusterIP 访问失败时,关注 Service 的转发链路。多数集群由 kube-proxy 实现 Service 转发,也有集群使用其他数据面替代它;排查方法应以集群实际部署为准,不能假定每个集群都一定运行 kube-proxy。

查看 kube-system 中的组件和节点分布:

kubectl -n kube-system get pods -o wide
kubectl -n kube-system get daemonsets
kubectl -n kube-system get events --sort-by=.lastTimestamp

若确认集群使用 kube-proxy,再检查对应节点上的 Pod 状态、日志和配置;标签名、运行模式以及可用的规则查看工具会因部署方式而异。若采用 eBPF 等替代方案,应查看该数据面的状态和服务转发表,而不是因为找不到 kube-proxy 就认定 Service 无人处理。

还要关注两个容易影响“同节点与跨节点”对比的字段:

  • internalTrafficPolicy: Local 会限制集群内部访问只使用本节点端点。某节点没有本地后端时,从该节点访问 ClusterIP 可能失败或无法转发到远端端点。
  • externalTrafficPolicy: Local 主要影响来自集群外部的 NodePort、负载均衡等流量,不能简单用它解释普通 Pod 到 ClusterIP 的所有失败。若问题发生在集群外入口,还需检查入口所在节点是否有本地端点。

如果数据面在部分节点上异常,常见线索包括:请求只在特定节点失败、端点已更新但转发规则未同步、节点组件不健康,或替代数据面状态与控制面对象不一致。应按节点对照组件状态和事件,不要直接清空生产节点的规则表;这可能中断其他 Service 的连接。

经由 NodePort、负载均衡器或入口访问时,逐跳检查

如果 Pod 到 ClusterIP 正常,但经 NodePort、外部负载均衡器或 Ingress 访问失败,故障点可能在集群入口,而不是 Service 的后端端点。将路径拆成“入口地址 → 节点或入口控制器 → Service → Pod”,从最近的成功点继续检查:

  • NodePort:核对 Service 类型、端口范围、节点监听转发路径及节点防火墙。
  • 云负载均衡器:核对目标节点健康状态、监听端口、健康检查路径和后端端口。
  • Ingress:先确认控制器 Pod 正常,再核对 Ingress 规则指向的 Service 名称、命名空间和 port。从集群内访问该 Service 成功,才说明可以把排查重点转向入口控制器或外部链路。
  • 带有 externalTrafficPolicy: Local 的入口:确认承接流量的节点上是否有本地可用端点。

入口组件报告“后端不可用”,可能是它无法连接 Service,也可能是健康检查路径或端口不匹配。应使用与入口实际配置一致的地址、协议和路径复现,避免把入口层的探测失败误判为 Service 没有 EndpointSlice。

定位后验证恢复,并保留可复查证据

修复后不要只看一次请求是否返回成功。应先确认 EndpointSlice 中有预期地址,再从同节点和跨节点客户端分别验证 DNS、ClusterIP 和后端访问;如果故障原本经过外部入口,还要补测对应入口路径。对于多副本服务,至少观察不同后端是否都能处理请求,避免只有单个实例恢复。

记录修复前后的关键信息,尤其是 Service 选择器、端点就绪状态、客户端与后端节点、Service 端口和 targetPort、两地测试结果以及组件事件。这能帮助判断故障是偶发连接问题、节点局部异常,还是配置变更后端点再次为空。

为降低复发风险,可持续监控以下信号:

  • Service 对应的可用 EndpointSlice 数量及端点就绪状态。
  • Pod 就绪副本数、就绪探针失败次数和重启次数。
  • Service 请求的连接错误、超时和后端响应码,并区分入口错误与应用错误。
  • kube-proxy 或替代数据面的节点健康状态,以及 CNI 节点间通信异常。
  • 关键工作负载的标签与 Service 选择器变更。

当告警显示端点数归零时,优先触发“选择器是否匹配、Pod 是否就绪”的检查;只有端点已存在而访问仍失败,再结合节点内与跨节点结果继续定位网络和转发链路。

定位后验证恢复,并保留可复查证据配图

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/9877.html

相关推荐