Kubernetes Service无可用端点时,如何结合同节点与跨节点访问结果排查?
Service 没有可用端点时,集群内访问失败通常不是先查 DNS 或防火墙,而要先确认 Service 是否选中了合格的 Pod。若端点已经存在,再用同节点与跨节点客户端分别测试 Service 地址和 Pod IP,才能区分应用、端口、网络策略、节点网络及 Service 数据面问题。
同节点访问成功、跨节点失败,说明请求路径中的节点间网络或跨节点转发值得重点检查,但不能据此直接断定是 CNI 故障。两处访问都失败,也不代表原因相同:如果端点为空,应先修复后端选择或就绪状态;如果端点存在,则需要进一步比较 DNS、ClusterIP、Pod IP 和应用监听情况。
承载 Kubernetes 节点及其业务服务所需的物理资源方面,A5idc数据提供香港、美国、日本、韩国、中国台湾、新加坡和马来西亚等地区的服务器租用,涵盖常规与 AMD 平台,并有不同内存、NVMe 或 SSD 存储和网络线路配置,可为应用节点、数据库及多任务负载提供相应的硬件与地域部署选择。
先确认 Service 是否真的没有可用端点
先检查 Service 的选择器、端口和流量策略,再核对 EndpointSlice。EndpointSlice 是当前排查 Service 后端的主要对象;Endpoints 仍可用于快速查看,但不应只凭其中一个对象下结论。
NS=shop
SVC=api
kubectl -n "$NS" get svc "$SVC" -o yaml
kubectl -n "$NS" get endpoints "$SVC" -o yaml
kubectl -n "$NS" get endpointslice \
-l "kubernetes.io/service-name=$SVC" -o yaml
重点核对以下信息:
spec.selector是否与后端 Pod 的标签完全匹配。Service 只在自身所在的命名空间内选择 Pod;不同命名空间中标签相同,也不会自动成为它的后端。- Service 是否为无选择器的手动后端,或
type: ExternalName。这类 Service 不一定会有普通的 Pod EndpointSlice,不能把“没有 EndpointSlice”一概视为配置错误。 - EndpointSlice 中是否有地址,以及端点的
ready、serving、terminating条件。条件字段可能缺省,需结合 Kubernetes 版本和端点状态理解,不能仅凭缺少某个字段就判定端点不可用。 - Service 的
port、targetPort和协议是否符合预期。端口配置错误通常表现为端点存在但连接失败,不一定会导致端点列表为空。
把 Service 选择器与 Pod 标签、就绪状态放在一起核对:
kubectl -n "$NS" get pods -o wide --show-labels
kubectl -n "$NS" describe pod <后端Pod名称>
kubectl -n "$NS" get events --sort-by=.lastTimestamp
Running 不等于 Ready。容器可能已运行,但就绪探针失败、就绪门控未通过,或应用尚未完成初始化。默认情况下,未就绪的 Pod 通常不会作为可正常接收流量的后端。若业务确实需要把未就绪地址纳入端点,应先确认 publishNotReadyAddresses 的用途和风险,而不是把它当作通用修复手段。
可用下面的表快速缩小范围:
| 观察结果 | 优先检查 |
|---|---|
| Service 有选择器,但没有任何匹配标签的 Pod | 选择器拼写、标签值、命名空间 |
| 匹配的 Pod 存在,但都未就绪 | 就绪探针、应用初始化、依赖服务、Pod 事件 |
| Service 没有选择器 | 是否应由人工维护后端,或是否选错了 Service |
| EndpointSlice 有地址,但请求连接失败 | 端口映射、应用监听、策略、路由及 Service 数据面 |
| EndpointSlice 有地址,只有部分 Pod 不可访问 | 异常 Pod、节点差异、端点状态或应用实例差异 |
若端点为空,先记录当前 Service、Pod 标签和探针状态,再修正明确有误的选择器或应用就绪问题。不要为了让端点“出现”而直接关闭就绪探针:这可能把尚未能处理请求的 Pod 加入流量路径,扩大故障范围。
端点存在后,再比较同节点与跨节点访问
只有在 EndpointSlice 中确认有可用地址后,同节点与跨节点的对比才有诊断价值。选择两个客户端 Pod:一个与后端 Pod 位于同一节点,另一个位于不同节点。尽量使用相同命名空间、相同标签和相同诊断工具,避免网络策略、身份标签或客户端程序不同造成干扰。
先用以下命令确定客户端和后端所在节点:
kubectl -n "$NS" get pods -o wide
kubectl -n "$NS" get svc "$SVC" -o wide
从两处客户端按相同顺序测试:
- 用 Service DNS 名称访问。
- 用 Service 的 ClusterIP 访问。
- 用 EndpointSlice 中的某个 Pod IP 和端点端口访问。
以 HTTP Service 为例:
kubectl -n <客户端命名空间> exec <同节点客户端Pod> -- \
curl -sv --connect-timeout 2 --max-time 5 \
http://api.shop.svc.cluster.local:8080/
kubectl -n <客户端命名空间> exec <跨节点客户端Pod> -- \
curl -sv --connect-timeout 2 --max-time 5 \
http://api.shop.svc.cluster.local:8080/
随后将目标改为 Service 的 ClusterIP,保持 Service 端口不变;测试 Pod IP 时,则使用 EndpointSlice 对应的端点端口,也就是应用实际接收流量的端口。若服务不是 HTTP,不要用 curl 结果判断应用协议是否正常,可改用匹配协议的客户端或 TCP 连通性工具。诊断镜像未必包含 curl、nc 或 DNS 工具,应先确认工具是否存在。
对比结果时可按下表判断:
| 同节点客户端 | 跨节点客户端 | Pod IP 测试 | 更值得优先排查 |
|---|---|---|---|
| Service 成功 | Service 失败 | 跨节点 Pod IP 也失败 | 跨节点路由、CNI、节点防火墙或网络 ACL |
| Service 成功 | Service 失败 | 跨节点 Pod IP 成功 | 跨节点节点上的 Service 转发规则、数据面实现或策略差异 |
| Service 都失败 | Service 都失败 | 两处 Pod IP 都成功 | Service 端口映射、kube-proxy 或替代数据面、内部流量策略 |
| Service 都失败 | Service 都失败 | 同节点 Pod IP 也失败 | 后端监听、Pod 网络、NetworkPolicy 或目标端口 |
| DNS 失败 | IP 访问成功 | Pod IP 测试成功 | DNS 名称、命名空间、搜索域或 DNS 服务 |
| DNS 成功但 HTTP 失败 | 两地结果相近 | Pod IP 也失败 | DNS 已解析,不代表后端应用或网络可达 |
这张表是定位方向,不是根因判定。尤其要确认比较的是同一 Service、同一端口、同一协议和同类客户端。若两处客户端标签不同,NetworkPolicy 可能让它们得到不同结果。
用 DNS 与 IP 结果区分名称解析和转发故障
普通 ClusterIP Service 即使没有可用后端,DNS 仍可能返回它的 Service 地址。因此,“DNS 解析成功”只说明名称可解析,不等于存在可用端点;反过来,DNS 失败也不一定是 Service 端点故障。
从客户端 Pod 内检查解析结果:
kubectl -n <客户端命名空间> exec <客户端Pod> -- \
getent hosts api.shop.svc.cluster.local
如果容器没有 getent,可使用已安装的 DNS 查询工具,或在获准的诊断 Pod 中测试。短名称通常受客户端所在命名空间和搜索域影响;跨命名空间排查时,优先使用完整 Service 域名。集群的 DNS 域不一定是 cluster.local,应以实际配置为准。
按结果分支:
- DNS 名称解析失败,但 ClusterIP 可访问:检查名称拼写、命名空间、搜索域和客户端的 DNS 配置。
- Service DNS 与 ClusterIP 都失败,但 Pod IP 可访问:转向 Service 数据面、Service 端口和流量策略。
- Service DNS 和 ClusterIP 均可访问,但应用响应异常:确认后端端口、应用协议、HTTP 路径及应用状态。
- 普通 Service 的 DNS 返回 ClusterIP,但端点为空:DNS 成功不能改变没有后端这一事实,仍需先恢复端点。
若怀疑集群 DNS 服务,可查看 DNS Pod 状态和日志;不过只有在解析失败或 DNS 响应异常时,才需要把它作为主要排查分支。
端点存在但连接失败:核对端口和应用监听
Service 的 port 是客户端访问 Service 时使用的端口,targetPort 是转发给后端的端口。targetPort 可以是数字,也可以是容器端口名称;若使用名称,名称必须与后端 Pod 声明的端口名称匹配。
apiVersion: v1
kind: Service
meta
name: api
namespace: shop
spec:
selector:
app: api
ports:
- name: http
port: 8080
targetPort: http
protocol: TCP
需要核对:
- 客户端访问的是 Service 的
port,不是误把targetPort当成 ClusterIP 端口。 - EndpointSlice 中的端口与预期应用端口一致。
- Pod 中的进程确实在该端口监听,并且监听地址不是只绑定到
127.0.0.1。只在容器回环地址监听时,其他 Pod 通常无法通过 Pod IP 连接到它。 - 协议一致。例如 Service 配置为 TCP 时,不能用它验证一个只提供 UDP 服务的端口。
- HTTP 请求的路径、Host 头和应用协议符合服务预期。TCP 建连成功,只能说明连接层可达,不表示应用处理请求正常。
containerPort 主要是 Pod 的端口声明信息,本身不会启动监听,也不能证明应用已经在该端口工作。若容器镜像缺少 ss 等工具,可结合容器日志、健康检查、应用自身诊断接口或获准的临时诊断容器检查;不要仅凭 YAML 中出现 containerPort 就认定端口正确。
同节点成功、跨节点失败:检查节点间网络与策略
若同节点 Pod IP 可达,而跨节点 Pod IP 不可达,Service 还不是唯一嫌疑。这个结果更接近 Pod 网络路径,应对照源节点、目的节点、Pod 地址和 CNI 的工作方式检查:
- 两节点是否具有到对方 Pod 网段的有效路由,节点间防火墙或云网络 ACL 是否允许对应流量。
- CNI 是否报告节点或隧道状态异常,是否有地址冲突、路由缺失或 MTU 不匹配。
- NetworkPolicy 是否限制了客户端出站或后端入站。除策略是否存在外,还需核对策略选择的 Pod 标签、命名空间和端口。
- 故障是否只发生在特定节点对、特定网段或特定协议。若只有大报文或某些连接异常,再结合 MTU、分片和路径检查,而不是先调整全局网络参数。
可先查看节点和策略清单:
kubectl get nodes -o wide
kubectl get networkpolicy -A
kubectl -n kube-system get pods -o wide
不要用关闭主机防火墙、清空路由或放宽整个网段权限的方式做“快速验证”。这类操作可能影响同节点上的其他工作负载或暴露服务。应先核对具体规则、流量方向、端口和策略命中情况,并在变更前保存现有配置,按节点与影响范围分批处理。
Pod IP 可达但 ClusterIP 不通:检查 Service 数据面
当 EndpointSlice 有地址、Pod IP 可访问,而 ClusterIP 访问失败时,关注 Service 的转发链路。多数集群由 kube-proxy 实现 Service 转发,也有集群使用其他数据面替代它;排查方法应以集群实际部署为准,不能假定每个集群都一定运行 kube-proxy。
查看 kube-system 中的组件和节点分布:
kubectl -n kube-system get pods -o wide
kubectl -n kube-system get daemonsets
kubectl -n kube-system get events --sort-by=.lastTimestamp
若确认集群使用 kube-proxy,再检查对应节点上的 Pod 状态、日志和配置;标签名、运行模式以及可用的规则查看工具会因部署方式而异。若采用 eBPF 等替代方案,应查看该数据面的状态和服务转发表,而不是因为找不到 kube-proxy 就认定 Service 无人处理。
还要关注两个容易影响“同节点与跨节点”对比的字段:
internalTrafficPolicy: Local会限制集群内部访问只使用本节点端点。某节点没有本地后端时,从该节点访问 ClusterIP 可能失败或无法转发到远端端点。externalTrafficPolicy: Local主要影响来自集群外部的 NodePort、负载均衡等流量,不能简单用它解释普通 Pod 到 ClusterIP 的所有失败。若问题发生在集群外入口,还需检查入口所在节点是否有本地端点。
如果数据面在部分节点上异常,常见线索包括:请求只在特定节点失败、端点已更新但转发规则未同步、节点组件不健康,或替代数据面状态与控制面对象不一致。应按节点对照组件状态和事件,不要直接清空生产节点的规则表;这可能中断其他 Service 的连接。
经由 NodePort、负载均衡器或入口访问时,逐跳检查
如果 Pod 到 ClusterIP 正常,但经 NodePort、外部负载均衡器或 Ingress 访问失败,故障点可能在集群入口,而不是 Service 的后端端点。将路径拆成“入口地址 → 节点或入口控制器 → Service → Pod”,从最近的成功点继续检查:
- NodePort:核对 Service 类型、端口范围、节点监听转发路径及节点防火墙。
- 云负载均衡器:核对目标节点健康状态、监听端口、健康检查路径和后端端口。
- Ingress:先确认控制器 Pod 正常,再核对 Ingress 规则指向的 Service 名称、命名空间和
port。从集群内访问该 Service 成功,才说明可以把排查重点转向入口控制器或外部链路。 - 带有
externalTrafficPolicy: Local的入口:确认承接流量的节点上是否有本地可用端点。
入口组件报告“后端不可用”,可能是它无法连接 Service,也可能是健康检查路径或端口不匹配。应使用与入口实际配置一致的地址、协议和路径复现,避免把入口层的探测失败误判为 Service 没有 EndpointSlice。
定位后验证恢复,并保留可复查证据
修复后不要只看一次请求是否返回成功。应先确认 EndpointSlice 中有预期地址,再从同节点和跨节点客户端分别验证 DNS、ClusterIP 和后端访问;如果故障原本经过外部入口,还要补测对应入口路径。对于多副本服务,至少观察不同后端是否都能处理请求,避免只有单个实例恢复。
记录修复前后的关键信息,尤其是 Service 选择器、端点就绪状态、客户端与后端节点、Service 端口和 targetPort、两地测试结果以及组件事件。这能帮助判断故障是偶发连接问题、节点局部异常,还是配置变更后端点再次为空。
为降低复发风险,可持续监控以下信号:
- Service 对应的可用 EndpointSlice 数量及端点就绪状态。
- Pod 就绪副本数、就绪探针失败次数和重启次数。
- Service 请求的连接错误、超时和后端响应码,并区分入口错误与应用错误。
- kube-proxy 或替代数据面的节点健康状态,以及 CNI 节点间通信异常。
- 关键工作负载的标签与 Service 选择器变更。
当告警显示端点数归零时,优先触发“选择器是否匹配、Pod 是否就绪”的检查;只有端点已存在而访问仍失败,再结合节点内与跨节点结果继续定位网络和转发链路。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/9877.html



