Kubernetes服务发现更新延迟时,如何从DNS缓存与Endpoint状态定位原因?

发布人:A5数据发布时间:2026-11-10 11:43阅读量:79

​服务发现更新变慢时,先确认变化发生在哪一层:DNS 返回的记录是否过期、Service 对应的 EndpointSlice 是否已更新,还是 DNS 已经正确但应用仍连向旧地址。三者表现相似,处理方式却不同。尤其要区分普通 ClusterIP Service 与 Headless Service:前者通常解析为稳定的 ClusterIP,后端 Pod 变化不会要求 DNS 地址跟着变化;后者可能直接返回后端 Pod 地址,EndpointSlice 与 DNS 缓存才会直接影响解析结果。

问题定位总览配图

排查时不要只在一个 Pod 里反复执行 nslookup。应沿着“应用实际使用的解析器 → CoreDNS 或节点本地 DNS → Service 与 EndpointSlice → 应用连接池”的路径逐层比对,并确认查询的是同一个 Service、同一个命名空间和同一条 DNS 记录。

先确认症状和影响范围

先记录变更对象、开始时间和受影响范围:是新建 Pod 后暂时无法通过 Service 访问,还是删除旧 Pod 后,客户端仍尝试连接旧 IP?问题只出现在一个应用、一组节点,还是集群内多个命名空间?解析结果是旧地址、无记录、超时,还是地址正确但连接失败?

这些现象可以帮助缩小原因范围:

现象优先检查初步判断
Headless Service 仍返回已退出 Pod 的 IPEndpointSlice、DNS TTL、缓存层可能是端点未移除,或旧记录仍在缓存
ClusterIP Service 的解析结果没变,但访问仍到旧后端EndpointSlice、kube-proxy 或数据面、应用连接ClusterIP 本来就可能不变,问题不一定在 DNS
只有一个 Pod 解析到旧记录该 Pod 的 /etc/resolv.conf、本地缓存、应用 DNS 缓存更像是查询路径或客户端缓存差异
查询超时或偶发失败Pod 到 DNS 服务的网络、CoreDNS 状态、上游解析先区分网络不可达与 DNS 返回错误
dig 结果正确,应用仍连旧地址运行时缓存、连接池、长连接DNS 记录已更新,应用可能尚未重新解析或重建连接

记录查询时间、客户端 Pod、Service 完整域名、返回记录和 TTL。TTL 是缓存时间的重要线索,但不是所有缓存层都严格遵守它;应用也可能自行缓存解析结果。

建立原因树:按查询链路分层

一个常见的排查树可以从外向内展开:

建立原因树:按查询链路分层配图

  1. 客户端侧:Pod 配置了不同的 DNS 策略,或应用、运行时、操作系统缓存了旧结果。
  2. 网络与解析器侧:Pod 到 DNS 服务的 UDP/TCP 53 端口不通,或者不同节点使用了不同的本地 DNS 缓存。
  3. DNS 服务侧:CoreDNS 未及时观察到集群状态、负载异常,或缓存配置造成旧答案继续返回。
  4. Service 与端点侧:Service 选择器、EndpointSlice 条件或控制器更新存在问题。
  5. 应用连接侧:DNS 已更新,但应用连接池或长连接仍在使用旧连接。

诊断时优先查只读状态和同一时刻的对照结果。不要仅凭“等几十秒后恢复”就认定是 DNS TTL:EndpointSlice 更新、应用重试和连接超时也可能恰好在这段时间内完成。

逐层排除

1. 确认查询对象和实际 DNS 路径

检查 Service 类型、集群 IP、命名空间和选择器:

kubectl get svc -n <namespace> <service-name> -o wide
kubectl describe svc -n <namespace> <service-name>

查看受影响 Pod 实际使用的解析配置:

kubectl exec -n <namespace> <pod-name> -- cat /etc/resolv.conf

重点核对 nameserver、search 和 options。短名称如 api 会受到搜索域和 ndots 设置影响;排查时优先查询完整域名,例如:

api.<namespace>.svc.cluster.local

集群域名未必是 cluster.local,应根据集群实际配置确认,不能把示例域名直接当作环境事实。还要检查 Pod 的 dnsPolicy、dnsConfig,以及是否使用 hostNetwork。这些设置可能让某些 Pod 走与其他工作负载不同的解析路径。

在受影响 Pod 内执行查询,并尽量从另一节点上的 Pod 做对照。若容器没有 dig,可使用集群已有的诊断容器;不要为了排查直接修改生产容器镜像。

dig api.<namespace>.svc.<cluster-domain> A
dig api.<namespace>.svc.<cluster-domain> A +noall +answer

对于 Headless Service,返回的 A 记录通常是端点地址;对于普通 ClusterIP Service,通常返回 Service 的 ClusterIP。SRV 记录还会受 Service 端口名称等配置影响,不能只用 A 记录结果代表所有发现方式。

观察依据:

  • 同一 Pod 多次查询得到不同答案,或与其他 Pod 不一致:先查客户端缓存、解析器路径和 DNS 服务实例。
  • 完整域名查询正常、短名称查询异常:优先检查搜索域、命名空间和应用实际查询的名称。
  • 查询超时:继续检查 DNS 服务可达性和 DNS Pod 状态,暂时不要把它归因于 TTL。
  • 返回 NXDOMAIN:检查记录是否存在、名称是否正确,以及服务是否刚创建;还需考虑负缓存。

2. 检查 Pod 到 DNS 服务的网络和 DNS 服务状态

先找到集群 DNS Service 及其后端 Pod,而不要假设资源名称和部署方式一定相同:

kubectl get svc -n kube-system
kubectl get pods -n kube-system -o wide

常见集群中 DNS Service 名称为 kube-dns,但应以实际查询结果为准。确认 DNS Service 有可用后端,并查看 CoreDNS Pod 是否重启、未就绪或集中在特定节点:

kubectl get endpointslice -n kube-system \
  -l kubernetes.io/service-name=kube-dns

kubectl get pods -n kube-system -o wide
kubectl logs -n kube-system <coredns-pod-name> --since=15m

日志不一定会逐条记录查询;是否能看到查询内容取决于 CoreDNS 的日志插件配置。没有查询日志不能证明请求没有到达 CoreDNS。

如果只有特定节点上的 Pod 超时或结果异常,检查该节点上的 DNS 组件和 Pod 到 DNS Service 的网络路径。若集群使用 NodeLocal DNSCache,还需确认 Pod 的 nameserver 是否指向节点本地地址,并比较不同节点的解析结果。此时 CoreDNS 正常并不代表每个节点上的缓存状态或转发链路都正常。

可用只读方式检查网络策略是否限制了 DNS 流量:

kubectl get networkpolicy -A

如果策略对出站流量采用默认拒绝,应确认目标 DNS 服务的 UDP 53 和 TCP 53 均按集群设计放通。大多数查询走 UDP,但响应截断、较大响应或特定场景可能使用 TCP。不要仅以 ping 是否成功判断 DNS 端口是否可用。

3. 查看 Service 对应的 EndpointSlice

对照 Service 选择器和 EndpointSlice 是区分“DNS 缓存旧”与“端点控制面未更新”的关键步骤:

kubectl get svc -n <namespace> <service-name> \
  -o jsonpath='{.spec.type}{" selector="}{.spec.selector}{"\n"}'

kubectl get endpointslice -n <namespace> \
  -l kubernetes.io/service-name=<service-name> -o yaml

重点检查:

逐层排除:查看 Service 对应的 EndpointSlice配图

  • endpoints[].addresses 中是否仍有旧 Pod IP,或缺少新 Pod IP。
  • conditions.ready、conditions.serving 和 conditions.terminating 是否符合预期。
  • Service 是否有选择器;无选择器的 Service 可能依赖人工管理的端点资源。
  • 端点 Pod 所在命名空间、标签和就绪状态是否与 Service 选择条件相符。

ready、serving 和 terminating 表达的状态并不完全相同,控制器和数据面如何使用这些条件还可能受集群版本与功能配置影响。不要仅凭某个字段为 false 就断定该地址必定会或必定不会出现在所有 DNS 响应中;应结合 Service 类型、publishNotReadyAddresses、实际解析结果及集群版本判断。

典型分支:

  • EndpointSlice 仍有旧地址:先查对应 Pod 是否仍存在、是否正在终止,以及端点条件是否符合预期。若 Pod 已删除但端点长期不变,再检查控制器事件和控制面状态。
  • EndpointSlice 已有新地址且旧地址已移除,但 Headless Service 仍返回旧 IP:继续比较 CoreDNS 的查询结果、客户端缓存和 TTL。
  • EndpointSlice 状态正确,而普通 ClusterIP Service 访问仍命中旧后端:DNS 可能没有问题,应转查数据面规则、连接跟踪和应用长连接。

查看 Pod 标签与就绪情况:

kubectl get pods -n <namespace> --show-labels -o wide
kubectl get events -n <namespace> --sort-by=.lastTimestamp

如果选择器不匹配,或者应用的就绪探针尚未通过,Pod 可能不会按预期成为可用端点。若 Service 设置了 publishNotReadyAddresses: true,非就绪端点也可能按该配置参与发现;排查时必须将这一设置纳入判断。

4. 对比 CoreDNS 返回值与客户端返回值

如果条件允许,从集群内部对 DNS Service 直接查询,并与受影响 Pod 的查询结果对照。下面的地址仅为占位符,必须替换为实际 DNS Service 地址:

dig @<dns-service-ip> api.<namespace>.svc.<cluster-domain> A +noall +answer

也可以检查 CoreDNS 配置中的 kubernetes 和 cache 插件配置:

kubectl get configmap -n kube-system coredns -o yaml

ConfigMap 名称因部署方式不同可能变化,先用 kubectl get configmap -n kube-system 确认。重点看:

  • kubernetes 插件配置了什么 TTL;CoreDNS 的 Kubernetes 插件在未显式调整时常见默认 TTL 为 5 秒,但应以实际配置和版本为准。
  • 是否启用了 cache 插件,以及缓存时长、负缓存和相关选项。
  • 是否存在多个 DNS 服务实例、节点本地缓存或其他转发层。

TTL 与缓存存在,但不能单独证明旧答案来自 CoreDNS。还需观察同一时刻的 EndpointSlice、CoreDNS 返回结果以及客户端返回结果。示例判断如下:

EndpointSlice直接查询 DNS 服务受影响 Pod 查询更值得检查的方向
旧端点仍在返回旧地址返回旧地址Service 选择器、Pod 状态、端点控制器
已更新返回旧地址返回旧地址CoreDNS 观察状态、缓存配置或其他 DNS 层
已更新返回新地址返回旧地址Pod 使用的解析器、本地缓存、应用或运行时缓存
已更新返回新地址返回新地址,但连接旧后端连接池、长连接或数据面

CoreDNS 插件配置改动会影响集群 DNS 行为,不应为消除几秒级延迟而直接改小全局 TTL。调整前先备份当前配置,评估查询负载和集群影响,并按实际部署方式设计验证与回滚。TTL 变小可能增加 DNS 查询量,也无法让应用立刻丢弃已有连接。

5. 排除应用缓存和连接池造成的“假性 DNS 延迟”

如果 dig 已返回新地址,但业务仍连接旧后端,故障点可能已不在 DNS。应用可能在进程内缓存解析结果,运行时也可能有独立的 DNS 缓存策略;客户端连接池、HTTP keep-alive 或数据库长连接则可能在 DNS 更新后继续复用旧连接。

可用应用日志、连接目标地址和连接重建时间交叉核对。具体检查方式取决于语言运行时和客户端库,不宜假定所有应用都能通过重启或修改某个通用参数清除缓存。生产环境重启可能造成连接中断或短时负载升高,应先评估实例数量、流量切换和连接重建影响。

如何定位根因

一条完整的证据链至少应能回答三个问题:

  1. 端点有没有变? 从 EndpointSlice 确认旧地址何时移除、新地址何时进入,以及端点条件和 Pod 就绪状态。
  2. DNS 服务有没有变? 对比 CoreDNS 或实际解析链路返回的记录与 TTL。
  3. 应用有没有重新使用新结果? 对比 Pod 内查询结果、应用日志中的目标地址和已有连接状态。

例如,若 EndpointSlice 已移除旧 Pod IP,直接查询 DNS 服务已返回新地址,但某个应用 Pod 仍查询到旧地址,而其他 Pod 正常,证据更支持该 Pod 的本地解析路径或缓存存在差异。若应用的 dig 已返回新地址、业务连接仍指向旧 IP,则应转查应用缓存和连接池,而不是继续改 CoreDNS TTL。

若 EndpointSlice 仍保留旧地址,先定位端点为何未按预期更新;单纯重启 CoreDNS通常无法修正控制面中的错误端点。若 Service 是普通 ClusterIP,DNS 地址始终未变可能完全正常,此时应检查 Service 后端选择和数据面更新,而不是期待 DNS 返回 Pod IP。

验证恢复并观察复发信号

确认恢复时,至少在受影响路径和一个正常对照路径各检查一次:

  • EndpointSlice 中新旧端点状态符合预期。
  • 使用应用实际查询的完整名称进行 DNS 查询,结果与 Service 类型相符。
  • 从受影响 Pod 发起一次受控的业务连接,确认新连接可到达预期后端。
  • 旧连接仍存续时,区分“旧连接尚未释放”和“新解析仍返回旧地址”;二者需要不同处理。

复发监控应覆盖端点变化、DNS 失败率和服务连接结果,而不只是记录 CoreDNS 是否存活。可持续观察 CoreDNS 错误与延迟、DNS 查询超时或 SERVFAIL 比例、EndpointSlice 更新与 Pod 就绪事件、各节点解析结果差异,以及应用连接失败和连接重建情况。还应记录变更发生时间与恢复时间,用于判断延迟究竟出现在端点更新、DNS 缓存过期,还是应用连接切换阶段。

面向 Kubernetes 集群中的服务发现、业务接口与数据库等工作负载,A5idc数据提供中国香港、美国、日本、韩国、中国台湾、新加坡和马来西亚等地区的物理服务器资源,覆盖 Xeon、AMD EPYC、NVMe 存储、多IP及不同带宽线路方案,可为容器平台的控制面、节点、DNS服务和配套数据服务提供相应的计算、存储与网络基础。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/8596.html

相关推荐