Kubernetes滚动更新时连接中断怎么排查?从连接排空、就绪探针到Service转发定位原因

发布人:A5数据发布时间:2026-11-12 10:00阅读量:51

滚动更新时出现 502、503、TCP reset、WebSocket 断开或 gRPC 流中断,通常不是单一的“Service 不稳定”。先区分连接类型:新请求失败,多半与就绪状态、EndpointSlice、Service 转发或入口负载均衡有关;已经建立的长连接中断,则更常见于 Pod 终止时应用没有完成连接排空,或者 terminationGracePeriodSeconds 不足。

排查的关键不是只看 readinessProbe 是否配置,而是把时间线串起来:新 Pod 何时变为 Ready,旧 Pod 何时从 EndpointSlice 中移除,应用何时收到终止信号,入口代理何时停止转发,以及客户端错误发生在其中哪一个时间点。就绪探针主要影响新连接,不会自动把已经建立的 TCP、HTTP Keep-Alive、WebSocket 或 gRPC 连接迁移到新 Pod。

先按现象区分故障范围配图

针对滚动发布中涉及的应用节点、接口服务和数据库等承载需求,A5idc数据提供中国香港、美国、日本、韩国、中国台湾、新加坡及马来西亚等地区的物理服务器资源,覆盖常规建站、AMD计算、存储、多IP及不同带宽线路。SSD、NVMe、大内存和多核处理器配置,可为容器化业务的服务实例、数据读写与并发任务提供硬件基础,并支持结合访问地区与网络路径规划部署架构。

先按现象区分故障范围

可以先用下面的现象表缩小范围。这里的结果是判断路径示例,不代表已经在你的集群中执行过。

现象优先怀疑位置首要验证动作
新请求集中出现 503,旧连接没有明显断开新 Pod 未 Ready、EndpointSlice 暂时为空、maxUnavailable 过大查看 Deployment、Pod Ready 状态和 EndpointSlice
只有长连接在旧 Pod 终止时断开应用未处理 SIGTERM、连接排空时间不足、入口代理提前关闭对齐 Pod 终止时间、应用日志和客户端断开时间
Service 访问失败,但 PodIP 直接访问正常Service 端口、选择器、kube-proxy 或节点转发异常对比 Service DNS、ClusterIP 和 PodIP
PodIP、Service 内部访问都正常,只有外部访问失败Ingress、云负载均衡器或 NodePort 摘除延迟查看入口代理 upstream 日志和负载均衡器健康检查
只有某个节点上的请求失败该节点 kube-proxy、CNI、externalTrafficPolicy 或本地端点问题按客户端来源节点对比请求结果
更新后新 Pod 反复重启liveness 探针、启动时间、资源不足或应用启动错误查看 describe pod 的 Events 和容器退出原因

如果错误是 connection reset by peer、upstream prematurely closed connection,不要直接把它归因于 Service。此类错误往往发生在 Pod 已经开始终止之后,应用主动关闭连接或进程被强制结束的可能性更高。

先建立一次发布的时间线

排查初期只执行读取操作,先不要删除 Pod、重启 kube-proxy 或清理节点连接跟踪表。后两类操作会影响同一节点上的其他业务连接,不能作为常规第一步。

记录 Deployment 和 ReplicaSet 状态

将命名空间和资源名替换为实际值:

kubectl -n prod get deploy api -o wide
kubectl -n prod rollout status deploy/api --timeout=5m
kubectl -n prod get rs -l app=api -o wide
kubectl -n prod get pods -l app=api -o wide
kubectl -n prod get events --sort-by=.lastTimestamp

重点关注以下信息:

  • 新 ReplicaSet 是否已经创建;
  • 新 Pod 是否进入 Ready;
  • 旧 Pod 是否在新 Pod Ready 之前就开始终止;
  • 是否有 Readiness probe failed、Liveness probe failed、OOMKilled 或 FailedKillPod;
  • Deployment 是否因为资源不足、配额不足或调度失败而停在中间状态。

如果旧 Pod 已经减少,而新 Pod 仍未 Ready,首先检查滚动更新策略。类似下面的配置可能在小副本数场景中造成容量短暂下降:

strategy:
  type: RollingUpdate
  rollingUpdate:
    maxUnavailable: 1
    maxSurge: 0

对于对可用性敏感的服务,可以考虑让新 Pod 先增加,再减少旧 Pod:

strategy:
  type: RollingUpdate
  rollingUpdate:
    maxUnavailable: 0
    maxSurge: 1
minReadySeconds: 10

这组配置只能降低“没有可用 Pod”的风险,不能解决已经建立的长连接被关闭的问题。maxSurge: 1 会额外占用一个 Pod 的资源;如果节点资源或 ResourceQuota 不足,更新可能变成等待状态。修改前应确认资源余量和调度约束。

PodDisruptionBudget 也不能替代 Deployment 的滚动更新策略。它主要约束自愿驱逐等场景,不应被当作“滚动更新期间一定保留旧连接”的配置。

对齐 Pod 终止和应用日志

查看正在终止或刚刚重启过的 Pod:

kubectl -n prod describe pod <pod-name>
kubectl -n prod logs <pod-name> -c api --since=15m --timestamps
kubectl -n prod logs <pod-name> -c api --previous --since=15m --timestamps

日志中重点寻找:

  • 收到 SIGTERM、shutdown、drain、graceful stop 等信息;
  • HTTP 服务停止接收新请求的时间;
  • 活跃连接数量是否下降到零;
  • 是否在等待结束前收到 SIGKILL;
  • 容器是否因 OOM、探针失败或节点异常退出。

如果应用日志完全没有优雅退出记录,但 Pod 很快消失,需要检查应用的 PID 1、信号转发和容器入口命令。应用通过 shell 启动时,shell 可能没有正确转发终止信号,导致实际服务进程没有执行自己的优雅退出逻辑。

检查就绪探针是否真的表达了“可接收新请求”

就绪探针只负责流量资格

查看 Deployment 中的探针配置:

kubectl -n prod get deploy api -o yaml
kubectl -n prod get pod <pod-name> -o yaml

需要确认:

  • readinessProbe 的路径、端口和协议是否对应实际监听服务;
  • 探针访问的是轻量级就绪接口,而不是必须访问多个外部依赖的复杂业务接口;
  • initialDelaySeconds、periodSeconds、timeoutSeconds 和 failureThreshold 是否适合应用启动时间;
  • 新 Pod 是否在真正完成缓存加载、连接池建立或配置加载前就被标记为 Ready;
  • 探针失败时是否只是变为 NotReady,而不是被误认为容器会自动重启。

就绪探针失败通常只会让 Pod 暂时失去接收新流量的资格,不会直接重启容器。若发生重启,应继续检查 liveness 探针、startup 探针和容器退出原因。

常见错误是把健康检查写成“进程还活着”,例如只返回固定的 200,但应用实际上已经无法处理新请求。更合理的就绪接口应反映应用是否可以接收新请求;在关闭阶段,应用应停止报告可接收新请求,并执行已有连接的排空。

查看 EndpointSlice,而不是只看 Pod 状态

Service 的实际后端由 EndpointSlice 反映。先检查 Service 的选择器和端口:

kubectl -n prod get svc api -o yaml
kubectl -n prod get pods -l app=api --show-labels
kubectl -n prod get endpointslice \
  -l kubernetes.io/service-name=api \
  -o yaml

在 EndpointSlice 中重点看:

  • addresses 是否包含预期的 PodIP;
  • conditions.ready 是否为 true;
  • 正在删除的端点是否出现 terminating 状态;
  • serving、ready 和 terminating 的组合是否符合当前 Kubernetes 版本和代理实现;
  • ports.port 与 targetPort 是否指向了正确端口。

如果 Service 没有后端,优先检查标签选择器是否匹配。若 Service 使用命名端口,还要确认 Pod 中的端口名称一致;仅仅声明了一个数字端口,并不等于能够匹配一个同名的 targetPort。

可以在一次受控发布期间观察 EndpointSlice 的变化:

kubectl -n prod get endpointslice \
  -l kubernetes.io/service-name=api \
  -w

预期过程通常是:新 Pod 通过就绪检查后加入可用端点,旧 Pod 进入终止流程后不再作为普通 Ready 后端接收新的 Service 流量。如果新 Pod 已经 Ready,但 EndpointSlice 长时间没有更新,才需要进一步检查 EndpointSlice 控制器、API Server 事件或集群控制面延迟。

重点排查连接排空和终止顺序

为什么配置了 readinessProbe,长连接仍然会断

readinessProbe 解决的是“后续请求应该发给谁”,不负责把已经建立的连接迁走。例如:

  • HTTP Keep-Alive 连接可能仍然在旧 Pod 上;
  • WebSocket 连接本身会持续占用旧 Pod;
  • gRPC 长流可能持续数分钟甚至更久;
  • 数据库代理或自定义 TCP 协议可能没有请求级别的重新路由能力。

当 Pod 进入终止流程时,旧进程如果立即退出,这些连接就会被关闭。客户端可能看到 EOF、connection reset、HTTP 502 或 HTTP 499。此时即使 EndpointSlice 已经正确移除了旧 Pod,连接中断仍然可能发生,因为 Service 不会把一个已经建立的 TCP 会话迁移到另一个 Pod。

核对终止宽限期和生命周期钩子

查看实际生效的配置:

kubectl -n prod get pod <pod-name> \
  -o jsonpath='{.spec.terminationGracePeriodSeconds}{"\n"}'

kubectl -n prod get pod <pod-name> \
  -o jsonpath='{.spec.containers[*].lifecycle}{"\n"}'

需要注意三个时间:

  1. 端点状态传播到 Service、kube-proxy、Ingress 或外部负载均衡器所需的时间;
  2. 应用停止接收新请求并等待已有请求完成所需的时间;
  3. 容器退出和清理所需的安全余量。

terminationGracePeriodSeconds 的倒计时包含 preStop 生命周期钩子执行时间。钩子不是额外增加在宽限期之外的时间;如果钩子本身占用 15 秒,应用实际可用于退出的时间就会减少。

下面是一个说明性配置片段,数值需要根据实际请求耗时和入口传播延迟调整:

spec:
  replicas: 3
  minReadySeconds: 10
  strategy:
    type: RollingUpdate
    rollingUpdate:
      maxUnavailable: 0
      maxSurge: 1
  template:
    spec:
      terminationGracePeriodSeconds: 60
      containers:
        - name: api
          readinessProbe:
            httpGet:
              path: /ready
              port: http
            periodSeconds: 5
            timeoutSeconds: 2
            failureThreshold: 2
          lifecycle:
            preStop:
              exec:
                command: ["/bin/sh", "-c", "sleep 15"]

这个示例中的 sleep 只是给端点状态传播留出缓冲时间,不等于应用已经完成连接排空。应用仍然需要正确处理 SIGTERM,停止接收新请求,并等待活跃请求结束。如果容器镜像没有 /bin/sh,该配置会执行失败,应改用镜像中存在的命令,或者调用应用提供的关闭接口。

更可靠的实现通常是:

  1. 应用收到关闭信号后,将自身状态切换为不可接收新请求;
  2. 等待活跃请求、WebSocket 或 gRPC 流在规定期限内完成;
  3. 超过业务允许的最大排空时间后退出;
  4. terminationGracePeriodSeconds 大于应用排空时间,并留出传播和清理余量。

不要只通过无限增大 terminationGracePeriodSeconds 来掩盖问题。这样可能导致发布长期卡住,旧 Pod 长时间占用资源。对于无法自然结束的长连接,还应在应用或入口代理中设计最大连接时长、优雅关闭通知和客户端重连策略。涉及非幂等写请求时,不能简单要求客户端无条件重试,否则可能产生重复提交。

从 Service 转发层继续定位

对比 Service、ClusterIP 和 PodIP

在集群内已有诊断 Pod 中执行测试,以下 diag-pod 和端口仅为示例:

kubectl -n prod exec -it diag-pod -- sh

进入后分别访问 Service DNS、ClusterIP 和某个实际 PodIP:

curl -sv --connect-timeout 2 --max-time 5 \
  http://api.prod.svc.cluster.local:8080/healthz

curl -sv --connect-timeout 2 --max-time 5 \
  http://10.96.20.15:8080/healthz

curl -sv --connect-timeout 2 --max-time 5 \
  http://10.244.1.27:8080/healthz

如果环境没有 curl,可使用镜像中已有的 wget 或经过批准的诊断工具。测试结果可以这样解释:

从Service转发层继续定位配图

  • PodIP 直接访问失败:优先检查应用监听地址、容器端口、NetworkPolicy、Pod 网络或应用本身;
  • PodIP 正常,ClusterIP 失败:优先检查 Service 端口、kube-proxy、CNI 和节点转发;
  • ClusterIP 正常,域名访问失败:检查 CoreDNS、DNS 搜索域和解析结果;
  • 集群内访问正常,外部访问失败:继续检查 Ingress、NodePort 或云负载均衡器。

Service 的 port 是客户端访问的服务端口,targetPort 是转发到 Pod 的端口。二者不一致本身并不是问题,但必须与实际监听端口匹配。若多个端口名称相似,直接查看 YAML,不要根据 Service 名称猜测。

检查节点范围和流量策略

如果只有部分节点上的请求失败,检查 Service 是否启用了本地流量策略:

kubectl -n prod get svc api \
  -o jsonpath='{.spec.externalTrafficPolicy}{" "}{.spec.internalTrafficPolicy}{"\n"}'

kubectl -n kube-system get pods -l k8s-app=kube-proxy -o wide

externalTrafficPolicy: Local 或 internalTrafficPolicy: Local 会限制流量只转发到当前节点的本地端点。滚动更新期间,如果某个节点暂时没有 Ready Pod,该节点可能出现 503 或连接失败。需要结合业务对源地址保留、拓扑分布和节点本地端点的要求进行选择,不能为了消除错误而直接改成其他策略。

如果 Service 和 EndpointSlice 看起来都正常,但某个节点仍然异常,可以查看该节点上的 kube-proxy 日志和网络组件状态。不要第一时间执行清空 conntrack、重启网络组件或重启节点,这些操作会影响该节点上大量现有连接。应先确认故障是否稳定复现于同一节点,再安排维护窗口,并准备节点摘流、影响评估和回退方案。

外部入口的连接排空要单独检查

如果服务通过 Ingress、NodePort 或云负载均衡器对外提供访问,Pod 从 EndpointSlice 中移除并不代表所有外部转发层已经同步完成。常见传播链路是:

客户端 → 云负载均衡器 → Ingress → Service → Pod

外部入口的连接排空要单独检查配图

每一层可能有自己的健康检查周期、连接保持时间和摘除延迟。入口代理日志中如果出现以下信息,应重点核对 upstream 和后端摘除过程:

  • upstream timed out;
  • upstream prematurely closed connection;
  • no live upstreams;
  • upstream connection reset;
  • 后端地址已经删除,但代理仍短时间尝试连接旧地址。

Nginx Ingress 或其他入口组件还可能有独立的 upstream Keep-Alive、请求超时和 WebSocket 超时配置。外部负载均衡器也可能有独立的 deregistration delay 或 connection draining 设置。这里不能只调整 Kubernetes 的 preStop;应以最长一层的传播和排空时间为依据,同时确认入口组件在后端被标记为不可用后是否仍允许已建立连接继续完成。

如果只有外部请求失败,而在集群内通过 Service DNS 访问始终正常,通常不必先修改 Deployment。先在入口日志、负载均衡器后端健康状态和客户端错误时间戳之间建立对应关系。

按结果选择修复方向

可以按照下面的分支处理,避免同时修改多个层面导致无法判断效果。

EndpointSlice 在新 Pod Ready 前变空

优先调整滚动更新策略和应用启动流程:

  • 使用 maxUnavailable: 0 和适当的 maxSurge;
  • 增加 minReadySeconds,避免刚通过一次探针就立即被认为稳定;
  • 检查启动较慢的应用是否需要 startupProbe;
  • 确保 readiness 接口只在真正可接收业务请求时返回成功;
  • 检查调度资源、配额、节点亲和性和反亲和性。

EndpointSlice 正常,但旧连接在 Pod 终止时断开

优先修改应用关闭流程,而不是继续调整 Service:

  • 确认应用处理 SIGTERM;
  • 先停止接收新请求,再等待活跃请求完成;
  • 让 terminationGracePeriodSeconds 覆盖实际排空时间;
  • 必要时通过 preStop 增加入口和端点状态传播缓冲;
  • 对 WebSocket、gRPC 等长连接设置可接受的最大排空时间;
  • 检查入口代理是否在 Pod 终止前主动关闭连接。

PodIP 正常,Service 访问失败

检查 Service 选择器、port、targetPort、EndpointSlice、kube-proxy 和节点网络。若只在部分节点发生,重点比较节点差异和本地流量策略。不要用删除 Pod 的方式验证,因为这会增加变化量。

集群内正常,外部入口失败

检查 Ingress 或负载均衡器的后端健康检查、摘除延迟、Keep-Alive、空闲超时和长连接关闭策略。确认外部入口使用的端口、协议和健康检查路径与 Service 实际配置一致。

修改前后的验证与回滚

在应用配置变更前,先保存当前版本和发布记录。配置中可能包含环境变量或敏感字段,应限制备份文件权限:

umask 077
kubectl -n prod get deploy api -o yaml \
  > /tmp/api-deploy.before.$(date +%F-%H%M%S).yaml

kubectl -n prod rollout history deploy/api

修改应通过版本控制中的清单或经过审核的发布流程完成。变更后先观察,不要立即连续发布多个版本:

kubectl -n prod rollout status deploy/api --timeout=10m
kubectl -n prod get pods -l app=api -o wide
kubectl -n prod get endpointslice \
  -l kubernetes.io/service-name=api \
  -o yaml

验证至少覆盖三类请求:

  1. 新建的短请求,在更新前后持续返回成功;
  2. 更新开始前建立的 Keep-Alive 或长连接,确认应用能够按预期完成或通知关闭;
  3. 从多个节点、多个入口路径发起的请求,确认不是单节点或单层代理异常。

同时观察入口 4xx/5xx、应用请求耗时、连接重置、活跃连接数、Pod 重启次数和终止原因。单次 rollout status 成功只说明 Deployment 达到了控制器认为的状态,不代表所有外部连接都已验证无误。

如果变更导致错误扩大,先确认当前 ReplicaSet 和目标版本,再执行回滚:

kubectl -n prod rollout history deploy/api
kubectl -n prod rollout undo deploy/api --to-revision=<revision>
kubectl -n prod rollout status deploy/api --timeout=10m

回滚本身也是一次滚动更新,同样可能触发连接排空。因此回滚前要确认集群仍有足够的副本和资源,不能把 kubectl delete pod 当作快速回滚手段。

复测时重点观察下一次滚动更新

修复完成后,选择可控的发布窗口进行一次完整观察,不要只访问健康检查接口。发布过程中记录以下事件的时间戳:

  • 新 Pod 首次 Ready;
  • 新端点进入 EndpointSlice;
  • 旧 Pod 开始终止;
  • 应用收到 SIGTERM;
  • 活跃连接开始下降;
  • 旧端点从 Service 转发路径消失;
  • 客户端是否出现 502、503、EOF 或 reset。

如果新请求稳定、EndpointSlice 变化顺序合理、旧连接能够在宽限期内完成或按协议优雅关闭,说明连接排空和 Service 转发路径基本一致。后续仍应持续观察多个发布周期,尤其关注慢请求、长连接、单副本服务和 externalTrafficPolicy: Local 场景,因为这些场景对终止时序和传播延迟更敏感。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/8932.html

相关推荐