从首次部署到后续更新,如何预防Kubernetes就绪探针与存活探针配置冲突?

发布人:A5数据发布时间:2026-11-16 10:25阅读量:20

生产环境中,探针变更的目标不是让检查“更频繁”,而是让就绪探针准确决定容器能否接收流量,让存活探针只在进程确实无法继续工作时触发重启。两者检查对象或时间参数不匹配时,可能出现 Pod 被反复移出 Service、容器频繁重启,或滚动更新迟迟无法完成。

预防这类冲突,应先核对现有探针、流量路径、启动耗时和副本容量,再备份当前配置并设定回滚条件;实施时逐项调整,最后结合 Pod 状态、事件、流量和重启指标观察。不要把就绪探针和存活探针简单指向同一个“依赖全部正常”的检查接口。

现状核对

先明确两类探针分别控制什么

就绪探针失败时,容器通常仍在运行,但 Pod 会被标记为未就绪,不再作为 Service 的正常流量目标。存活探针失败达到阈值后,kubelet 会重启容器。启动探针用于保护启动较慢的容器:启动探针成功前,就绪和存活探针不会开始执行。

探针失败后的主要影响适合回答的问题
就绪探针暂停向该 Pod 分配服务流量容器此刻是否能安全处理请求?
存活探针达到失败阈值后重启容器进程是否陷入无法自行恢复的状态?
启动探针达到失败阈值后重启容器,并在成功前保护其他探针应用是否已经完成必要的启动阶段?

探针失败本身不等于应用故障。比如,应用进程仍在运行,但数据库短暂不可用,是否应该移除流量,取决于该服务在数据库不可用时还能否提供有意义的响应;是否应该重启,则要看重启能不能解决问题。把这几种判断混为一谈,是配置冲突的常见起点。

盘点现有配置和影响范围

探针配置属于容器规格。同一个 Pod 内的多个容器可以有各自的探针,因此应逐个检查容器,而不是只看 Deployment 的名称。核对以下内容:

  • 当前使用的是 HTTP、TCP、exec 还是 gRPC 探针;探针检查的端口、路径或命令是否仍与应用一致。
  • 就绪和存活是否指向同一个接口,该接口是否检查了数据库、缓存、消息队列等外部依赖。
  • initialDelaySeconds、periodSeconds、timeoutSeconds、failureThreshold 和 successThreshold 是否与应用启动时间、响应时间相符。
  • 新版本是否改变了监听端口、健康检查路径、身份验证方式或启动流程。
  • Service 选择器、Pod 标签、副本数、滚动更新策略、资源限制和自动扩缩容是否会放大变更影响。
  • 当前副本是否足以承受滚动更新期间的额外容量需求;单副本服务是否有可接受的中断窗口。

先记录工作负载、命名空间和当前探针值。以下命令可以查看 Deployment 的实时配置和滚动更新状态:

NS=prod
DEPLOY=orders-api

kubectl -n "$NS" get deployment "$DEPLOY" -o yaml
kubectl -n "$NS" describe deployment "$DEPLOY"
kubectl -n "$NS" get replicasets
kubectl -n "$NS" get pods

输出需要结合实际标签和 Service 选择器判断。不要仅凭 Pod 名称或某一次健康检查成功,就认定流量已经按预期路由;还应核对相关 Service 的后端端点。支持 EndpointSlice 的集群可查看:

kubectl -n "$NS" get endpointslice

如果有多个 Service 或多个工作负载,应进一步确认哪些流量会受到这次变更影响。探针只改在一个 Deployment 上,不代表影响范围一定只限于它:共享依赖、共用配置和上游超时设置都可能带来连锁影响。

用基线识别“配置冲突”还是“应用故障”

在变更前记录一段正常运行时的基线,至少包括 Pod 数量、容器重启次数、就绪状态、请求错误率、延迟和资源使用情况。若当前已经存在 Unhealthy 事件、频繁重启或请求错误,应先判断其原因;在故障尚未厘清时同时修改探针和应用版本,会让变更前后难以比较。

常见信号可作为核对线索,但不是单独的诊断结论:

观察到的情况优先核对方向
Pod 长时间未就绪,容器却持续运行就绪路径、依赖检查、端口、响应状态码及启动时间
容器持续重启,事件显示存活探针失败存活检查是否过度依赖外部服务、超时是否过短、进程是否确实卡死
新版本启动阶段反复失败启动探针是否缺失或启动窗口是否不足;应用启动耗时是否发生变化
滚动更新停滞,新的 Pod 始终不可用探针失败、调度容量不足、镜像拉取、资源限制或应用启动错误
探针成功但用户请求仍失败健康检查覆盖范围与真实请求路径是否不一致

变更准备

保存可恢复的版本

优先以版本控制中的部署清单作为恢复依据,并确认当前集群运行的镜像版本、探针配置和相关 ConfigMap 版本。可以把实时配置另存一份供核对,但不要把直接导出的运行状态文件当成可原样重新应用的清单;其中可能包含状态字段、集群生成的元数据或与仓库版本不同的内容。若文件中存在明文环境变量等敏感信息,应按敏感配置管理。

示例:

mkdir -p ./change-backup
kubectl -n "$NS" get deployment "$DEPLOY" -o yaml \
  > "./change-backup/${DEPLOY}.before.yaml"
kubectl -n "$NS" rollout history deployment "$DEPLOY"

除探针清单外,还要确认应用镜像和配置能否恢复。只回滚 Deployment,不一定能恢复独立修改过的 ConfigMap 或 Secret;若应用健康检查路径依赖外部配置,回滚步骤必须覆盖这些对象。生产环境应避免使用不固定的镜像标签,否则回滚时可能无法确定实际代码版本。

先设定观测基线和停止条件

变更前明确本次允许的滚动范围、期望副本数、可用容量和负责人。对关键服务,准备好可观察的告警与仪表盘:Pod 未就绪数、容器重启数、请求错误率、延迟、上游依赖错误和资源压力。若使用自动扩缩容,还要确认变更期间副本增减不会干扰判断。

同时写下停止继续发布的条件,例如:新 Pod 在规定时间内无法就绪;重启次数持续增加;可用副本低于服务最低承载要求;请求错误率或延迟超过既定服务阈值。具体阈值应基于该服务的基线和服务目标设定,不宜把同一个数值机械套用到所有业务。

分步实施

先定义健康检查的边界

应用应提供语义清楚的检查方式。就绪检查通常判断进程是否具备处理当前请求的条件;存活检查应尽量只判断进程是否仍能工作,避免因数据库或其他外部依赖短暂不可用而触发重启。外部依赖如果确实会影响服务能力,应谨慎决定它是否属于就绪条件,并评估所有副本同时未就绪时的服务影响。

健康检查端点也不应执行耗时或有副作用的操作。尽量使用轻量、稳定的本地检查;不要让每次探针调用都触发复杂查询、批量请求或会显著增加系统负载的动作。检查端点的状态码、监听端口和网络访问方式,应与实际探针类型一致。

再设置启动保护和时间参数

应用启动时间较长、且启动时间会受缓存加载、初始化或环境影响时,可以使用启动探针为启动过程留出窗口。以下配置仅为说明结构的示例,端口、路径和参数须按应用实际情况调整:

containers:
  - name: app
    ports:
      - name: http
        containerPort: 8080
    startupProbe:
      httpGet:
        path: /health/startup
        port: http
      periodSeconds: 10
      timeoutSeconds: 2
      failureThreshold: 30
    readinessProbe:
      httpGet:
        path: /health/ready
        port: http
      periodSeconds: 5
      timeoutSeconds: 2
      failureThreshold: 2
      successThreshold: 1
    livenessProbe:
      httpGet:
        path: /health/live
        port: http
      periodSeconds: 10
      timeoutSeconds: 2
      failureThreshold: 3

此例中的启动探针大约提供数分钟的启动检查窗口;实际失败判定还受探针执行和调度时机影响,不能把窗口简单当作精确倒计时。启动探针成功后,就绪和存活探针才开始工作。若应用启动并不慢,不应仅为“保险”添加很大的启动窗口,以免真正的启动故障长时间不被发现。

常用参数的作用和取值限制如下:

  • periodSeconds 是探针执行周期;缩短周期能更快发现变化,但也会增加检查频率。
  • timeoutSeconds 是单次检查的超时时间。HTTP 或 exec 检查若在正常负载下也经常接近默认超时,应先确认延迟原因,再决定是否调整。
  • failureThreshold 是连续失败达到多少次后判定失败。对存活探针来说,它影响重启触发速度;对就绪探针来说,它影响摘除流量的速度。
  • successThreshold 用于控制连续成功多少次后恢复就绪。存活探针和启动探针的该值必须为 1;就绪探针可根据需要设置,但设置较高会延长重新接收流量的时间。

这些参数应结合真实的健康检查耗时和服务容忍的恢复时间一起评估。只缩短周期,可能把短暂抖动放大为连续失败;只延长超时,又可能让真正故障更晚被发现。

分批应用,不把多个风险一起放大

准备好完整清单后,先查看差异,再实施变更:

分步实施 / 分批应用,不把多个风险一起放大配图

kubectl -n "$NS" diff -f deployment.yaml
kubectl -n "$NS" apply -f deployment.yaml
kubectl -n "$NS" rollout status deployment/"$DEPLOY" --timeout=5m

kubectl diff 有差异时通常会返回表示存在变化的状态,执行人员应检查差异内容,而不是只凭退出码判断配置正确。应用前重点确认镜像、端口、路径、探针参数、标签选择器和滚动更新策略没有被意外修改。

高风险服务应优先选择可控的渐进发布方式;若使用单独的金丝雀工作负载或渐进式发布工具,要先验证它的流量分流和回滚路径。若采用 Deployment 滚动更新,则逐个工作负载实施,不要同时修改多个依赖链上的服务。将 maxUnavailable 设为 0 可以减少更新期间不可用副本,但通常需要额外容量支持 maxSurge;集群资源不足时,新 Pod 可能无法调度。PodDisruptionBudget 主要约束自愿驱逐,不应把它当作 Deployment 滚动更新容量规划的替代品。

A5idc数据面向需要承载 Kubernetes 工作负载的业务,提供中国香港、美国、日本、韩国、中国台湾、新加坡和马来西亚等地区的物理服务器资源,覆盖常规建站、AMD 计算、存储、多IP及不同带宽线路方案。CPU、内存与 SSD/NVMe 存储可结合容器集群的应用负载、数据规模和访问区域进行组合,为多副本部署、滚动更新及探针观测提供相应的计算、存储与网络基础。

验证与观察

发布状态显示完成,不等于变更已经通过验证。至少检查以下方面:

  1. Pod 状态:新 Pod 是否达到就绪,旧 Pod 是否按预期退出,重启次数是否异常增加。
  2. 探针事件:查看是否持续出现 Readiness probe failed、Liveness probe failed 或 Startup probe failed,并核对失败的路径、端口、状态码或超时信息。
  3. 服务端点:确认 Service 后端包含预期的就绪 Pod,且没有因探针失败导致可用后端数低于承载需求。
  4. 真实请求:检查请求错误率、延迟和业务关键路径。探针响应正常只能说明检查条件满足,不能替代端到端业务验证。
  5. 资源情况:观察 CPU、内存、CPU 节流和节点压力。资源限制过紧时,健康检查可能因容器调度延迟或应用响应变慢而超时。

可使用以下命令辅助观察:

kubectl -n "$NS" get pods -w
kubectl -n "$NS" describe pod <pod-name>
kubectl -n "$NS" get events --sort-by=.lastTimestamp
kubectl -n "$NS" get endpointslice
kubectl -n "$NS" rollout status deployment/"$DEPLOY" --timeout=5m

<pod-name> 应替换为实际 Pod 名称。EndpointSlice 的内容应与 Service 选择器和 Pod 就绪情况一起核对;若集群版本或监控工具不同,可使用对应的服务端点查询方式。

观察窗口应覆盖新容器的启动过程,并包含足以代表服务负载的时间段。低风险变更可先观察十几分钟,再按业务流量周期继续跟踪;有明显日内峰谷、批处理或长周期任务的服务,应至少覆盖相关业务时段,不能只用发布后几分钟的平稳表现作为通过依据。若采用分批发布,每一批都应先达到约定的健康条件,再继续扩大范围。

回滚条件与执行

出现以下情况时,应停止扩大变更,并按预先确认的方案回滚或暂停发布:

  • 新副本在约定时间内始终无法就绪,且排除镜像拉取、调度和基础设施问题后,失败仍指向探针或应用启动流程。
  • 存活探针触发重启,重启次数持续增加,或服务错误率、延迟明显偏离变更前基线。
  • 就绪失败导致可用副本低于最低承载要求,或服务端点减少后出现业务请求失败。
  • 多个副本同时被摘除,或故障影响范围正在扩大,无法通过暂停后续批次控制风险。

对 Deployment,可先查看发布历史,确认要恢复的修订版本,再执行回滚:

kubectl -n "$NS" rollout history deployment "$DEPLOY"
kubectl -n "$NS" rollout undo deployment "$DEPLOY"
kubectl -n "$NS" rollout status deployment/"$DEPLOY" --timeout=5m

若要回到指定修订版本,应在确认历史记录后使用 --to-revision。回滚后仍需检查 Pod 就绪状态、服务端点、请求错误率和重启次数;命令执行成功不代表业务已经恢复。若变更还涉及独立 ConfigMap、Secret 或其他工作负载,应按备份清单逐项恢复,不能假定 Deployment 回滚会自动撤销这些改动。

变更完成后,至少在预先约定的观察窗口内继续监控;若窗口内重启持续增加、就绪副本低于承载要求,或服务错误率和延迟触及既定回滚阈值,应停止继续发布并回滚。观察窗口应覆盖启动阶段和有代表性的业务流量;只有这些条件持续满足,才将本次探针配置变更视为稳定。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/9709.html

相关推荐