Kubernetes探针配置如何区分存活、就绪与启动检查,避免误重启

发布人:A5数据发布时间:2026-10-27 10:01阅读量:93

Kubernetes 中,存活探针、就绪探针和启动探针虽然都被称为“健康检查”,但失败后的处理完全不同:存活探针失败通常会触发容器重启,就绪探针失败只会让 Pod 暂时退出 Service 的可用后端,启动探针则负责给慢启动容器争取初始化时间。把三者都指向同一个依赖数据库的 /health 接口,是生产环境中误重启和流量抖动的常见来源。

排查探针配置是否生效时,不能只看 Deployment 文件。Deployment 中的配置位于 Pod 模板,真正执行检查的是已经创建出来的 Pod 里的 kubelet。需要同时确认探针类型、检查路径、端口、返回状态、连续失败次数,以及当前 Pod 是否已经完成滚动更新。

先划清三类探针的职责

存活探针:判断容器是否还值得继续运行

存活探针,也就是 livenessProbe,回答的是:

容器内的主进程是否已经失去自我恢复能力,需要由 kubelet 重启?

典型场景是进程仍然存在,但发生死锁、线程池耗尽、内部状态损坏,或者事件循环不再处理请求。存活探针失败后,kubelet 会终止容器,并根据 Pod 的 restartPolicy 决定是否重新启动。Deployment 创建的 Pod 通常使用 Always,因此经常表现为容器重启次数增加。

存活探针不适合直接表示所有业务依赖是否正常。例如,数据库短暂不可用时,应用进程可能仍能正常运行,只是暂时无法接收新请求。如果此时存活探针返回失败,Kubernetes 会不断重启本来可以自行恢复的应用,反而可能造成连接重建、缓存丢失和启动风暴。

更稳妥的存活检查通常只检查进程自身状态,例如:

  • 主线程或事件循环仍在运行;
  • 应用能够处理一个不依赖外部服务的轻量请求;
  • 内部关键组件没有进入不可恢复状态。

就绪探针:判断容器能否接收业务流量

就绪探针,也就是 readinessProbe,回答的是:

当前 Pod 是否可以接收来自 Service 的请求?

就绪探针失败时,容器通常不会被重启。Pod 的 Ready 条件会变为 False,Service 的端点控制器会将该 Pod 从可用后端中暂时移除。待检查连续成功后,Pod 再重新进入流量分配范围。

就绪检查适合包含会影响请求处理的外部依赖,例如:

  • 数据库连接池尚未建立;
  • 必需的配置或密钥尚未加载;
  • 应用正在执行缓存预热;
  • 当前实例无法访问必须依赖的下游服务;
  • 正在排空连接,不应继续接收新请求。

但就绪探针也不能无限制地检查所有下游服务。一个 Pod 依赖几十个非关键服务时,只要其中一个短暂异常就返回未就绪,会导致整个服务频繁摘除。应根据“请求是否还能被正确处理”确定检查范围,而不是简单地把依赖项全部串起来。

启动探针:判断初始化阶段是否已经结束

启动探针,也就是 startupProbe,回答的是:

容器是否已经完成启动,可以开始执行存活和就绪检查?

如果配置了启动探针,在启动探针成功之前,存活探针和就绪探针不会开始正常检查。它适合处理以下情况:

  • 应用首次启动需要加载大量本地文件;
  • JVM、数据库迁移或模型加载耗时较长;
  • 应用启动时间受磁盘、CPU 或节点负载影响较大;
  • 启动阶段接口暂时无法提供正常业务响应。

启动探针成功后,才进入常规的存活和就绪检查阶段。启动探针并不是“启动成功后永远有效”的标记;容器重新创建或重启后,会再次经过启动检查。

先划清三类探针的职责配图

三类探针的失败影响可以概括如下:

探针类型主要判断对象检查失败后的典型行为不适合承担的职责
livenessProbe进程是否仍可自我恢复终止并重启容器,是否重启还受 restartPolicy 影响判断所有下游依赖是否正常
readinessProbe是否可以接收业务请求Pod 变为未就绪,通常从 Service 后端移除直接触发容器重启
startupProbe是否完成初始化在启动阶段失败可能导致容器被终止并重启代替长期运行期间的存活或流量检查

kubelet如何处理一次探针检查

探针配置在容器级别,常见位置如下:

spec:
  template:
    spec:
      containers:
        - name: api
          livenessProbe:
            httpGet:
              path: /livez
              port: http

它不属于 Service,也不会因为填写了 containerPort 就自动产生健康检查。containerPort 主要用于声明端口,探针仍然必须明确指定检查方式、端口和路径。

三种常见检查方式

HTTP 检查

HTTP 探针由 kubelet 发起请求,常用于 Web 服务。通常需要确认以下内容:

  • path 是否与应用实际路由一致;
  • port 是否是应用监听的端口;
  • scheme 是否应为 HTTP 或 HTTPS;
  • 应用是否要求特定的 Host 或请求头;
  • 返回码是否符合探针成功条件。

HTTP 探针通常将 200 到 399 范围内的状态视为成功,4xx 和 5xx 通常视为失败。若应用把认证、重定向或限流逻辑套在健康检查路径上,可能出现浏览器访问正常、kubelet 检查失败的情况。

TCP 检查

TCP 探针只尝试建立 TCP 连接。端口能够接受连接时,检查可能成功;但它无法判断应用是否已经完成初始化,也不能确认业务接口能否正常处理请求。

因此,TCP 检查适合协议不便用 HTTP 表达、但“端口能够接受连接”已经具有足够判断价值的服务。对于需要确认应用状态的 API 服务,HTTP 检查通常更容易定位问题。

Exec 检查

Exec 探针在容器内部执行命令,命令退出码为 0 时通常表示成功。例如:

livenessProbe:
  exec:
    command:
      - /usr/local/bin/check-process.sh
  periodSeconds: 10
  timeoutSeconds: 2

exec 不会自动经过 Shell 解释。如果需要使用管道、变量或重定向,必须显式调用 Shell:

livenessProbe:
  exec:
    command:
      - /bin/sh
      - -c
      - test -f /tmp/app-alive

这类配置依赖容器内确实存在 /bin/sh、脚本和相关命令。精简镜像中经常没有 sh、curl 或 wget,命令在镜像内手工执行成功与否,应以容器实际内容为准。

连续失败不是“失败一次就重启”

以下参数决定探针的时间和容错行为:

参数作用配置时需要注意
initialDelaySeconds容器启动后延迟多久开始检查只适合简单启动延迟,不能代替启动探针
periodSeconds两次检查的间隔太短会增加检查开销,太长会延迟故障发现
timeoutSeconds单次检查允许的最长时间CPU 受限、GC 或磁盘繁忙时,过小容易误判
failureThreshold连续失败多少次后判定失败不等于累计失败次数
successThreshold连续成功多少次后判定恢复存活和启动探针通常要求为 1,就绪探针可以适当提高

例如,启动探针使用 periodSeconds: 5、failureThreshold: 12,可以按约 60 秒的量级为启动过程提供失败容忍窗口。实际时间还会受到首次调度、单次超时和 kubelet 调度时机影响,不能把这个乘积当成严格的秒级承诺。

就绪探针容易出现“刚恢复就重新接流量”的抖动时,可以设置较高的 successThreshold,要求连续多次成功后再恢复 Ready。存活探针则不宜通过大幅提高阈值来掩盖真正的死锁,否则会延迟故障恢复。

典型冲突:把业务健康检查直接当成存活检查

下面这种写法看似简单,但容易造成误重启:

livenessProbe:
  httpGet:
    path: /health
    port: 8080
  initialDelaySeconds: 10
  timeoutSeconds: 1
  failureThreshold: 1

如果 /health 同时检查数据库、缓存、消息队列和外部 API,那么任意一个依赖出现短暂网络抖动,都会让存活探针失败。failureThreshold: 1 又意味着一次失败就可能触发容器终止。应用重启后重新建立连接,可能再次遇到依赖不可用,最终形成如下循环:

典型冲突:把业务健康检查直接当成存活检查配图

  1. 外部依赖短暂异常;
  2. /health 返回 500;
  3. 存活探针失败;
  4. kubelet 终止并重启容器;
  5. 应用重新初始化,依赖仍未恢复;
  6. 新容器再次被判定为不存活。

更合适的做法是拆分检查接口,并让不同探针承担不同职责:

apiVersion: apps/v1
kind: Deployment
meta
  name: api
  namespace: demo
spec:
  replicas: 2
  selector:
    matchLabels:
      app: api
  template:
    meta
      labels:
        app: api
    spec:
      containers:
        - name: api
          image: registry.example.com/team/api:1.0
          ports:
            - name: http
              containerPort: 8080

          startupProbe:
            httpGet:
              path: /startupz
              port: http
            periodSeconds: 5
            timeoutSeconds: 2
            failureThreshold: 12

          livenessProbe:
            httpGet:
              path: /livez
              port: http
            periodSeconds: 10
            timeoutSeconds: 2
            failureThreshold: 3

          readinessProbe:
            httpGet:
              path: /readyz
              port: http
            periodSeconds: 5
            timeoutSeconds: 2
            failureThreshold: 3
            successThreshold: 2

对应的接口职责可以设计为:

  • /startupz:应用完成基础初始化后返回成功;
  • /livez:只判断进程和核心运行循环是否仍然工作,不直接依赖每一个外部系统;
  • /readyz:判断当前是否能够处理业务请求,可以检查必要的数据库连接或关键配置。

如果应用只有一个 /health 接口,应先确认它的实际语义。它只检查进程是否存活时,可以用于存活探针;它同时检查多个业务依赖时,更适合作为就绪探针,而不是直接用于存活探针。

配置排错要先确认“检查的是哪个对象”

检查配置是否位于正确层级

使用 YAML 时,探针必须位于具体容器下,而不是与 containers 同级:

spec:
  template:
    spec:
      containers:
        - name: api
          livenessProbe:
            httpGet:
              path: /livez
              port: 8080

多个容器的 Pod 需要逐个确认。某个 sidecar 的探针配置不会自动检查主应用容器,反过来也一样。HTTP 和 TCP 探针通过 Pod 网络访问目标地址,如果多个容器监听相同端口或存在代理转发,还要避免探针意外访问到错误的进程。

可以先查看当前集群支持的字段定义:

kubectl explain pod.spec.containers.livenessProbe --recursive
kubectl explain pod.spec.containers.readinessProbe --recursive
kubectl explain pod.spec.containers.startupProbe --recursive

这一步适合用于确认当前 Kubernetes 版本接受哪些字段,避免直接照搬其他版本或其他工具生成的配置。

检查 Deployment 模板和运行中 Pod

Deployment 配置变更后,旧 Pod 不会自动改变自身探针。先确认模板中的内容,再确认运行中 Pod 是否已经更新:

kubectl -n demo get deployment api -o yaml
kubectl -n demo rollout status deployment/api
kubectl -n demo get pods -l app=api -o wide

获取某个 Pod 的完整实际配置:

kubectl -n demo get pod POD_NAME -o yaml

重点查看:

  • spec.containers[].livenessProbe;
  • spec.containers[].readinessProbe;
  • spec.containers[].startupProbe;
  • spec.containers[].ports;
  • 容器名称是否与排查时使用的 -c 参数一致;
  • metadata.creationTimestamp 是否早于本次配置变更。

如果 Deployment 中已经出现新配置,但 Pod 中仍然是旧配置,通常需要继续检查滚动更新是否卡住、是否存在多个同名工作负载,或者实际修改的是错误的命名空间。

查看事件、重启次数和上一次容器日志

describe 通常能直接看到探针失败的原因:

kubectl -n demo describe pod POD_NAME

关注 Events 区域中的常见信息:

  • Liveness probe failed:存活检查失败;
  • Readiness probe failed:就绪检查失败;
  • Startup probe failed:启动检查尚未成功;
  • Killing:kubelet 正在终止容器;
  • connection refused:目标端口没有监听或监听地址不正确;
  • context deadline exceeded:检查超时;
  • HTTP probe failed with statuscode: 404:路径不存在;
  • HTTP probe failed with statuscode: 500:应用主动返回失败状态。

查看各容器的重启次数:

kubectl -n demo get pod POD_NAME \
  -o jsonpath='{range .status.containerStatuses[*]}{.name}{" restartCount="}{.restartCount}{" state="}{.state}{" lastState="}{.lastState}{"\n"}{end}'

如果容器已经重启,必须查看上一次实例的日志:

kubectl -n demo logs POD_NAME -c api --previous

探针失败和应用自身崩溃可能同时发生。若 lastState.terminated.exitCode 表明进程主动退出,原因不一定是探针;若事件中明确出现 Killing 且时间与重启一致,再结合日志判断是否由存活或启动检查触发。

也可以按时间查看指定 Pod 的事件:

kubectl -n demo get events \
  --field-selector involvedObject.name=POD_NAME \
  --sort-by=.lastTimestamp

直接验证接口、端口和返回状态

如果是 HTTP 探针,先从客户端侧确认路径和返回码。容器镜像没有 curl 时,不要因为无法执行 kubectl exec ... curl 就认定接口不可用,可以使用端口转发:

kubectl -n demo port-forward pod/POD_NAME 18080:8080

在另一个终端执行:

curl -i http://127.0.0.1:18080/livez
curl -i http://127.0.0.1:18080/readyz
curl -i http://127.0.0.1:18080/startupz

预期结果应分别与探针用途一致。例如:

  • /livez 返回 200,表示进程仍能处理基础检查;
  • /readyz 在数据库不可用时返回 503,但不应因此导致容器重启;
  • /startupz 在初始化完成前返回失败,完成后稳定返回 200。

端口转发验证的是应用接口本身,不完全等价于 kubelet 从节点访问 Pod IP 的路径。如果端口转发成功而探针仍失败,应继续检查:

直接验证接口、端口和返回状态配图

  • 探针使用的是不是同一个端口;
  • Pod IP 上是否实际监听该端口;
  • HTTP scheme 是否配置正确;
  • 是否需要特定 Host 请求头;
  • NetworkPolicy、节点网络或服务网格是否影响了探针路径;
  • 应用是否只绑定了 127.0.0.1,而没有绑定 Pod IP 对应的接口。

若使用命名端口,例如 port: http,应确认该名称确实定义在目标容器的 ports 中。命名端口可以减少数字端口错配,但不会自动修正应用实际监听错误。

就绪探针还应结合 Service 的后端状态验证:

kubectl -n demo get endpointslice \
  -l kubernetes.io/service-name=api -o yaml

查看对应地址的 conditions.ready 是否随 Pod 的就绪状态变化。若就绪探针已经失败,但业务请求仍然到达该 Pod,需要确认请求是否绕过了 Service,或者调用方使用了 Pod IP、Headless Service、缓存的连接或其他自定义发现机制。

参数调整应围绕故障类型进行

应用启动慢

不要只把存活探针的 initialDelaySeconds 改成几分钟。更适合的方式是配置启动探针,让启动阶段和运行阶段使用不同标准。

启动探针的容忍窗口应覆盖正常启动时间,并为节点负载、镜像解压、缓存构建等波动预留空间。若正常启动约 35 秒,可以把启动检查周期和失败阈值组合成约 60 秒到 90 秒的窗口,再通过事件和日志验证是否足够。

如果启动时间远超预期,应先排查初始化逻辑、资源限制、磁盘和依赖连接,而不是无限扩大探针阈值。过大的阈值会让真正无法启动的容器长时间占用 Pod 和发布资源。

应用偶发超时

如果接口正常响应通常只需要几十毫秒,但在 CPU 限制或垃圾回收期间可能达到数秒,可以适当提高 timeoutSeconds,同时保留合理的 failureThreshold。不要直接把超时时间提高到几十秒,否则存活故障会很晚才被发现。

可以将探针失败时间粗略理解为:

单次超时时间、检查间隔和连续失败次数共同决定故障被判定的速度。

其中,failureThreshold 主要用于吸收短暂抖动,不应成为隐藏持续故障的工具。

就绪状态频繁切换

就绪探针频繁在成功和失败之间切换,通常说明接口依赖、超时时间或成功恢复条件不稳定。可从以下方面处理:

  • 缩小就绪检查的依赖范围;
  • 让必要依赖具备短时重试或连接池恢复能力;
  • 适当增加 failureThreshold,避免一次偶发失败就摘除;
  • 适当增加 successThreshold,避免刚成功一次就重新接流量;
  • 检查应用返回失败时是否记录了具体依赖和耗时。

如果只有就绪探针失败而 restartCount 没有增加,这通常符合设计,不应为了“让状态变绿”而改成存活探针。

探针的适用边界

探针只能反映 kubelet 看到的局部状态,不能替代完整的端到端监控。存活检查成功,不代表用户一定能通过 Ingress、DNS、TLS、Service 或业务鉴权访问成功;就绪检查成功,也不代表所有请求类型都能成功。

探针接口还应避免返回数据库地址、内部错误堆栈、凭据或详细拓扑信息。可以记录详细原因到应用日志,而对探针只返回简短状态。对于需要认证的业务接口,通常应提供专门的内部健康检查路径,避免把用户权限、登录态和探针语义混在一起。

判断一次配置是否真正合理,可以保留以下边界:

  • 进程死锁或无法恢复,才优先考虑存活探针;
  • 暂时不能接收流量,但进程仍可运行,优先使用就绪探针;
  • 只在启动阶段需要额外时间,使用启动探针;
  • 配置修改后,必须在运行中 Pod 的 YAML、事件、重启次数和实际接口返回中交叉验证;
  • 端口转发成功只能证明应用接口可访问,还要继续核对 kubelet 使用的端口、路径、协议和请求条件。

当“启动探针失败”时,重点看初始化日志和启动预算;当“存活探针失败并伴随重启”时,重点看检查接口是否错误依赖外部服务;当“就绪探针失败但没有重启”时,应优先判断流量是否按预期被摘除,而不是立即修改为存活探针。

探针的适用边界配图

对于需要在 Kubernetes 中承载接口服务、数据库和多任务应用的场景,A5数据提供中国香港、美国、日本、韩国、中国台湾、新加坡及马来西亚等地区的物理服务器资源,覆盖常规、AMD、高内存与存储型方案。不同产品系列配备相应的CPU、内存、SSD或NVMe存储及带宽线路,可为应用实例、依赖服务和数据组件提供计算、存储与网络基础,适配从业务后台到容器化服务、大容量数据处理等工作负载。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5991.html

相关推荐