Kubernetes就绪探针与存活探针冲突时,怎样避免探针误判导致实例反复重启?

发布人:A5数据发布时间:2026-11-13 09:46阅读量:39

Pod 一直处于 Running,但实例反复重启、流量时有时无,常被误判为“就绪探针和存活探针互相冲突”。两者本身不会互相触发:就绪探针失败会让容器暂时不接收 Service 流量,通常不会重启容器;存活探针失败才会导致 kubelet 重启容器。真正需要查的是两种探针是否共用不合适的检查条件、时序是否过紧,或探测请求是否因网络、系统资源等原因超时。

排查时先确认重启由什么事件触发,再沿网络、系统、服务和应用逐层检查。不要仅凭 Pod 状态为 Running,或一次探测失败,就认定根因。

先确认现象:是重启,还是暂时不接流量

查看 Pod 状态、容器重启次数和事件:

kubectl get pod <pod名称> -n <命名空间> -o wide
kubectl describe pod <pod名称> -n <命名空间>
kubectl get events -n <命名空间> --sort-by=.lastTimestamp

重点查看容器的 Restart Count、Last State、退出码,以及事件中的 Liveness probe failed、Readiness probe failed、Back-off restarting failed container 等信息。若只看到就绪状态变为 0/1,但重启次数没有增加,优先查就绪探针和服务端点;若重启次数持续增加,则需要确认存活探针是否失败,或是否存在应用自行退出、OOM 等其他原因。

还可以检查容器退出前的日志。--previous 用于读取上一次容器实例的日志:

kubectl logs <pod名称> -n <命名空间> -c <容器名称> --previous

状态和事件只是线索,不是根因判定。例如,探针失败可能是服务未及时响应,也可能是节点负载导致请求超时;容器重启也可能与探针无关。

建立原因树:按影响层级区分

层级可能原因观察依据下一步检查
网络与探测路径kubelet 到 Pod IP 的请求不通、端口错误、协议不匹配探针事件出现连接拒绝、超时;同一时段其他 Pod 正常核对 Pod IP、端口、HTTP 路径及协议,并结合节点和 CNI 日志排查
系统资源CPU 节流、内存压力、节点负载或磁盘 I/O 拥堵探针失败与延迟、CPU throttling、节点压力同时出现查看容器和节点资源指标,确认故障时段是否重合
服务进程监听端口尚未开放、进程卡住、监听地址不正确TCP 连接失败,或进程存在但端口未监听在容器内检查进程、监听端口和启动日志
应用检查逻辑就绪与存活共用依赖检查;依赖短暂抖动造成存活失败依赖异常时,业务进程仍运行但容器被重启对比探针路径的检查内容和依赖状态,调整两种探针职责
探针时序启动较慢、超时过短、失败阈值过低启动阶段或短暂延迟时连续失败核对 initialDelaySeconds、periodSeconds、timeoutSeconds、failureThreshold

网络层检查不宜只在容器内访问 localhost。这能验证进程是否在本地端口响应,却不一定能证明 kubelet 通过 Pod IP 探测时路径正常。若容器使用非默认网络模式或节点网络策略较复杂,应结合 Pod IP、节点日志和集群网络组件的监控判断。

逐层排除:从低风险检查开始

1. 核对探针实际配置与目标

先查看集群中生效的配置,而不是只检查本地 YAML 文件:

kubectl get pod <pod名称> -n <命名空间> -o yaml
kubectl get deploy <工作负载名称> -n <命名空间> -o yaml

分别核对存活探针和就绪探针的 httpGet、tcpSocket、exec 或 grpc 配置,以及端口、路径、协议和容器名称。常见配置错误包括:探针端口与进程监听端口不同、HTTP 路径拼错、应用只监听 127.0.0.1 却期待通过 Pod IP 访问,或实际服务使用 HTTPS 而探针按 HTTP 请求。

如果事件报告连接被拒绝,先确认进程是否已启动并监听指定端口;如果报告超时,则继续查看服务响应时间、资源压力和网络路径。连接拒绝与超时代表的故障方向不同,不能用统一增加超时时间处理。

2. 检查系统资源与节点状态

探针请求本身很轻,但容器在高负载时可能无法及时响应。查看资源使用情况:

kubectl top pod <pod名称> -n <命名空间>
kubectl top node

这些命令显示的是采样时的指标;若故障具有间歇性,应对照监控平台中的历史 CPU、内存、容器 CPU throttling、节点压力和应用响应延迟。若失败时 CPU 持续接近限制、请求延迟明显上升,增加探针超时可能暂时减少误报,但仍需判断资源限制是否合理、应用是否存在负载或线程阻塞问题。

若容器退出状态显示 OOMKilled,应按内存问题排查,而不是把存活探针当作首要根因。若节点发生压力或多个 Pod 同时探测失败,也应检查节点层面,而不是只修改单个应用的探针参数。

3. 检查服务和应用行为

进入容器检查进程、端口和探针路径。容器镜像不一定包含 curl、ss 等工具;工具缺失时,可使用已有诊断容器或应用自身日志验证,不要据此认定网络故障。

关键是弄清探针端点究竟检查了什么:

  • 就绪端点应回答“当前是否适合接收新流量”。应用尚未加载配置、完成缓存预热或建立必要连接时,可以返回未就绪。
  • 存活端点应回答“进程是否仍在工作,是否需要由 kubelet 重启”。不宜把数据库、消息系统等外部依赖的短暂不可用,直接等同于进程失去存活能力。
  • 若两个端点都检查同一个外部依赖,依赖短暂抖动可能先使 Pod 退出服务,再让存活探针失败并触发重启。重启未必能修复依赖,反而可能放大重连压力。

就绪探针失败时,Pod 通常会从相应 Service 的可用后端中移除;端点和流量变化可能存在传播时间。存活探针连续失败时,kubelet 会终止并按 Pod 的重启策略处理容器。两个结果不同,排查时要分别确认。

检查服务和应用行为配图

4. 核对启动时间和探针时序

探针参数要结合应用启动和故障恢复时间评估:

  • initialDelaySeconds:启动后延迟多久开始探测。
  • periodSeconds:探测间隔。
  • timeoutSeconds:单次探测最长等待时间。
  • failureThreshold:连续失败多少次后判定失败。
  • successThreshold:连续成功多少次后恢复成功;存活探针通常必须为 1。

以下配置仅用于说明结构,具体数值需要按应用启动时间和请求延迟调整:

startupProbe:
  httpGet:
    path: /health/startup
    port: 8080
  periodSeconds: 5
  timeoutSeconds: 2
  failureThreshold: 24

readinessProbe:
  httpGet:
    path: /health/ready
    port: 8080
  periodSeconds: 5
  timeoutSeconds: 2
  failureThreshold: 3
  successThreshold: 1

livenessProbe:
  httpGet:
    path: /health/live
    port: 8080
  periodSeconds: 10
  timeoutSeconds: 2
  failureThreshold: 3

这里的启动探针最多容忍约 24 次、每次间隔 5 秒的启动检查失败;实际判定时间还受探测调度和单次超时影响,不能简单视作精确的 120 秒计时器。配置中的数值是示例,不是通用推荐值。

配置了 startupProbe 后,在启动探针成功前,存活探针和就绪探针不会执行。这适合启动较慢的应用,避免启动期间被存活探针过早重启。启动探针通过后,仍需由就绪探针判断能否接流量,由存活探针判断进程是否需要重启。

定位根因:看失败顺序和恢复关系

将事件、应用日志、资源指标和依赖状态按时间对齐,通常比单看某条错误信息更有效。下面是一个模拟判断示例,不代表实际集群检查结果:

定位根因:看失败顺序和恢复关系配图

10:15:00 Readiness probe failed: HTTP probe failed with statuscode: 503
10:15:10 Liveness probe failed: context deadline exceeded
10:15:20 Back-off restarting failed container

如果应用日志显示同一时段外部依赖响应变慢,且两个探针都检查该依赖,应优先检查存活探针是否承担了就绪检查的职责。如果依赖正常,但应用线程池耗尽、请求延迟上升,则需要继续检查应用资源和阻塞原因。若只有就绪探针失败、容器未重启,则不应把它描述为存活探针导致的重启。

确认根因时至少需要闭合三项证据:失败探针和事件对应得上;应用或系统侧能解释该次失败;调整后在相同观察条件下,失败和重启不再复现。单纯提高 failureThreshold 后短时间没有重启,只能说明容忍窗口变宽,不能证明故障已经消失。

调整后验证恢复

修改探针前,记录原配置和当前重启次数;通过工作负载模板变更,并确认滚动更新范围符合预期。探针参数本身通常不要求删除 Pod,但配置更新可能触发工作负载滚动替换,应在业务允许的维护窗口内操作。若新配置造成启动异常,可将模板恢复到已记录的原版本,再观察旧配置是否恢复;不要用删除整个命名空间或批量重建 Pod 的方式试探根因。

变更后检查:

kubectl rollout status deployment/<工作负载名称> -n <命名空间>
kubectl get pods -n <命名空间> -w
kubectl describe pod <新Pod名称> -n <命名空间>
kubectl get endpointslice -n <命名空间>

观察新 Pod 是否持续就绪、重启次数是否停止增长、事件中是否还有探针失败,并确认对应 Service 的 EndpointSlice 中存在预期后端。若 Pod 就绪但业务请求仍失败,还需检查应用路径、服务端口和流量链路;探针成功只证明探针定义的检查通过,不等同于完整业务链路正常。

复发监控至少保留四类信号:容器重启次数及变化速率、存活与就绪探针失败事件、Pod 就绪状态变化、应用端点延迟和错误率。再将这些信号与 CPU throttling、内存压力、节点状态及关键依赖异常关联起来。这样再次出现问题时,可以先判断是“暂时不接流量”“进程需要重启”,还是探针路径和资源环境本身异常,避免只放宽阈值却掩盖根因。

探针误判有时与应用负载和节点资源状态有关。A5idc数据提供香港、美国、日本、韩国、中国台湾、新加坡及马来西亚等地区的物理服务器,涵盖不同CPU、内存、NVMe存储和网络线路配置,可为容器应用、业务后台、数据库及接口服务提供部署资源。不同地区和产品系列的资源组合,能够对应多样的业务负载与访问区域需求。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/9116.html

相关推荐