Kubernetes HPA自动扩缩依据哪些指标?扩容不及时如何验证

发布人:A5数据发布时间:2026-11-06 11:15阅读量:71

很多人看到 Pod 的 CPU 已经超过 HPA 配置的目标值,却没有马上增加副本,就判断 HPA 失效。实际上,HPA 不是“CPU一超过阈值就立刻扩容”的开关,而是根据采集到的指标、当前副本数、目标值、扩缩容策略和 Pod 状态,周期性计算一个期望副本数。

判断 Kubernetes HPA 是否会扩容,真正需要关注的是四件事:指标是否被正确采集,指标与目标值是否使用了相同口径,计算出的期望副本数是否高于当前副本数,以及扩容后的 Pod 是否能够被调度并进入 Ready。验证时不能只看 kubectl top 的一个瞬时数值,应把 HPA 状态、指标时间、计算结果和 Pod 调度过程放在同一条时间线上。

HPA判断扩容的概念边界

HPA扩的是副本,不是节点

HPA 的作用对象通常是 Deployment、ReplicaSet 或 StatefulSet 等可扩缩资源。它修改目标资源的副本数,然后由控制器创建或删除 Pod。

因此,HPA 扩容成功至少包含两个阶段:

  1. HPA 计算出更高的期望副本数。
  2. 集群能够创建、调度并启动新增 Pod。

如果集群没有足够 CPU、内存或可用节点,HPA 可能已经把 Deployment 的副本数从 3 改成了 6,但实际运行中的 Pod 仍然只有 3 个。这属于调度或资源容量问题,不一定是 HPA 计算失败。

当容器业务需要为集群补充底层计算资源时,A5idc数据提供香港、美国、日本等地区的物理服务器租用,涵盖Xeon与AMD EPYC平台,并有不同内存、NVMe存储和网络线路配置,可为承载容器节点、数据库及业务服务提供多样的硬件资源基础。

HPA支持哪些指标

在 autoscaling/v2 中,HPA 常见的指标类型如下:

指标类型典型例子常用目标形式适合判断的场景
ResourceCPU、内存利用率或每 Pod 平均值计算密集、内存占用明显的服务
Pods每个 Pod 的请求数、队列长度每 Pod 平均值应用已经提供自定义 Pod 指标
ObjectIngress 请求数、某个对象的指标总值或平均值指标与某个 Kubernetes 对象相关
External消息队列长度、外部服务延迟总值或平均值指标来源不在 Kubernetes 集群内部

默认安装的 Metrics Server 通常只能提供资源指标,例如 CPU 和内存。请求数、队列长度、业务延迟等指标,需要额外的 Custom Metrics API 或 External Metrics API 支持。

CPU利用率不是“CPU上限使用率”

当 HPA 使用:

target:
  type: Utilization
  averageUtilization: 60

这里的 60 通常表示 CPU 使用量相对于 CPU request 的平均百分比,而不是相对于 CPU limit 或节点总 CPU 的百分比。

例如某容器的 CPU request 为 500m:

  • 实际使用 250m,利用率约为 50%;
  • 实际使用 400m,利用率约为 80%。

如果只设置了 CPU limit,没有设置 CPU request,HPA 可能无法正确计算该容器的资源利用率。一个 Pod 中如果有多个容器,也需要检查各容器的 request 是否完整,否则资源指标可能出现无法计算或结果不符合预期的情况。

HPA如何计算期望副本数

基本计算公式

对于平均利用率或每 Pod 平均值,HPA 可以用下面的近似公式理解:

期望副本数 = 向上取整(当前副本数 × 当前指标值 ÷ 目标指标值)

例如:

  • 当前副本数:3;
  • CPU 平均利用率:90%;
  • HPA 目标:60%。

计算过程为:

期望副本数 = ceil(3 × 90 ÷ 60)
            = ceil(4.5)
            = 5

在没有达到 maxReplicas、没有触发扩容策略限制,并且指标有效的情况下,HPA 可能把期望副本数调整为 5。

再看一个更接近排查场景的例子:

  • 当前副本数:4;
  • 当前指标:78%;
  • 目标值:50%;
  • 最大副本数:10。
期望副本数 = ceil(4 × 78 ÷ 50)
            = ceil(6.24)
            = 7

如果 HPA 状态中的期望副本数仍然是 4,就需要继续检查指标是否与 HPA 使用的是同一指标、是否存在容差或扩容策略限制。如果期望副本数已经是 7,但运行中的 Pod 只有 4 个,则重点应转向 Deployment、ReplicaSet、调度和启动过程。

多指标时取更高的期望副本数

一个 HPA 可以配置多个指标,例如同时根据 CPU 和外部请求数扩容。此时每个指标会分别计算期望副本数,HPA 通常采用其中较高的结果。

例如:

指标当前值目标值当前副本数下计算出的期望副本数
CPU平均利用率70%60%4
每Pod请求数1801006

最终期望副本数更接近 6,而不是 4。排查多指标 HPA 时,不能只看 CPU;需要确认哪个指标推动了扩容,以及其他指标是否因为采集失败而被忽略。

扩容不会完全按单次计算结果执行

HPA 的计算结果还会受到以下配置影响:

  • minReplicas:副本数下限;
  • maxReplicas:副本数上限;
  • behavior.scaleUp:扩容速度和每个时间窗口允许增加的数量;
  • behavior.scaleDown:缩容速度和稳定窗口;
  • 控制器的同步周期;
  • 指标容差;
  • 新 Pod 的初始化和 Ready 状态。

常见默认配置下,HPA 控制器大约每 15 秒进行一次同步,但实际值由 kube-controller-manager 的 --horizontal-pod-autoscaler-sync-period 决定。指标采集系统也有自己的采集周期,因此从负载升高到 HPA 看到新数据,通常不只有一个固定的 15 秒延迟。

哪些因素会让扩容看起来“不及时”

指标采集时间落后于业务负载

业务监控系统显示的 CPU 峰值,可能发生在 HPA 上一次采样之后。kubectl top 显示的是当前查询时刻附近的数据,也不一定与 HPA 刚才计算时使用的样本完全相同。

因此,不能用下面这种方式直接下结论:

监控图上 10:00:05 的 CPU 是 90%,所以 10:00:06 HPA 就应该扩容。

更合理的判断是比较一段时间内的指标趋势,并记录:

哪些因素会让扩容看起来“不及时”/指标采集时间落后于业务负载配图

  • 业务负载开始升高的时间;
  • Metrics API 返回高指标的时间;
  • HPA status 中期望副本数变化的时间;
  • Deployment 副本数变化的时间;
  • 新 Pod 创建、调度和 Ready 的时间。

CPU高,但不是应用真正的瓶颈

CPU 指标适合计算密集型服务,但不一定适合所有应用。

以下情况中,CPU 可能长期不高,但服务已经受到明显压力:

  • 请求主要等待数据库连接;
  • 请求阻塞在外部 API;
  • 工作线程被锁竞争占用;
  • 消息队列积压,但消费者 CPU 较低;
  • 网络带宽或磁盘 I/O 达到瓶颈;
  • 单个 Pod 内部存在并发数限制。

这类服务如果只根据 CPU 扩容,HPA 可能按照指标正常工作,却无法解决实际问题。更合适的指标可能是每 Pod 请求数、请求队列长度、消息积压量或延迟。但这些指标必须先被可靠地暴露给 Custom Metrics API 或 External Metrics API。

内存指标具有不同的扩容含义

内存利用率上升通常不会像 CPU 一样随着副本增加而立即下降。如果内存主要被缓存占用,新增副本可能只会增加缓存副本,而不能解决原有 Pod 的内存增长问题。

如果应用存在内存泄漏,HPA 根据内存扩容只能延缓单个 Pod 达到 OOM 的时间,不能替代应用修复。使用内存作为扩容指标时,应同时观察:

  • 工作集内存是否持续增长;
  • 容器是否频繁 OOMKilled;
  • 新增副本后单 Pod 内存是否下降;
  • 内存 request 是否合理;
  • 应用是否会主动释放缓存。

扩容策略可能限制增加速度

下面是一个简化的 HPA 配置片段:

apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
meta
  name: api
  namespace: prod
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: api
  minReplicas: 2
  maxReplicas: 20
  behavior:
    scaleUp:
      stabilizationWindowSeconds: 0
      selectPolicy: Max
      policies:
        - type: Percent
          value: 100
          periodSeconds: 60
        - type: Pods
          value: 4
          periodSeconds: 60
    scaleDown:
      stabilizationWindowSeconds: 300
  metrics:
    - type: Resource
      resource:
        name: cpu
        target:
          type: Utilization
          averageUtilization: 60

在这个例子中,扩容策略限制了 60 秒窗口内的增长速度。即使公式计算得到 12 个副本,实际也可能先增加到 4 个或 8 个,再根据后续同步逐步增加。

缩容通常还会设置较长的稳定窗口,避免指标短暂下降后立即删除 Pod。排查“扩容不及时”时,应优先看 scaleUp;看到“缩容很慢”时,再检查 scaleDown 的稳定窗口和策略。

新Pod没有及时Ready

HPA 扩容以后,新增 Pod 可能经历以下状态:

  • Pending:没有合适的节点;
  • ContainerCreating:镜像拉取、卷挂载或网络初始化未完成;
  • CrashLoopBackOff:容器启动失败;
  • Running 但未 Ready:就绪探针失败;
  • 已 Ready,但流量入口尚未及时更新。

这会造成一个常见误判:HPA 的副本数已经增加,但可承载流量的副本数没有同步增加。此时应把“期望副本数”“已创建副本数”和“Ready副本数”分别记录,不能只看其中一个数字。

哪些因素会让扩容看起来“不及时”/新Pod没有及时Ready配图

如何验证HPA是否真的扩容不及时

第一步:查看HPA当前判断

先查看摘要和详细状态:

kubectl get hpa -n prod api -o wide
kubectl describe hpa -n prod api
kubectl get hpa -n prod api -o yaml

可能看到类似结果:

NAME  REFERENCE       TARGETS    MINPODS  MAXPODS  REPLICAS  AGE
api   Deployment/api  92%/60%    2        20       3         18m

这个结果至少说明当前采集到的 CPU 指标高于目标值,但不能单独说明扩容一定失败。还要查看 YAML 中的 status:

  • currentReplicas:当前目标资源副本数;
  • desiredReplicas:HPA 计算出的期望副本数;
  • currentMetrics:HPA 实际读取到的指标;
  • conditions:扩缩容是否可执行、指标是否有效、是否受到上限限制;
  • events:获取指标或更新副本数时是否报错。

重点关注这些状态条件:

  • AbleToScale:是否能够执行扩缩容;
  • ScalingActive:指标是否有效并参与计算;
  • ScalingLimited:是否触及 minReplicas 或 maxReplicas。

如果 TARGETS 显示为 <unknown>,或者事件中出现 FailedGetResourceMetric、FailedGetPodsMetric 等信息,应先修复指标读取问题,而不是继续调整副本数。

第二步:确认HPA读取到的指标

资源指标可以用以下命令查看:

kubectl top pods -n prod --containers
kubectl top pod -n prod

如果需要直接查看 Metrics API,可以执行:

kubectl get --raw "/apis/metrics.k8s.io/v1beta1/namespaces/prod/pods"

该命令依赖集群已安装并正常运行的 Metrics Server。返回结果中的时间戳、Pod 名称和容器资源使用量,可以帮助确认指标是否新鲜。

需要注意,kubectl top 和 HPA 使用的采样时间可能不同。验证时可连续执行几次,并将结果与 HPA 的 status.currentMetrics 对照,而不是把某一次 top 输出当成 HPA 的精确输入。

如果 HPA 使用自定义指标或外部指标,应根据指标适配器支持的 API 查询。例如:

kubectl get --raw "/apis/custom.metrics.k8s.io/v1beta1"
kubectl get --raw "/apis/external.metrics.k8s.io/v1beta1"

具体资源路径、指标名称和标签选择方式由指标适配器决定。重点是确认三件事:

  1. 指标名称与 HPA 配置中的名称一致;
  2. 查询范围与 HPA 计算范围一致;
  3. 指标的单位、聚合方式和时间窗口没有发生变化。

第三步:用实际指标重算期望副本数

假设观察到:

  • HPA 当前副本数:4;
  • CPU 当前平均利用率:78%;
  • CPU 目标利用率:50%;
  • maxReplicas:10。

按照公式:

ceil(4 × 78 ÷ 50) = ceil(6.24) = 7

随后按以下顺序比较:

对比结果更可能的判断方向
计算结果约为 7,HPA desiredReplicas 也是 7,但 Deployment 仍只有 4 个副本HPA已作出扩容判断,应检查 Deployment、ReplicaSet、权限或控制器异常
计算结果约为 7,但 HPA desiredReplicas 仍为 4检查指标时间、容差、扩容策略、指标类型和 HPA 状态
HPA 和 Deployment 都显示 7,但 Ready Pod 只有 4 个检查调度资源、镜像、探针、卷挂载和容器启动
CPU不高,但请求延迟和队列长度升高CPU不是有效扩容依据,应评估业务指标
副本增加后指标迅速下降,又很快缩回检查指标波动、缩容稳定窗口和业务流量是否短时峰值

这一步的价值在于把“感觉扩容慢”转化为可计算的判断。如果输入指标和目标值不在同一单位,计算结果就没有意义。例如,不能把每秒请求数直接与 CPU 百分比放在同一个公式里。

第四步:检查副本从HPA到Ready的完整链路

查看目标 Deployment 和 ReplicaSet:

kubectl get deployment -n prod api -o wide
kubectl get rs -n prod -l app=api
kubectl get pods -n prod -l app=api -o wide
kubectl get pods -n prod -l app=api \
  -o custom-columns=NAME:.metadata.name,PHASE:.status.phase,READY:.status.containerStatuses[*].ready

观察 Pod 创建和状态变化:

kubectl get pods -n prod -l app=api -w

如果新 Pod 长时间处于 Pending,查看调度事件:

kubectl describe pod -n prod <pod-name>

如果容器启动后反复失败,再查看容器日志和最近事件:

kubectl logs -n prod <pod-name> --all-containers=true
kubectl get events -n prod --sort-by=.lastTimestamp

排查时可以记录一条简单时间线:

时间事件
10:00:00请求量或资源使用量开始升高
10:00:15指标 API 返回较高使用量
10:00:30HPA desiredReplicas 从 4 变为 7
10:00:31Deployment 期望副本数变为 7
10:00:32新 Pod 创建
10:00:45新 Pod 进入 Ready

如果在 10:00:30 之前指标 API 没有反映负载,属于采集延迟;如果 10:00:30 已经产生扩容决策但 10:00:45 仍没有 Pod,属于控制器、调度或启动延迟;如果 Pod 已经 Ready 但业务压力不下降,则应检查服务发现、负载均衡、连接复用和应用自身并发限制。

HPA的适用限制与判断边界

HPA适合处理能够被稳定观测、并且与副本数量存在明确关系的负载。例如无状态 HTTP 服务可以通过 CPU、每 Pod 请求数或队列长度进行扩容。但以下边界需要单独考虑。

第一,HPA不能替代节点扩容。即使 HPA 把副本数调整为 20,如果节点没有足够资源,Pod 仍可能处于 Pending。节点自动扩容属于另一套控制机制,不能把两者的延迟混在一起。

第二,HPA不能保证业务吞吐量按副本数线性增长。数据库连接池、下游接口、共享锁和单点存储都可能成为瓶颈。扩容后 CPU 降低,不代表请求延迟一定改善。

第三,CPU和内存使用率只有在 request 设置合理时才有判断价值。request 过小会让利用率看起来异常偏高,request 过大则可能导致指标长期偏低。调整 request 前,应结合历史用量、限流策略和节点资源重新评估。

第四,单次瞬时峰值不适合直接判断 HPA 失效。指标采集、控制器同步、策略窗口和 Pod 启动都会产生时间差。应至少观察多个采样周期,并确认高指标是否持续到 HPA 能够读取的时间点。

第五,自定义指标必须验证聚合口径。每 Pod 平均值、服务总请求数和某个 Ingress 的请求数,计算含义并不相同。如果指标适配器返回的是一分钟平均值,而业务监控展示的是五秒峰值,两者出现差异是正常现象。

实际判断时,可以使用下面的边界作为依据:指标 API 中存在新鲜且连续的高值,按目标值重算后的期望副本数高于当前副本数,HPA 没有触及上限且扩容策略没有限制,而 desiredReplicas 仍不变化,才更接近 HPA 计算或控制器问题;如果 desiredReplicas 已增加,则应转查 Deployment、调度、容器启动和 Ready 条件。只有把这几层状态分开验证,才能准确判断是指标不对、计算未触发,还是扩容已经发生但新增 Pod 尚未真正提供服务。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/7866.html

相关推荐