Kubernetes HPA自动扩缩如何设置,CPU指标与副本数怎样联动

发布人:A5数据发布时间:2026-10-27 11:40阅读量:88

Kubernetes HPA(Horizontal Pod Autoscaler)通过监控 Pod 的 CPU 使用率等指标,动态调整 Deployment 或 StatefulSet 的副本数。使用 CPU 指标时,HPA 不是按照节点总 CPU,也不是按照 CPU limit 直接扩容,而是将 Pod 当前 CPU 使用量与 resources.requests.cpu 比较,再根据目标利用率计算期望副本数。

例如,一个 Pod 的 CPU request 为 500m,HPA 目标利用率为 60%,表示单个 Pod 平均使用 CPU 达到约 300m 时处于目标水平。当前有 4 个副本、平均 CPU 使用率为 70% 时,HPA 通常会按 ceil(4 × 70% ÷ 60%) 计算,得到 5 个期望副本。副本数变化后,Deployment 控制器负责创建或删除 Pod,调度器负责安排 Pod;如果集群没有足够节点,还需要集群节点扩容机制配合。

引言:HPA 副本计算示例配图

先把业务负载转换成可计算的指标

容量规划不能只看“CPU 使用率是否超过 60%”。同样的 CPU 曲线,可能对应不同的请求量、并发连接数、数据规模和响应时间。适合使用 HPA 的前提,是先明确业务负载如何消耗资源。

负载画像需要包含什么

至少需要记录以下变量:

变量需要确认的内容对容量的影响
请求速率平均 RPS、峰值 RPS、突发持续时间决定单位时间内需要处理的任务量
并发量活跃请求、长连接、排队请求影响内存、连接数、线程或协程数量
请求类型查询、写入、计算、文件上传、批处理等比例不同请求的 CPU、内存和 I/O 消耗不同
请求体与响应体平均大小、P95 大小、峰值大小影响网络带宽、序列化 CPU 和内存
响应时间平均值、P95、P99 及其目标判断资源是否已经影响服务质量
数据规模数据库大小、单次查询返回量、缓存命中率影响数据库、缓存、磁盘和网络瓶颈
增长变量日常增长、活动峰值、未来几个月的增长率决定 maxReplicas 和节点余量

并发量和请求速率不是同一个指标。在请求处理时间相对稳定时,可以用近似关系估算:

并发请求数 ≈ RPS × 平均响应时间(秒)

例如,平均有 300 RPS,平均响应时间为 0.2 秒,则理论上的活跃请求量约为 60。但如果存在长轮询、文件上传、慢查询或队列等待,实际并发可能明显高于这个结果,因此还要结合连接数和请求持续时间观察。

请求类型也会改变 HPA 的表现。CPU 密集型接口通常能在 CPU 曲线上反映请求增长;等待数据库、对象存储或外部服务的 I/O 密集型接口,RPS 增长时 CPU 可能仍然较低,这时单纯使用 CPU HPA 会扩容过晚。

峰值与增长空间要分开计算

容量规划中至少要区分三种负载:

  1. 常态负载:决定 minReplicas 是否过高,以及平时的资源成本。
  2. 已知峰值:例如定时任务、促销活动或批量导入,决定扩容触发速度和 maxReplicas。
  3. 增长后的峰值:决定未来一段时间内副本上限、节点池规模和下游系统容量。

如果当前峰值为 400 RPS,未来三个周期的增长率预估为每周期 25%,则增长后的峰值可按以下方式估算:

400 × 1.25 × 1.25 × 1.25 = 781.25 RPS

这只是容量推演的输入,不代表具体服务一定能稳定处理该请求量。最终还要结合单 Pod 的可持续处理能力、P95 延迟、错误率和下游依赖的上限。

CPU 指标怎样与副本数联动

HPA 使用的是 CPU request 利用率

HPA 使用 averageUtilization 时,核心关系是:

CPU 利用率 = Pod 当前 CPU 使用量 ÷ Pod CPU request

例如:

  • 每个 Pod 的 CPU request 为 500m
  • 每个 Pod 当前平均使用 350m
  • 当前 CPU 利用率为 350m ÷ 500m = 70%
  • HPA 目标利用率为 60%
  • 当前副本数为 4

期望副本数约为:

ceil(4 × 70 ÷ 60) = 5

这里的 60 是百分比数值的比例关系,计算时可以写成 4 × 0.70 ÷ 0.60,结果相同。

因此,以下配置会直接影响 HPA 的扩容判断:

resources:
  requests:
    cpu: "500m"
  limits:
    cpu: "1"

如果没有设置 requests.cpu,HPA 无法正确计算基于 CPU request 的利用率。CPU request 也不能随意设置得过高或过低:

  • request 设置过低,CPU 利用率会被放大,可能频繁扩容;
  • request 设置过高,CPU 利用率会被压低,可能扩容过晚;
  • CPU limit 设置过低,容器可能被限流,CPU 使用率和响应时间的关系会变得异常;
  • request、limit 和节点可分配容量共同决定 Pod 能否被调度。

HPA 不会增加单个 Pod 的 CPU

HPA 调整的是工作负载的副本数,不会修改已经运行的 Pod 的 CPU request 或 limit。

整个链路可以理解为:

CPU 指标怎样与副本数联动配图

  1. 指标采集组件获取 Pod 的 CPU 使用量;
  2. HPA 控制器将当前利用率与目标利用率比较;
  3. HPA 更新 Deployment 的期望副本数;
  4. Deployment 创建或删除 Pod;
  5. Scheduler 将新 Pod 调度到有可用资源的节点;
  6. 流量通过 Service 或 Ingress 分配到就绪 Pod。

如果 HPA 已经计算出 10 个副本,但集群只能调度 6 个,剩余 Pod 会处于 Pending 状态。此时 HPA 计算逻辑没有失效,瓶颈转移到了节点容量、资源配额或调度约束。

一个可执行的 HPA 配置示例

下面的配置以无状态 HTTP 服务为例。镜像地址、端口和探针路径需要替换成实际应用配置。示例中每个 Pod 请求 500m CPU,HPA 目标为 60%,副本数范围为 3 到 12。

apiVersion: apps/v1
kind: Deployment
meta
  name: order-api
  labels:
    app: order-api
spec:
  replicas: 3
  selector:
    matchLabels:
      app: order-api
  template:
    meta
      labels:
        app: order-api
    spec:
      containers:
        - name: order-api
          image: your-registry.example.com/order-api:1.0
          ports:
            - name: http
              containerPort: 8080
          resources:
            requests:
              cpu: "500m"
              memory: "512Mi"
            limits:
              cpu: "1"
              memory: "1Gi"
          readinessProbe:
            tcpSocket:
              port: http
            initialDelaySeconds: 5
            periodSeconds: 5
            failureThreshold: 3
          livenessProbe:
            tcpSocket:
              port: http
            initialDelaySeconds: 15
            periodSeconds: 10
            failureThreshold: 3
---
apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
meta
  name: order-api
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: order-api
  minReplicas: 3
  maxReplicas: 12
  metrics:
    - type: Resource
      resource:
        name: cpu
        target:
          type: Utilization
          averageUtilization: 60
  behavior:
    scaleUp:
      stabilizationWindowSeconds: 0
      selectPolicy: Max
      policies:
        - type: Percent
          value: 100
          periodSeconds: 60
        - type: Pods
          value: 4
          periodSeconds: 60
    scaleDown:
      stabilizationWindowSeconds: 300
      selectPolicy: Min
      policies:
        - type: Percent
          value: 25
          periodSeconds: 60

应用前需要确认以下条件:

  • 集群已提供资源指标 API,通常通过 Metrics Server 等组件提供;
  • 应用容器的 CPU request 已设置;
  • readinessProbe 能准确表示 Pod 是否可以接收流量;
  • maxReplicas 不超过数据库连接数、消息队列消费者数和节点资源能够承受的范围;
  • 应用启动时间较长时,需要根据实际情况调整启动探针和扩容策略。

示例中的 scaleUp 允许较快增加副本,scaleDown 设置了 300 秒稳定窗口,目的是减少短时流量下降造成的频繁缩容。具体窗口不应直接照搬,需要结合指标采集周期、应用启动时间和流量波动确定。

从资源变量判断真正的瓶颈

CPU 是常用的 HPA 指标,但它只适合反映一部分负载。容量规划应同时观察 CPU、内存、网络、磁盘、连接池和下游服务。

现象可能瓶颈应重点观察的指标HPA 判断
RPS 增长时 CPU 和响应时间同步上升应用计算能力不足CPU、P95、错误率、RPSCPU HPA 通常适用
CPU 不高但请求大量排队数据库、外部接口或锁等待队列长度、依赖延迟、连接池应考虑队列或请求量指标
内存持续增长且不随请求下降内存泄漏或缓存增长Working Set、GC、OOM、缓存命中率谨慎使用内存 HPA
网络接近带宽上限大文件、响应体或跨区域传输Pod 网卡吞吐、包丢失、响应大小CPU HPA 不能直接解决
Pod 数增加后数据库连接耗尽下游连接数成为瓶颈每 Pod 连接数、数据库活跃连接限制 maxReplicas 并调整连接池
Pod 频繁重启或 OOM内存 request/limit 或应用行为异常OOMKilled、重启次数、内存曲线先处理资源配置或应用问题
新 Pod 长时间 Pending节点资源或调度规则不足Pending 原因、节点可分配资源需要节点扩容或调整调度约束

CPU HPA 适合的场景

CPU HPA 更适合以下类型的服务:

  • 无状态 Web API;
  • JSON 或协议解析、压缩、加密等计算型服务;
  • 请求量和 CPU 消耗具有稳定相关性的业务;
  • 每个 Pod 的工作量相对均匀,流量可以由 Service 分散。

如果接口主要等待数据库返回,即使请求量翻倍,CPU 也可能只从 20% 增加到 30%。这时 HPA 不会及时扩容,应该考虑使用每 Pod RPS、活跃请求数、队列深度或任务积压量等指标。

多指标不是简单平均

autoscaling/v2 支持配置多个指标。HPA 通常会分别计算每个指标所需的副本数,并采用其中较大的结果。例如:

  • CPU 指标计算需要 5 个副本;
  • 每 Pod 请求速率指标计算需要 7 个副本;
  • HPA 最终倾向于扩容到 7 个副本。

这能避免某一项资源已经成为瓶颈时,被另一项较低指标掩盖。但多指标也会提高调参复杂度,必须为每个指标设置明确的业务目标,并验证扩容后是否真的改善了延迟、错误率或队列长度。

如果采用自定义指标,需要额外部署能够向 Kubernetes 提供这些指标的适配组件。指标名称、标签和采集窗口应与监控系统保持一致,不能把 Prometheus 中的原始计数值直接当成 HPA 可用的瞬时速率。

用峰值和单 Pod 能力估算副本数

CPU HPA 的目标是让 Pod 保持在一个可接受的 CPU 利用率附近;容量规划还需要回答“峰值时到底需要多少个 Pod”。

可以使用以下估算关系:

所需副本数 = 向上取整(峰值 RPS × 增长系数 × 余量系数 ÷ 单 Pod 可持续 RPS)

其中:

  • 单 Pod 可持续 RPS:在既定请求类型、数据大小和响应时间目标下,单个 Pod 能持续处理的请求量;
  • 增长系数:用于覆盖预测期内的业务增长;
  • 余量系数:用于覆盖突发流量、指标延迟和调度时间;
  • 这个结果是容量估算,不是固定承载保证。

举例说明:

  • 预计峰值为 400 RPS;
  • 未来增长系数为 1.25;
  • 余量系数为 1.20;
  • 压测表明单 Pod 在目标 P95 延迟下可持续处理 80 RPS。

则:

ceil(400 × 1.25 × 1.20 ÷ 80) = ceil(7.5) = 8

用峰值和单 Pod 能力估算副本数配图

此时可以将 maxReplicas 初步设置在 8 以上,例如 10 或 12,再根据节点资源和下游容量确认是否可行。这里的 80 RPS 只能适用于相同的请求比例、数据量、缓存状态和响应时间目标;如果写请求比例增加,单 Pod 能力可能下降。

用 CPU request 与压测结果互相校准

如果一个 Pod 的 CPU request 为 500m,HPA 目标为 60%,则目标工作点约为 300m CPU。压测时可以观察:

  • 单 Pod 使用约 300m CPU 时的 RPS;
  • 此时的 P95、P99 延迟;
  • 错误率和超时率;
  • 内存、连接池和网络是否已经接近上限。

如果单 Pod 在 300m CPU 时可以处理约 80 RPS,且响应时间符合要求,那么前面的 RPS 估算可以使用这一能力值。如果在 300m 时数据库已经等待严重,即使 CPU 目标满足,也不能把该 RPS 作为有效容量。

CPU 目标值可以根据性能拐点确定,而不是固定采用某个数字。若压测发现 CPU 利用率达到 80% 后 P95 延迟明显恶化,可以先把 HPA 目标放在 60%~70% 附近;若应用对突发流量不敏感且启动速度较快,目标可以适当提高。具体范围仍需由压测曲线和服务等级目标确认。

minReplicas、maxReplicas 与成本边界

minReplicas 决定常态成本和响应准备度

minReplicas 不只是高可用参数,还决定低峰期的基础资源成本。设置时要考虑:

  • 单 Pod 是否能够承受常态峰值;
  • 是否需要至少两个或三个 Pod 承担滚动更新;
  • Pod 启动时间是否较长;
  • 是否存在节点故障、发布或维护期间的容量要求;
  • 是否必须保持一定数量的连接、缓存或消费者。

如果常态流量本身就接近单 Pod 的安全容量,minReplicas 应按常态峰值而不是平均流量计算。否则 HPA 每次从低副本数开始扩容,可能在流量已经到来后才补充容量。

maxReplicas 受下游容量约束

maxReplicas 不能只按照应用服务器的 CPU 计算,还要检查:

  • 数据库最大连接数;
  • 每个 Pod 的连接池大小;
  • 消息队列分区数和消费者限制;
  • 外部接口的调用配额;
  • 节点池可分配 CPU 和内存;
  • Pod 反亲和、拓扑分布和可用区约束;
  • 单个租户或业务分片的处理能力。

例如,每个 Pod 最多打开 20 个数据库连接,数据库为该服务预留 200 个连接,那么仅从连接数角度看,副本上限约为:

floor(200 ÷ 20) = 10

实际还应扣除管理连接、后台任务和其他服务占用的连接,因此 maxReplicas 不宜直接设为 10 后不再检查。

HPA 不等于节点自动扩容

HPA 只能增加 Pod 副本。若节点没有足够的可分配资源,新 Pod 会处于 Pending。要实现从请求量到基础设施容量的完整联动,通常需要同时规划:

  • 工作负载的 requests 和 limits;
  • 节点池的可分配容量;
  • 节点自动扩容机制;
  • 节点启动和加入集群所需时间;
  • Pod 调度约束和可用区分布。

如果节点扩容需要几分钟,而业务流量在几十秒内就会达到峰值,仅依赖 HPA 和节点自动扩容可能来不及,需要提高基础副本数、提前扩容或使用更早反映流量的自定义指标。

在 HPA 负责调节 Pod 副本的架构中,节点侧的 CPU、内存、存储与网络资源同样构成容量基础。A5数据提供中国香港、美国、日本、韩国、中国台湾、新加坡及马来西亚等地区的物理服务器租用,覆盖 Xeon Gold、AMD EPYC、NVMe、存储、多IP和不同带宽线路等配置,可为 Kubernetes 工作节点、数据库及接口服务提供多地区、分层次的硬件资源组合。

扩容触发点如何设置

不要只盯着 CPU 百分比

建议同时监控以下指标:

  • HPA 当前副本数、期望副本数、最小和最大副本数;
  • CPU 使用量与 CPU request 利用率;
  • 内存 Working Set、OOM 次数和容器重启次数;
  • RPS、并发请求、队列长度;
  • P50、P95、P99 延迟;
  • HTTP 5xx、超时和拒绝率;
  • Pending Pod 数量及其调度原因;
  • 节点可分配 CPU、内存和磁盘;
  • 数据库连接数、锁等待、慢查询;
  • 消息队列积压和消费者处理速率。

可以使用以下命令检查 HPA 是否拿到指标,以及当前副本计算状态:

kubectl get hpa order-api -w
kubectl describe hpa order-api
kubectl top pods -l app=order-api
kubectl get pods -l app=order-api

如果 kubectl top pods 无法返回数据,应先检查资源指标 API,而不是直接修改 HPA 阈值。kubectl describe hpa 中还要关注 ScalingActive、AbleToScale 和 ScalingLimited 等状态条件。

用压测找出安全扩容线

确定 CPU 目标和扩容阈值时,可以按以下顺序验证:

  1. 使用接近生产环境的请求比例、数据大小和缓存状态,逐步增加 RPS;
  2. 记录 CPU、内存、P95/P99 延迟、错误率和下游依赖指标;
  3. 找到延迟或错误率开始明显恶化的负载点;
  4. 将 HPA 目标设置在该拐点之前,并留出指标采集、Pod 启动和流量分配的时间;
  5. 分别验证扩容和缩容,不只验证副本数是否变化;
  6. 检查达到 maxReplicas 后,数据库、节点和队列是否仍处于可接受状态。

例如,压测发现 CPU 利用率达到 80% 后 P95 延迟开始超出目标,而新 Pod 从启动到就绪需要约 40 秒,那么将目标设为 60%~70%通常比等到 80% 才扩容更稳妥。若流量增长速度很快,CPU 指标本身存在采集和计算延迟,可以把每 Pod RPS、活跃请求数或队列深度作为补充指标。

缩容阈值则要关注业务是否真正恢复到低负载状态。对于存在突发流量的服务,通常需要设置几分钟的稳定窗口,并确认队列、连接数和延迟都没有持续上升后再缩容。对于任务处理服务,不能只看 CPU 下降,还要确认积压量已经下降,否则缩容可能让处理速度进一步降低。

最后,扩容阈值应同时满足三项条件:CPU 或业务指标达到预设目标、P95 延迟尚未突破服务目标、扩容后的副本数仍在下游和节点容量范围内。通过这三组数据反复校准 minReplicas、maxReplicas、CPU target 和稳定窗口,才能让 HPA 的副本变化真正对应业务负载,而不是只对某一个监控数值做出反应。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/6011.html

相关推荐