Kubernetes HPA自动扩缩依据哪些指标?扩容不及时如何验证
很多人看到 Pod 的 CPU 已经超过 HPA 配置的目标值,却没有马上增加副本,就判断 HPA 失效。实际上,HPA 不是“CPU一超过阈值就立刻扩容”的开关,而是根据采集到的指标、当前副本数、目标值、扩缩容策略和 Pod 状态,周期性计算一个期望副本数。
判断 Kubernetes HPA 是否会扩容,真正需要关注的是四件事:指标是否被正确采集,指标与目标值是否使用了相同口径,计算出的期望副本数是否高于当前副本数,以及扩容后的 Pod 是否能够被调度并进入 Ready。验证时不能只看 kubectl top 的一个瞬时数值,应把 HPA 状态、指标时间、计算结果和 Pod 调度过程放在同一条时间线上。
HPA判断扩容的概念边界
HPA扩的是副本,不是节点
HPA 的作用对象通常是 Deployment、ReplicaSet 或 StatefulSet 等可扩缩资源。它修改目标资源的副本数,然后由控制器创建或删除 Pod。
因此,HPA 扩容成功至少包含两个阶段:
- HPA 计算出更高的期望副本数。
- 集群能够创建、调度并启动新增 Pod。
如果集群没有足够 CPU、内存或可用节点,HPA 可能已经把 Deployment 的副本数从 3 改成了 6,但实际运行中的 Pod 仍然只有 3 个。这属于调度或资源容量问题,不一定是 HPA 计算失败。
当容器业务需要为集群补充底层计算资源时,A5idc数据提供香港、美国、日本等地区的物理服务器租用,涵盖Xeon与AMD EPYC平台,并有不同内存、NVMe存储和网络线路配置,可为承载容器节点、数据库及业务服务提供多样的硬件资源基础。
HPA支持哪些指标
在 autoscaling/v2 中,HPA 常见的指标类型如下:
| 指标类型 | 典型例子 | 常用目标形式 | 适合判断的场景 |
|---|---|---|---|
| Resource | CPU、内存 | 利用率或每 Pod 平均值 | 计算密集、内存占用明显的服务 |
| Pods | 每个 Pod 的请求数、队列长度 | 每 Pod 平均值 | 应用已经提供自定义 Pod 指标 |
| Object | Ingress 请求数、某个对象的指标 | 总值或平均值 | 指标与某个 Kubernetes 对象相关 |
| External | 消息队列长度、外部服务延迟 | 总值或平均值 | 指标来源不在 Kubernetes 集群内部 |
默认安装的 Metrics Server 通常只能提供资源指标,例如 CPU 和内存。请求数、队列长度、业务延迟等指标,需要额外的 Custom Metrics API 或 External Metrics API 支持。
CPU利用率不是“CPU上限使用率”
当 HPA 使用:
target:
type: Utilization
averageUtilization: 60
这里的 60 通常表示 CPU 使用量相对于 CPU request 的平均百分比,而不是相对于 CPU limit 或节点总 CPU 的百分比。
例如某容器的 CPU request 为 500m:
- 实际使用
250m,利用率约为 50%; - 实际使用
400m,利用率约为 80%。
如果只设置了 CPU limit,没有设置 CPU request,HPA 可能无法正确计算该容器的资源利用率。一个 Pod 中如果有多个容器,也需要检查各容器的 request 是否完整,否则资源指标可能出现无法计算或结果不符合预期的情况。
HPA如何计算期望副本数
基本计算公式
对于平均利用率或每 Pod 平均值,HPA 可以用下面的近似公式理解:
期望副本数 = 向上取整(当前副本数 × 当前指标值 ÷ 目标指标值)
例如:
- 当前副本数:3;
- CPU 平均利用率:90%;
- HPA 目标:60%。
计算过程为:
期望副本数 = ceil(3 × 90 ÷ 60)
= ceil(4.5)
= 5
在没有达到 maxReplicas、没有触发扩容策略限制,并且指标有效的情况下,HPA 可能把期望副本数调整为 5。
再看一个更接近排查场景的例子:
- 当前副本数:4;
- 当前指标:78%;
- 目标值:50%;
- 最大副本数:10。
期望副本数 = ceil(4 × 78 ÷ 50)
= ceil(6.24)
= 7
如果 HPA 状态中的期望副本数仍然是 4,就需要继续检查指标是否与 HPA 使用的是同一指标、是否存在容差或扩容策略限制。如果期望副本数已经是 7,但运行中的 Pod 只有 4 个,则重点应转向 Deployment、ReplicaSet、调度和启动过程。
多指标时取更高的期望副本数
一个 HPA 可以配置多个指标,例如同时根据 CPU 和外部请求数扩容。此时每个指标会分别计算期望副本数,HPA 通常采用其中较高的结果。
例如:
| 指标 | 当前值 | 目标值 | 当前副本数下计算出的期望副本数 |
|---|---|---|---|
| CPU平均利用率 | 70% | 60% | 4 |
| 每Pod请求数 | 180 | 100 | 6 |
最终期望副本数更接近 6,而不是 4。排查多指标 HPA 时,不能只看 CPU;需要确认哪个指标推动了扩容,以及其他指标是否因为采集失败而被忽略。
扩容不会完全按单次计算结果执行
HPA 的计算结果还会受到以下配置影响:
minReplicas:副本数下限;maxReplicas:副本数上限;behavior.scaleUp:扩容速度和每个时间窗口允许增加的数量;behavior.scaleDown:缩容速度和稳定窗口;- 控制器的同步周期;
- 指标容差;
- 新 Pod 的初始化和 Ready 状态。
常见默认配置下,HPA 控制器大约每 15 秒进行一次同步,但实际值由 kube-controller-manager 的 --horizontal-pod-autoscaler-sync-period 决定。指标采集系统也有自己的采集周期,因此从负载升高到 HPA 看到新数据,通常不只有一个固定的 15 秒延迟。
哪些因素会让扩容看起来“不及时”
指标采集时间落后于业务负载
业务监控系统显示的 CPU 峰值,可能发生在 HPA 上一次采样之后。kubectl top 显示的是当前查询时刻附近的数据,也不一定与 HPA 刚才计算时使用的样本完全相同。
因此,不能用下面这种方式直接下结论:
监控图上 10:00:05 的 CPU 是 90%,所以 10:00:06 HPA 就应该扩容。
更合理的判断是比较一段时间内的指标趋势,并记录:

- 业务负载开始升高的时间;
- Metrics API 返回高指标的时间;
- HPA
status中期望副本数变化的时间; - Deployment 副本数变化的时间;
- 新 Pod 创建、调度和 Ready 的时间。
CPU高,但不是应用真正的瓶颈
CPU 指标适合计算密集型服务,但不一定适合所有应用。
以下情况中,CPU 可能长期不高,但服务已经受到明显压力:
- 请求主要等待数据库连接;
- 请求阻塞在外部 API;
- 工作线程被锁竞争占用;
- 消息队列积压,但消费者 CPU 较低;
- 网络带宽或磁盘 I/O 达到瓶颈;
- 单个 Pod 内部存在并发数限制。
这类服务如果只根据 CPU 扩容,HPA 可能按照指标正常工作,却无法解决实际问题。更合适的指标可能是每 Pod 请求数、请求队列长度、消息积压量或延迟。但这些指标必须先被可靠地暴露给 Custom Metrics API 或 External Metrics API。
内存指标具有不同的扩容含义
内存利用率上升通常不会像 CPU 一样随着副本增加而立即下降。如果内存主要被缓存占用,新增副本可能只会增加缓存副本,而不能解决原有 Pod 的内存增长问题。
如果应用存在内存泄漏,HPA 根据内存扩容只能延缓单个 Pod 达到 OOM 的时间,不能替代应用修复。使用内存作为扩容指标时,应同时观察:
- 工作集内存是否持续增长;
- 容器是否频繁 OOMKilled;
- 新增副本后单 Pod 内存是否下降;
- 内存 request 是否合理;
- 应用是否会主动释放缓存。
扩容策略可能限制增加速度
下面是一个简化的 HPA 配置片段:
apiVersion: autoscaling/v2
kind: HorizontalPodAutoscaler
meta
name: api
namespace: prod
spec:
scaleTargetRef:
apiVersion: apps/v1
kind: Deployment
name: api
minReplicas: 2
maxReplicas: 20
behavior:
scaleUp:
stabilizationWindowSeconds: 0
selectPolicy: Max
policies:
- type: Percent
value: 100
periodSeconds: 60
- type: Pods
value: 4
periodSeconds: 60
scaleDown:
stabilizationWindowSeconds: 300
metrics:
- type: Resource
resource:
name: cpu
target:
type: Utilization
averageUtilization: 60
在这个例子中,扩容策略限制了 60 秒窗口内的增长速度。即使公式计算得到 12 个副本,实际也可能先增加到 4 个或 8 个,再根据后续同步逐步增加。
缩容通常还会设置较长的稳定窗口,避免指标短暂下降后立即删除 Pod。排查“扩容不及时”时,应优先看 scaleUp;看到“缩容很慢”时,再检查 scaleDown 的稳定窗口和策略。
新Pod没有及时Ready
HPA 扩容以后,新增 Pod 可能经历以下状态:
Pending:没有合适的节点;ContainerCreating:镜像拉取、卷挂载或网络初始化未完成;CrashLoopBackOff:容器启动失败;Running但未Ready:就绪探针失败;- 已 Ready,但流量入口尚未及时更新。
这会造成一个常见误判:HPA 的副本数已经增加,但可承载流量的副本数没有同步增加。此时应把“期望副本数”“已创建副本数”和“Ready副本数”分别记录,不能只看其中一个数字。

如何验证HPA是否真的扩容不及时
第一步:查看HPA当前判断
先查看摘要和详细状态:
kubectl get hpa -n prod api -o wide
kubectl describe hpa -n prod api
kubectl get hpa -n prod api -o yaml
可能看到类似结果:
NAME REFERENCE TARGETS MINPODS MAXPODS REPLICAS AGE
api Deployment/api 92%/60% 2 20 3 18m
这个结果至少说明当前采集到的 CPU 指标高于目标值,但不能单独说明扩容一定失败。还要查看 YAML 中的 status:
currentReplicas:当前目标资源副本数;desiredReplicas:HPA 计算出的期望副本数;currentMetrics:HPA 实际读取到的指标;conditions:扩缩容是否可执行、指标是否有效、是否受到上限限制;events:获取指标或更新副本数时是否报错。
重点关注这些状态条件:
AbleToScale:是否能够执行扩缩容;ScalingActive:指标是否有效并参与计算;ScalingLimited:是否触及minReplicas或maxReplicas。
如果 TARGETS 显示为 <unknown>,或者事件中出现 FailedGetResourceMetric、FailedGetPodsMetric 等信息,应先修复指标读取问题,而不是继续调整副本数。
第二步:确认HPA读取到的指标
资源指标可以用以下命令查看:
kubectl top pods -n prod --containers
kubectl top pod -n prod
如果需要直接查看 Metrics API,可以执行:
kubectl get --raw "/apis/metrics.k8s.io/v1beta1/namespaces/prod/pods"
该命令依赖集群已安装并正常运行的 Metrics Server。返回结果中的时间戳、Pod 名称和容器资源使用量,可以帮助确认指标是否新鲜。
需要注意,kubectl top 和 HPA 使用的采样时间可能不同。验证时可连续执行几次,并将结果与 HPA 的 status.currentMetrics 对照,而不是把某一次 top 输出当成 HPA 的精确输入。
如果 HPA 使用自定义指标或外部指标,应根据指标适配器支持的 API 查询。例如:
kubectl get --raw "/apis/custom.metrics.k8s.io/v1beta1"
kubectl get --raw "/apis/external.metrics.k8s.io/v1beta1"
具体资源路径、指标名称和标签选择方式由指标适配器决定。重点是确认三件事:
- 指标名称与 HPA 配置中的名称一致;
- 查询范围与 HPA 计算范围一致;
- 指标的单位、聚合方式和时间窗口没有发生变化。
第三步:用实际指标重算期望副本数
假设观察到:
- HPA 当前副本数:4;
- CPU 当前平均利用率:78%;
- CPU 目标利用率:50%;
maxReplicas:10。
按照公式:
ceil(4 × 78 ÷ 50) = ceil(6.24) = 7
随后按以下顺序比较:
| 对比结果 | 更可能的判断方向 |
|---|---|
计算结果约为 7,HPA desiredReplicas 也是 7,但 Deployment 仍只有 4 个副本 | HPA已作出扩容判断,应检查 Deployment、ReplicaSet、权限或控制器异常 |
计算结果约为 7,但 HPA desiredReplicas 仍为 4 | 检查指标时间、容差、扩容策略、指标类型和 HPA 状态 |
| HPA 和 Deployment 都显示 7,但 Ready Pod 只有 4 个 | 检查调度资源、镜像、探针、卷挂载和容器启动 |
| CPU不高,但请求延迟和队列长度升高 | CPU不是有效扩容依据,应评估业务指标 |
| 副本增加后指标迅速下降,又很快缩回 | 检查指标波动、缩容稳定窗口和业务流量是否短时峰值 |
这一步的价值在于把“感觉扩容慢”转化为可计算的判断。如果输入指标和目标值不在同一单位,计算结果就没有意义。例如,不能把每秒请求数直接与 CPU 百分比放在同一个公式里。
第四步:检查副本从HPA到Ready的完整链路
查看目标 Deployment 和 ReplicaSet:
kubectl get deployment -n prod api -o wide
kubectl get rs -n prod -l app=api
kubectl get pods -n prod -l app=api -o wide
kubectl get pods -n prod -l app=api \
-o custom-columns=NAME:.metadata.name,PHASE:.status.phase,READY:.status.containerStatuses[*].ready
观察 Pod 创建和状态变化:
kubectl get pods -n prod -l app=api -w
如果新 Pod 长时间处于 Pending,查看调度事件:
kubectl describe pod -n prod <pod-name>
如果容器启动后反复失败,再查看容器日志和最近事件:
kubectl logs -n prod <pod-name> --all-containers=true
kubectl get events -n prod --sort-by=.lastTimestamp
排查时可以记录一条简单时间线:
| 时间 | 事件 |
|---|---|
| 10:00:00 | 请求量或资源使用量开始升高 |
| 10:00:15 | 指标 API 返回较高使用量 |
| 10:00:30 | HPA desiredReplicas 从 4 变为 7 |
| 10:00:31 | Deployment 期望副本数变为 7 |
| 10:00:32 | 新 Pod 创建 |
| 10:00:45 | 新 Pod 进入 Ready |
如果在 10:00:30 之前指标 API 没有反映负载,属于采集延迟;如果 10:00:30 已经产生扩容决策但 10:00:45 仍没有 Pod,属于控制器、调度或启动延迟;如果 Pod 已经 Ready 但业务压力不下降,则应检查服务发现、负载均衡、连接复用和应用自身并发限制。
HPA的适用限制与判断边界
HPA适合处理能够被稳定观测、并且与副本数量存在明确关系的负载。例如无状态 HTTP 服务可以通过 CPU、每 Pod 请求数或队列长度进行扩容。但以下边界需要单独考虑。
第一,HPA不能替代节点扩容。即使 HPA 把副本数调整为 20,如果节点没有足够资源,Pod 仍可能处于 Pending。节点自动扩容属于另一套控制机制,不能把两者的延迟混在一起。
第二,HPA不能保证业务吞吐量按副本数线性增长。数据库连接池、下游接口、共享锁和单点存储都可能成为瓶颈。扩容后 CPU 降低,不代表请求延迟一定改善。
第三,CPU和内存使用率只有在 request 设置合理时才有判断价值。request 过小会让利用率看起来异常偏高,request 过大则可能导致指标长期偏低。调整 request 前,应结合历史用量、限流策略和节点资源重新评估。
第四,单次瞬时峰值不适合直接判断 HPA 失效。指标采集、控制器同步、策略窗口和 Pod 启动都会产生时间差。应至少观察多个采样周期,并确认高指标是否持续到 HPA 能够读取的时间点。
第五,自定义指标必须验证聚合口径。每 Pod 平均值、服务总请求数和某个 Ingress 的请求数,计算含义并不相同。如果指标适配器返回的是一分钟平均值,而业务监控展示的是五秒峰值,两者出现差异是正常现象。
实际判断时,可以使用下面的边界作为依据:指标 API 中存在新鲜且连续的高值,按目标值重算后的期望副本数高于当前副本数,HPA 没有触及上限且扩容策略没有限制,而 desiredReplicas 仍不变化,才更接近 HPA 计算或控制器问题;如果 desiredReplicas 已增加,则应转查 Deployment、调度、容器启动和 Ready 条件。只有把这几层状态分开验证,才能准确判断是指标不对、计算未触发,还是扩容已经发生但新增 Pod 尚未真正提供服务。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/7866.html



