服务器的Prometheus指标标签基数过高如何判断?先看哪些变化
Prometheus 进程内存升高,并不等于服务器上的指标标签基数过高。查询并发、TSDB 压缩、重启后的 WAL 回放,都可能带来相似的内存曲线;反过来,某个标签不断产生新值时,活跃序列数可能已明显增加,而 CPU 暂时还没有异常。
判断时,先在同一观察窗口内对齐三组变化:TSDB 活跃序列数及序列创建、移除速率;Prometheus 的 CPU、内存与磁盘写入;采集时长、查询响应、错误和队列积压。如果序列增长与资源压力同步出现,再检查哪些指标名和标签值推动了增长,才能把“标签基数高”与其他负载变化区分开。
先把变化放进同一个观察窗口
Prometheus 的一条时间序列由指标名和完整标签集合共同确定。同一指标只要多出一个不同的标签组合,就会形成另一条序列。例如,请求指标按 method、status、route 聚合,通常比再加入每次请求都不同的 request_id 更容易控制序列数量。

观察时至少保留变更前的一段稳定基线,以及变更后足以覆盖多个采集周期的窗口。若采集间隔为 15 秒,可以先看变更前后各 30~60 分钟,再拉长到数小时确认趋势。发布、实例扩缩容、采集任务调整的时间点也要标在图上;否则,“业务实例翻倍”很容易被误认为“单实例标签失控”。
以下四个量适合先按 Prometheus 实例分别查看,不宜一开始就把多台 Prometheus 的数据相加:
prometheus_tsdb_head_series:当前 head 中的序列数,用于观察规模和持续增长方向。rate(prometheus_tsdb_head_series_created_total[5m]):近期新建序列速率。rate(prometheus_tsdb_head_series_removed_total[5m]):近期移除序列速率。process_resident_memory_bytes与rate(process_cpu_seconds_total[5m]):分别观察进程驻留内存和 CPU 使用速率;后者数值约为 1 时,表示这段时间平均使用约一个 CPU 核的计算量。
这些是观察项,不是通用告警阈值。尤其要同时看创建和移除:活跃序列数相近的两个系统,一个可能长期稳定,另一个可能持续生成、淘汰大量短命序列,后者同样会给 TSDB 和采集链路带来压力。
指标 A:先看序列规模,再看增长方式
prometheus_tsdb_head_series 持续抬升,是需要追查的信号,但它本身不能说明增长是否异常。判断要追问三个问题:增长从何时开始、持续了多久、是否能由目标数量和采集范围的变化解释。
| 同窗变化 | 更可能的含义 | 下一步核对 |
|---|---|---|
| 活跃序列数阶梯式上涨后趋稳,目标数也同步增加 | 新实例或新采集任务带来规模增长 | 比较每个目标的样本数、检查新增任务 |
| 活跃序列数持续上涨,目标数基本不变 | 原有目标产生了更多标签组合 | 查新增指标名、标签名及标签值 |
| 活跃序列数变化不大,创建和移除速率都明显升高 | 短命标签值造成高流转 | 查请求 ID、时间戳、临时任务 ID 等动态值 |
| 只有内存上涨,序列数与创建速率稳定 | 暂不能归因于标签基数 | 查查询负载、压缩、重启回放及其他进程 |
这里的“基数”应落到序列组合数量,而不只是某个标签有多少种取值。instance 标签值较多,可能只是监控目标多;user_id 标签值即使只出现在一个指标上,也可能与 route、status 等标签组合出大量序列。
创建速率减去移除速率,可以辅助理解短时间内的净增长方向,但不要把任意五分钟的差值直接当成长期容量预测。序列的产生和移除有时间过程,短窗口还可能受到发布、目标失联或采集间隔的影响。
指标 B:资源与服务质量是否跟着变化
确认序列曲线后,再把服务器资源放在相同时间轴上看。标签基数升高会增加索引和序列元数据负担,也可能使样本写入、WAL、查询匹配和远端写入承受更多工作;但各项指标不一定同时升高,更不能要求它们按固定比例变化。
下面是一组用于说明判断方法的模拟监控数据。两个窗口各为一小时,采集任务和目标数量保持不变,表中速率为各窗口内的近似平均值:

| 指标 | 稳定窗口 | 变化窗口 |
|---|---|---|
| TSDB head 活跃序列数 | 约 8 万,基本平稳 | 约 8 万升至 26 万 |
| 序列创建速率 | 约 5 条/秒 | 约 65 条/秒 |
| 序列移除速率 | 约 4 条/秒 | 约 15 条/秒 |
| Prometheus CPU 使用速率 | 约 0.8 核 | 约 2.1 核 |
| Prometheus 进程驻留内存 | 约 2.0 GiB | 约 4.8 GiB |
| 所在磁盘写入吞吐 | 约 8 MB/秒 | 约 30 MB/秒 |
变化窗口中,创建与移除速率之差约为 50 条/秒;持续一小时,对应约 18 万条的净增长,与表中的 head 序列变化方向和量级相符。CPU、驻留内存、磁盘写入也在同一时段升高,因此“序列增长正带来 Prometheus 资源压力”是值得优先验证的解释。这里的 MB/秒按十进制字节单位理解,GiB 则是二进制内存单位,两者不宜直接当成同一口径比较。
还需向采集和使用端各看一步。scrape_samples_post_metric_relabeling 可帮助比较各目标在最近一次采集中进入存储路径的样本数,但它不是活跃序列总数;scrape_duration_seconds 能显示目标采集是否逐渐逼近配置的采集间隔。若配置了远端写入,还应观察待发送样本队列、发送失败和重试情况。查询侧则看同类查询的响应时间、超时和错误率,而不是只看某次复杂查询的耗时。
这些指标的关系比单点数值重要:序列增长 → CPU、内存或 I/O 压力增加 → 采集、查询或写入队列出现退化,是较强的联动证据;只有前两步、尚无服务质量退化时,也应提前评估余量,不能等到采集失败才处理。
排除几种相似但原因不同的变化
资源曲线吻合后,仍应先排除替代解释,避免把正常扩容或其他瓶颈误判为标签问题。
目标数量变化。检查 up 所反映的目标状态、服务发现结果和采集配置变更。如果新增了一批相同规格的应用实例,序列总数增加可能符合预期。此时更有意义的是比较同类目标的每目标样本量,以及新增后的 Prometheus 容量是否仍有余量。
采集频率变化。从 30 秒改为 15 秒,在每次采集样本数相近时,样本写入速率大致会翻倍,但活跃序列数不必随之翻倍。若磁盘写入和 CPU 上升、序列数基本稳定,应优先检查采集间隔,而不是先删标签。
查询负载或压缩活动。临时范围查询、看板集中刷新可能拉高 CPU 和内存,TSDB 后台压缩也会影响磁盘 I/O。若序列规模和创建速率没有对应增长,要结合查询请求、慢查询时间点及 TSDB 活动继续判断。
服务器自身瓶颈。磁盘写入吞吐不高也可能出现高 I/O 等待,例如存储延迟升高或与其他进程争用;网络拥塞则可能让远端写入队列增加,但本地序列数稳定。应把服务器 CPU、可用内存、磁盘延迟与利用情况、网络发送速率,和 Prometheus 进程指标分开看。应用接口响应时间、5xx 错误率或业务队列积压,也不能直接当成 Prometheus 标签基数的证据:它们可能与同一次发布相关,却由应用逻辑或数据库负载造成。
找到增长来自哪个指标和标签
排除明显的目标扩容后,再缩小范围,不要直接对全量序列执行昂贵的临时聚合查询。Prometheus 的 /api/v1/status/tsdb 可用于查看 head 状态、序列数较多的指标名,以及标签名的取值数量等线索;接口返回的是该实例当时的状态,适合与变更前留存的结果比较。

定位时按“指标名 → 标签名 → 标签值变化”收敛。例如,某请求计数指标的序列数随发布大增,而其 route 标签从固定路由模板变为包含具体订单号的路径,就需要进一步核对采集样本。某标签的不同取值数,不等于它造成的序列数:多个标签组合后的数量才是容量影响所在。
高风险特征通常是标签值随事件不断产生,且难以复用,例如请求 ID、会话 ID、精确时间戳、完整 URL 中的动态参数。相反,固定且数量可控的 HTTP 方法、状态码,或使用模板化路径的路由标签,通常更容易管理。是否保留某个标签,应同时看它对排障和聚合是否必要,以及它实际新增了多少序列;不能只凭标签名字决定。
如果同时有“活跃序列持续增长”和“创建、移除速率明显升高”,应分别处理:前者可能是长期累积的组合变多,后者可能是动态值引起的短命序列流转。只看 head 曲线是否最终趋稳,会漏掉后一种压力。
形成判断后,用同一组指标复测
可以把判断分成三级,而不是设置一个适用于所有服务器的“序列数红线”:

- 需要调查:同等目标数量、同等采集配置下,head 序列数或创建速率相对自身基线持续升高,并能定位到特定指标或标签的变化。
- 已有容量压力:上述变化与 Prometheus 的 CPU、驻留内存、磁盘负载至少一项持续联动;要结合服务器剩余资源和正常峰值判断影响。
- 已影响服务:采集耗时逼近采集间隔、采集失败增多,或查询响应时间、错误率、远端写入积压同步恶化。此时应优先控制增长来源,并评估实例容量与采集范围。
优化标签后,应在相似业务流量、相同采集配置下复测,而不是只比较修改前后的一个瞬时值。先确认新创建序列速率是否下降、目标每次采集的样本数是否符合预期,再观察 head 序列数及内存曲线。已有序列不会因为标签刚被修改就必然立即从 head 中消失,因此“创建速率先改善、活跃序列数随后回落”比要求两者同时归零更合理。
下一次遇到疑似标签基数过高,建议同时打开这组图:head 活跃序列数+创建/移除速率,目标数+每目标采集样本数,Prometheus CPU/驻留内存+磁盘 I/O,采集耗时+查询响应/错误率;配置了远端写入时再加待发送队列。把它们对齐到同一次发布或配置变更,才容易判断增长来源、实际性能影响,以及处理后是否真正恢复。
Prometheus 的序列规模与资源压力往往和承载它的服务器配置相关。A5数据提供香港、美国、日本等地区的物理服务器,涵盖 Xeon Gold、AMD EPYC 等平台,以及 SSD、NVMe 等存储配置,可为监控服务、业务后台和数据库提供不同的计算与存储资源基础。多地区机房及不同线路方案,也能适配面向不同区域的业务部署需求。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5579.html