Grafana告警触发却没有数据,如何沿采集链路定位服务器监控问题
一条服务器告警显示“无数据”,影响可能只落在某个磁盘指标,也可能覆盖整台服务器,甚至波及同一采集任务下的所有主机。定位时先看影响范围,再沿“Grafana 告警评估 → 数据源查询 → 指标存储与采集 → 服务器上的指标端点”回溯:哪一环最后一次有数据,下一环何时开始没有数据,通常比单看告警消息更有判断价值。
还要先区分两种现象:Grafana 因查询结果为空而将告警置为 No Data,以及告警条件正常触发,但面板上恰好看不到数据。两者可能对应不同的查询时间范围、标签条件或规则配置,不能直接归因为服务器宕机。下面以 Grafana 查询 Prometheus、Prometheus 抓取服务器指标为例;若使用其他采集器或远程存储,沿相同链路查对应组件的状态和日志即可。
确认症状:把“无数据”缩小到规则、指标和时间段
先记录告警规则 UID、规则名称、数据源、查询表达式、评估间隔,以及受影响实例的标签,例如 job、instance。同时记下三个时间点:最后一个正常样本、首次出现 No Data 的评估时间、首次收到通知的时间。通知可能受评估间隔和通知策略影响,不能把通知时间直接当作采集中断时间。
在 Grafana 告警详情和数据源的 Explore 页面,用同一数据源、同一表达式、同一标签条件重查告警时段。检查规则是否使用了即时查询、缩减表达式或额外的标签过滤;面板查询正常,不等于告警规则的查询也正常。若规则只对一台服务器无数据,优先关注该实例及其标签;若所有实例同时消失,优先检查公共的数据源、采集任务或存储链路。
“无数据”也不等于数值为零。查询返回 0,说明该时间点存在样本;返回空结果,则要继续判断是目标没有被抓取、指标没有暴露、标签不匹配,还是查询时间窗口没有覆盖有效样本。Grafana 的 No Data、Error 状态处理可由规则配置决定;看到“告警触发”时,应同时核对实际评估状态和通知内容,而不是只看通知标题。
建立原因树:每个分支都要有可验证的依据
排查可以按由外到内、由低风险到高风险的顺序展开。下表中的“下一步”用于选择检查方向,不代表单凭一个现象就能确认根因。
| 层级 | 主要观察依据 | 不同结果指向的下一步 |
|---|---|---|
| 告警与查询 | 规则查询、评估时间、标签、数据源 UID;Grafana 日志中的查询错误 | 查询为空但指标实际存在,检查表达式、标签和时间窗口;查询报错,检查数据源连接和权限 |
| 指标存储与采集 | Prometheus 查询结果、Target 状态、lastScrape、lastError、up | Target 为 DOWN,检查采集端到指标端点;Target 为 UP 但业务指标缺失,检查指标暴露及规则查询 |
| 网络 | 从采集端访问指标端点的连接、超时、DNS 或 TLS 错误 | 连接失败则按解析、路由、端口和访问策略继续排查;连接成功则检查 HTTP 响应与指标内容 |
| 系统与服务 | 服务器资源状态、指标服务进程、监听端口、服务日志 | 进程停止或端口未监听,查服务退出原因;服务正常则检查具体 collector 或应用指标 |
| 应用 | 应用日志、指标接口响应、指标名称及标签 | 应用指标缺失或标签变化,回到应用发布、配置和告警表达式核对 |
这里有一个重要边界:up 是 Prometheus 对某个抓取目标的采集结果,不是服务器整体健康状态。up{job="node",instance="..."} == 1 只能说明相应目标最近一次抓取成功;它不能证明应用指标齐全,也不能证明 Grafana 查询使用了正确标签。
逐层排除:先读状态,再对照日志
从 Grafana 的评估记录和日志开始
确认告警由 Grafana 管理,还是由数据源侧规则产生、再由 Grafana 展示。前者重点查 Grafana 的规则评估与数据源请求;后者还要查实际执行规则的组件。先在界面记录规则 UID、查询 Ref ID、数据源 UID 和失败时段,再读取运行 Grafana 的节点日志。
若 Grafana 以 systemd 服务运行,可先核验服务名,再按时段查看;容器部署则应使用容器平台对应的日志入口,不要套用主机上的服务名。
systemctl list-units --type=service --all | grep -Ei 'grafana|prometheus'
journalctl -u grafana-server --since '-2 hours' --utc --no-pager
日志里重点找规则标识、数据源标识、错误类型和时间戳。例如连接超时、认证失败或查询执行错误,说明应先处理 Grafana 到数据源的请求;如果评估成功但结果为空,则继续查看数据源在相同时间段是否有样本。日志中没有某条规则的错误,也不能单独证明评估成功,应与告警历史及数据源查询结果交叉核对。
在 Prometheus 确认“没抓到”还是“抓到了但查不到”
在 Prometheus 的 Targets 页面检查对应 job、instance 的状态、最近抓取时间、耗时和错误。若有权限从受控管理终端访问本机 Prometheus,也可查看目标接口;不要为排障把管理接口临时暴露到公网。
curl -fsS 'http://127.0.0.1:9090/api/v1/targets?state=active'
其中 lastError 比单独的 DOWN 更能缩小范围:连接超时通常先查网络路径;connection refused 先查目标端口和服务监听;HTTP 错误先查指标接口及访问控制;解析或格式错误则查返回的指标文本。某些抓取错误主要体现在 Target 状态中,不一定能在 Prometheus 服务日志里找到逐次对应的记录。
再用 Prometheus 表达式浏览器查询对应目标的 up,并查询告警所用的原始指标。结果可按以下方式分支:

up=0:目标仍在采集配置中,但最近一次抓取失败。沿 Target 错误检查采集端到目标端的链路。- 查不到该目标的
up序列:检查目标是否从服务发现中消失、标签是否变化、采集任务是否被修改;不要直接判定服务器离线。 up=1,原始指标为空:抓取成功,但该指标可能未暴露、名称或标签改变,或者查询过滤条件过严。- 原始指标有样本,Grafana 告警为空:回查数据源选择、规则表达式、评估时间及 Grafana 到数据源的访问情况。
Prometheus 服务日志适合查配置加载失败、服务启动异常、存储问题等公共故障。先核验服务名,再读取相同时间窗:
systemctl list-units --type=service --all | grep -Ei 'prometheus'
journalctl -u prometheus --since '-2 hours' --utc --no-pager
如果 Grafana 查询的是远程存储,而 Prometheus 本地仍有样本,还要检查远程写入队列、发送错误和接收端状态。此时“本地抓取正常”只能排除服务器到本地 Prometheus 的一段链路,不能排除后续数据传输故障。
目标抓取失败时,拆开网络、系统和服务
网络检查应从实际发起抓取的节点执行。在该节点访问 Targets 页面列出的准确地址和路径,而不是随意换一台能访问目标的机器测试。以下是格式示例,地址和端口应以实际 Target 配置为准:
curl -v --connect-timeout 3 --max-time 10 \
'http://192.0.2.10:9100/metrics' \
-o /dev/null
连接超时、连接被拒绝、HTTP 返回非预期状态,含义不同。前者继续核对解析结果、网络路径与访问策略;连接被拒绝要到目标主机核对进程和监听地址;HTTP 错误则检查服务日志及接口配置。排查中先读取现有规则和配置,不宜仅凭一次超时就修改防火墙。
若 Target 是 node_exporter,到目标服务器核验进程及其日志。服务名可能因安装方式不同而变化,应先查询:
systemctl list-units --type=service --all | grep -Ei 'node.?exporter'
确认服务名后,再用 systemctl status 和 journalctl -u 实际服务名 检查退出、启动失败或 collector 报错。若是容器运行,则查看对应容器状态与日志。进程正常且指标端点可访问时,进一步核对监听地址、Prometheus 配置的目标地址,以及返回内容中是否确实包含告警需要的指标。
服务器系统问题也要与证据对应:内存压力导致指标进程退出,应能在服务状态、系统日志或资源记录中找到时间上相符的迹象;磁盘指标缺失但 CPU 指标仍在,更值得先查对应 collector、文件系统挂载和指标标签,而不是概括为“服务器监控整体中断”。
应用指标还需单独判断。node_exporter 的抓取成功,并不能证明应用自身的 /metrics 接口正常。对应用告警,应查看应用 Target、应用日志及指标接口返回;发布后指标改名或标签变化,也可能让旧规则得到空结果,而服务器基础指标始终正常。
关联时间线,定位能够解释全部现象的根因
读日志时统一时区,并把事件放到一条时间线上。至少对齐告警评估时间、最后正常样本、Target 首次失败或指标首次缺失、相关服务或应用事件。还要留意抓取间隔与告警评估间隔:两者并不一定同频,某条日志比通知早几分钟,并不意味着时间线矛盾。
下面是一组模拟记录,用于演示判断方式,并非对任何实际环境的检查结果:
10:02:00Z node 目标最后一次抓取成功
10:03:00Z Target lastError: dial tcp 192.0.2.10:9100: connect: connection refused
10:03:12Z 目标主机服务日志:node_exporter 进程退出
10:05:00Z Grafana 规则评估得到 No Data
10:06:00Z 告警通知发出
这组记录中,连接被拒绝、服务退出和样本中断相互印证,排查重点可收敛到指标服务为何退出。若同一时段目标主机上的指标端点一直正常,而采集端显示连接超时,则应把重点移回网络路径;若 Target 始终为 UP,就不应把服务退出作为首选解释。
定位根因时,尽量写成可检验的陈述,例如“某实例指标服务退出,导致 Prometheus 对该目标连续抓取失败,规则在有效时间窗内没有取得样本”,而不是只写“Grafana 无数据”。前者明确了故障点、传播路径和受影响的规则。
验证恢复,并留下复发监控点
修复措施取决于已确认的原因。若需要重启服务、修改配置或调整访问策略,应先确认操作窗口和影响范围,备份原配置,记录原服务状态与规则;变更后按原记录恢复配置或撤销变更,并复查 Target 与告警状态。不要用重启 Grafana 代替对采集失败原因的确认。
恢复验收也要沿链路逐段完成:目标指标接口返回预期指标;Prometheus Target 连续抓取成功,up 与原始指标恢复产生样本;Grafana 用告警规则的原表达式和标签能查到数据;规则经过后续评估周期转为预期状态。只看到通知停止,不足以证明采集已经恢复,因为静默、路由或规则状态配置也会影响通知。
为避免同类问题再次只在业务告警中暴露,可分别监控采集目标 up、关键指标是否持续存在、Grafana 规则评估错误,以及使用远程存储时的写入失败与积压。监控这些点时保留 job、instance、规则或数据源等定位标签,并明确各自负责的链路段:下一次出现 No Data,才能迅速判断是服务器没有提供指标、采集端没有取得指标,还是告警查询没有读到已有数据。
服务器监控链路的稳定运行,离不开与业务负载相匹配的计算、存储和网络资源。A5idc数据提供香港、美国、日本、韩国、中国台湾、新加坡和马来西亚等地区的物理服务器,涵盖Xeon与AMD平台、SSD或NVMe存储及不同线路方案,可用于承载Prometheus等采集组件、业务服务和监控数据存储。香港另有大容量存储配置,美国及香港也提供多IP服务器,能够覆盖不同地区部署、指标数据留存和多业务实例的资源需求。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/7767.html

