服务器上的Grafana数据源超时怎么查,如何区分网络与查询问题

发布人:A5数据发布时间:2026-11-09 10:54阅读量:69

Grafana 数据源超时,不能只看面板上显示的“timeout”就判断是网络故障。一次查询通常经过浏览器、Grafana Server、反向代理、数据源服务和数据库或存储层,任何一层都可能先达到自己的超时阈值。实际排查应先确认请求是否到达数据源,再看数据源是否开始执行查询,最后对比各层的耗时和截止时间。

运维时可以按“现象确认 → Grafana 日志 → Grafana 主机到数据源的网络 → 数据源查询日志 → 结果分支 → 修复验证”的顺序处理。网络连接失败、TLS 或 DNS 异常,通常不会在数据源产生完整查询记录;如果数据源已经记录了查询并在固定时长后取消,则更可能是查询慢、资源等待或某一层的读取超时。

先确认超时发生在哪一段

一次请求涉及的链路

常见链路可以抽象为:

先确认超时发生在哪一段 / 一次请求涉及的链路配图

浏览器
  ↓
Nginx、负载均衡或其他反向代理
  ↓
Grafana Server
  ↓
Grafana 数据源插件
  ↓
数据源 HTTP/TCP 服务
  ↓
数据库、时序存储、日志存储或对象存储

需要先分清三个容易混淆的现象:

  • 浏览器访问 Grafana 页面本身很慢,可能是 Grafana 前端、反向代理或浏览器网络问题。
  • Grafana 页面正常打开,但执行面板查询超时,重点检查 Grafana 到数据源的链路和查询执行。
  • Grafana 日志显示请求已经发往数据源,但数据源没有返回,才需要继续区分连接阶段和查询阶段。

在 Grafana 面板中打开查询编辑器或 Query Inspector,记录以下信息:

  • 请求发生的准确时间,最好统一换算为 UTC。
  • 面板名称、数据源名称和数据源类型。
  • 查询文本或表达式。
  • 查询开始时间、结束时间、时间范围和步长。
  • 返回状态码、错误信息、请求耗时和响应大小。
  • 是否只有一个面板超时,还是整个仪表盘的多个查询同时超时。

如果只有某一个面板超时,而其他面板使用同一数据源且能正常返回,优先怀疑该查询的时间范围、过滤条件、标签基数或返回数据量。如果所有面板都超时,则应先检查连接、DNS、代理和数据源服务状态。

用一个完整时间窗口记录现象

不要只记录“10点左右超时”。建议确定一个包含成功和失败请求的时间段,例如故障前后各5分钟,并同时保存:

记录对象需要关注的内容判断用途
Grafana 请求日志请求时间、路径、状态码、耗时、错误信息判断 Grafana 是否收到并结束请求
反向代理日志request_time、upstream_connect_time、upstream_response_time、上游状态码区分代理等待和上游响应
数据源日志查询开始时间、完成时间、取消原因、执行耗时判断请求是否真正进入数据源
系统指标CPU、内存、磁盘延迟、连接数、网络丢包判断资源等待或系统级拥塞
浏览器 Query Inspector查询内容、请求参数、响应状态、前端耗时判断前端请求与 Grafana API 的关系

时间线越精确,越容易判断“谁先结束”。例如 Grafana 在 10:00:30.012 返回 504,而数据源在 10:00:29.980 记录查询被取消,说明 Grafana 或代理的截止时间先到;如果数据源在 10:00:31.500 仍然没有任何对应记录,则连接可能没有真正建立,或者日志落在其他节点。

从 Grafana Server 日志开始

先确认 Grafana 的运行方式

同一台服务器上的 Grafana 可能通过 systemd、Docker 或 Kubernetes 运行,日志位置不能凭经验直接套用。先确认进程和服务来源:

systemctl list-units --type=service --all | grep -i grafana
ps -ef | grep '[g]rafana'
docker ps --format 'table {{.ID}}\t{{.Image}}\t{{.Names}}\t{{.Ports}}'

如果看到 grafana-server.service,可以读取指定时间段的日志:

sudo journalctl -u grafana-server \
  --since "2025-01-15 10:00:00" \
  --until "2025-01-15 10:10:00" \
  --no-pager

如果 Grafana 由 Docker 运行,使用容器日志:

docker logs --since "2025-01-15T10:00:00" \
  --until "2025-01-15T10:10:00" \
  grafana

上面的 grafana 只是容器名示例,应替换为实际名称。命令只读取日志,不会修改服务。若两种方式都没有结果,先通过进程参数或容器信息确认日志是否被写入文件、集中日志系统或 Kubernetes 日志系统。

重点查看哪些字段

不同 Grafana 版本的日志字段名称可能不同,但以下信息通常具有相同含义:

  • t、time 或 timestamp:事件时间。
  • logger:日志来源,例如请求上下文、数据源插件或查询执行模块。
  • method、path:请求方法和路径,查询请求常见为 /api/ds/query。
  • status:HTTP 状态码,可能是 Grafana 自身返回的状态。
  • duration、time_ms:请求处理时间。
  • datasource、datasourceId、pluginId:数据源身份。
  • requestId、traceID:用于跨日志系统关联请求。
  • error、msg:错误类型和取消原因。
  • remote_addr:客户端地址,主要用于确认请求来源,不代表数据源地址。

下面的日志仅用于说明判断方式,是模拟格式,不代表任何特定环境的实际输出:

logger=context t=2025-01-15T10:00:30.012Z level=error
msg="Request Completed"
method=POST path=/api/ds/query status=504
datasourceId=3 duration=30.012s
error="context deadline exceeded"
requestId=req-7f3a

这条记录表示 Grafana 处理 /api/ds/query 约30秒后返回了504,但单凭它还不能确定是网络连接耗时30秒,还是查询执行30秒。还需要查看同一时间范围内的数据源日志,以及反向代理是否在更早的时间返回了504。

如果日志中出现类似以下信息:

logger=tsdb.datasource t=2025-01-15T10:00:00.004Z level=error
datasourceId=3
error="dial tcp 10.20.1.15:9090: i/o timeout"

更接近连接阶段超时。若出现:

logger=tsdb.datasource t=2025-01-15T10:00:00.021Z level=error
datasourceId=3
error="query execution canceled: context deadline exceeded"

则说明请求大概率已经进入数据源,后续执行或等待阶段超过了上层截止时间。

注意日志中的“固定时长”

多次失败都在约10秒、30秒或60秒结束,是很有价值的线索。它可能对应:

  • Grafana 数据源请求超时。
  • Nginx 或负载均衡的读取超时。
  • 数据源客户端的连接或读取超时。
  • 数据库语句超时。
  • 上游服务主动取消请求。

固定时长只能说明某个超时阈值被触发,不能单独证明网络有问题。必须对照各层日志中的时间点。例如代理在30秒时返回504,而 Grafana 在30.2秒后才记录请求结束,说明代理可能先结束了上游连接;如果 Grafana在30秒取消数据源请求,数据源随后记录“context canceled”,则 Grafana 可能是最先触发截止时间的一层。

从 Grafana 主机检查到数据源的网络

网络检查必须尽量从运行 Grafana 的服务器执行。在办公电脑上测试成功,只能证明办公电脑到数据源可达,不能证明 Grafana 所在网络可达。

检查 DNS 和路由

先确认 Grafana 配置中的数据源主机名解析到了什么地址:

getent hosts metrics.example.internal
resolvectl query metrics.example.internal 2>/dev/null || true
ip route get 10.20.1.15

将主机名和IP替换为实际数据源地址。正常结果应包含可用IP和出接口。以下情况需要分开处理:

  • 主机名无法解析:检查 DNS 配置、搜索域、容器内 DNS 和数据源主机名是否写错。
  • 解析结果与预期不一致:检查多地址解析、服务发现或负载均衡后端。
  • ip route get 没有可用路由:检查路由表、网卡、云网络或安全组。
  • 只有部分解析地址失败:可能是某个后端节点异常,应继续对各地址分别测试。

DNS 查询成功不等于业务端口可用。它只说明名称解析阶段基本正常。

测试 TCP 连接和 TLS

先用TCP连接测试判断端口是否能建立连接:

nc -vz -w 3 10.20.1.15 9090

正常时通常会显示连接成功。连接失败的含义包括:

  • Connection refused:主机可达,但端口没有监听,或服务主动拒绝。
  • Connection timed out:可能是路由、ACL、安全组、防火墙或服务端资源耗尽。
  • No route to host:路由或网络策略存在问题。
  • 连接偶尔成功、偶尔超时:需要对比多个后端地址、连接数和丢包情况。

nc 只验证TCP连接,不能证明HTTP请求或查询能完成。对于HTTP数据源,可以进一步调用不改变数据的健康或状态接口。以下以Prometheus常见的只读状态接口为例,实际接口应以数据源类型和版本为准:

connect=0.012s、starttransfer=0.180s、total=0.245s、http code=200、remote ip=10.20.1

curl --noproxy '*' -sS -o /dev/null \
  --connect-timeout 3 \
  --max-time 10 \
  -w 'http_code=%{http_code} remote_ip=%{remote_ip} connect=%{time_connect}s starttransfer=%{time_starttransfer}s total=%{time_total}s\n' \
  'http://10.20.1.15:9090/-/ready'

这个命令不携带认证信息,也不执行查询。输出中的字段可以这样理解:

  • connect 较高:TCP连接建立慢,优先检查网络、端口监听或服务端连接队列。
  • connect 很快但 starttransfer 很高:连接已经建立,服务端迟迟没有返回,可能是服务负载或请求处理问题。
  • total 较高而 starttransfer 正常:响应传输、响应体较大或网络吞吐存在问题。
  • 返回 503:服务端进程可能存在,但尚未就绪或正在保护性拒绝请求。
  • 返回 401 或 403:网络通常是通的,应转向认证、权限或路径检查。
  • TLS接口出现证书、握手或协议错误:不要先通过永久关闭证书校验来“修复”,应检查证书链、主机名和系统时间。

如果只是临时验证TLS握手,可以使用 curl -vk 观察握手过程,但 -k 会跳过证书校验,仅适合诊断,不应作为生产配置:

curl -vk --noproxy '*' \
  --connect-timeout 3 \
  --max-time 10 \
  'https://metrics.example.internal/-/ready'

对照反向代理日志

如果Grafana前面有Nginx或负载均衡,应同时查对应时间段的访问日志。典型字段包括:

  • request_time:代理处理整个请求的时间。
  • upstream_connect_time:代理连接Grafana的时间。
  • upstream_header_time:等待Grafana响应头的时间。
  • upstream_response_time:等待Grafana完整响应的时间。
  • status 和 upstream_status:代理状态与上游状态。
  • request_id:和Grafana日志关联的请求标识。

例如:

10.0.0.8 - - [15/Jan/2025:10:00:30 +0000]
"POST /api/ds/query HTTP/1.1" 504
request_time=30.001
upstream_connect_time=0.002
upstream_header_time=-
upstream_response_time=30.001
upstream_status=504
request_id=req-7f3a

这里连接Grafana只用了2毫秒,但等待上游响应约30秒,说明问题不在浏览器到代理的初始连接,更可能发生在Grafana查询数据源的阶段。若 upstream_connect_time 本身就很高,则先查代理到Grafana的连接和Grafana进程状态。

进入数据源侧,判断是连接问题还是查询问题

数据源没有对应请求记录

Grafana显示超时,但数据源日志完全没有相同时间、相同数据源或相同请求标识的记录,常见原因有:

  • DNS解析失败。
  • TCP连接未建立。
  • TLS握手失败。
  • Grafana配置了错误端口或错误地址。
  • 中间防火墙、ACL或安全组丢弃了连接。
  • 数据源实际由代理转发,日志在另一台节点。
  • 数据源日志时间未统一,导致检索窗口偏移。

此时不要直接调整查询语句。先用Grafana主机执行DNS、TCP和轻量HTTP检查,并确认数据源配置中的协议、端口和路径。

数据源记录了请求,但查询长时间不结束

如果数据源日志能看到查询开始,却在接近固定阈值时出现取消、超时或客户端断开,通常已经越过了网络连通性问题,重点转到查询和资源等待:

  • 查询时间范围过大。
  • Prometheus或时序库的步长过小,导致返回点数过多。
  • 标签过滤条件过宽,匹配了大量时间序列。
  • Loki等日志查询使用了高成本正则、低选择性过滤或过大的扫描范围。
  • SQL查询需要全表扫描、排序或聚合。
  • 数据库存在锁等待、连接池耗尽或磁盘延迟升高。
  • 查询结果过大,服务端生成或传输响应耗时过长。

数据源日志中应关注:

字段含义典型判断
查询开始和结束时间查询实际运行区间是否确实执行了很久
duration、query_time执行或请求耗时是否接近固定超时阈值
query_id、trace_id查询关联标识跨组件串联日志
rows、series数量、响应大小结果规模是否存在数据膨胀
wait_event、锁等待时间资源等待原因是否被锁或IO阻塞
client_addr、用户名、数据库名请求来源和身份确认是否来自Grafana
cancelled、context canceled请求是否被上层取消区分上层截止与数据源主动失败

SQL类数据源可以在不执行查询的前提下使用数据库提供的执行计划查看功能,例如使用不带实际执行选项的 EXPLAIN。生产环境中不要未经评估直接使用会执行语句的分析选项,也不要为了验证而修改表结构、索引或超时参数。

对于Prometheus类数据源,重点检查查询表达式、时间范围和步长;对于日志数据源,重点检查扫描范围、过滤顺序和返回行数;对于SQL数据源,重点检查过滤列、连接条件、排序聚合以及锁和连接池状态。不同数据源的日志格式不同,但“请求是否进入、运行多久、返回多少、因何取消”这四类信息具有通用判断价值。

查询本身很快,但Grafana仍然超时

这种情况容易被误判为查询问题。若数据源日志显示查询在2秒内完成,而Grafana在30秒左右才报超时,应继续检查:

  • 数据源响应是否很大,传输和解析耗时较长。
  • Grafana数据源插件是否在等待多个子请求。
  • 反向代理是否有较短的读取超时。
  • Grafana到数据源之间是否有丢包、重传或连接复用异常。
  • 数据源是否返回了部分响应后连接中断。
  • 面板是否同时发送了大量并发请求,造成浏览器或Grafana连接池等待。

此时应对比 time_starttransfer、time_total、响应大小和代理的 upstream_response_time,不要只看数据源内部的SQL或表达式执行时间。

Grafana与数据源之间的响应表现,也与承载服务的计算、存储和网络资源有关。A5idc数据提供香港、美国、日本、韩国、中国台湾、新加坡和马来西亚等地区的物理服务器,涵盖Xeon Gold与AMD EPYC平台、SSD或NVMe存储及不同线路配置,可为Grafana、数据库和数据服务部署提供多地区硬件与网络资源选择。

用时间线分支判断

把各组件的关键事件按同一时区排列,通常可以快速缩小范围。下面的日志为模拟示例:

用时间线分支判断配图

10:00:00.000 Grafana 发送数据源请求 requestId=req-7f3a
10:00:00.008 数据源收到查询 queryId=q-91ab
10:00:29.990 Grafana 取消请求 error="context deadline exceeded"
10:00:30.001 数据源记录 client disconnected
10:00:30.012 反向代理返回 504

这条时间线说明数据源已经收到并执行查询,Grafana先触发了约30秒的截止时间。应先优化查询或核对Grafana与代理的超时配置,而不是先排查DNS。

再看另一种情况:

10:00:00.000 Grafana 发送数据源请求 requestId=req-7f3a
10:00:03.000 Grafana 记录 dial tcp 10.20.1.15:9090: i/o timeout
10:00:03.005 数据源没有对应请求
10:00:03.010 反向代理返回 502

这里请求没有进入数据源,重点是网络、端口监听、访问控制和路由。

可以按以下分支归类:

用时间线分支判断配图

观察结果更可能的方向下一步
DNS失败或地址异常名称解析、服务发现查DNS配置和解析结果
TCP连接超时,数据源无日志网络策略、路由、端口或连接队列从Grafana主机测试端口
TCP成功,TLS失败证书、主机名、协议或时间查证书链和握手日志
数据源无查询记录,Grafana连接报错Grafana到数据源链路查地址、端口、代理和ACL
数据源有查询记录且运行接近阈值查询慢、锁等待、资源不足查查询参数、执行计划和数据源指标
数据源已完成但Grafana仍超时响应传输、插件处理或代理对比响应时间、大小和代理日志
所有查询同时超时服务、网络或资源级故障查Grafana、数据源和主机整体指标
只有大范围查询超时查询复杂度或返回量缩短范围、增大步长、减少匹配范围

修复动作要按风险递增

先做不改变配置的验证

优先选择只读操作:

  1. 从Grafana主机检查DNS、路由、TCP和轻量健康接口。
  2. 在Query Inspector中复制超时查询的完整参数。
  3. 将时间范围缩短到几分钟,观察是否可以返回。
  4. 将查询拆成单个表达式或单个面板执行。
  5. 对比一个已知简单、返回量较小的查询。
  6. 查看Grafana、代理、数据源和主机指标的同一时间窗口。

如果短时间范围成功、长时间范围失败,查询规模或存储扫描量是重点。如果简单查询也无法返回,继续查连接和服务状态。

查询侧的低风险调整

对面板查询进行临时验证时,可以:

  • 缩短查询时间范围。
  • 增大时序查询的步长或最小间隔。
  • 缩小标签、主机、服务和日志关键字的匹配范围。
  • 避免一次面板同时请求大量高基数序列。
  • 把一个复杂查询拆成多个小查询,分别确认哪一部分变慢。
  • 限制日志查询返回行数,并优先使用选择性更高的过滤条件。

这些调整用于定位和缓解,不代表一定是最终方案。若查询本来就需要覆盖较长时间范围,应进一步优化表达式、索引、分区、聚合规则或存储策略,并在业务低峰期验证。

网络和代理配置调整

如果确认是网络策略、端口或代理超时,变更前应保存当前配置,记录影响范围和回滚方式。防火墙规则、负载均衡策略和代理超时调整可能影响同一入口下的其他服务,不应直接复制网上规则覆盖生产配置。

以确认过路径存在的Nginx配置为例,备份动作可以是:

sudo cp -a /etc/nginx/nginx.conf \
  "/etc/nginx/nginx.conf.bak.$(date +%Y%m%d%H%M%S)"
sudo nginx -t

nginx -t只检查配置语法。只有确认变更内容、影响范围和维护窗口后,才执行重载;如果变更导致请求异常,应使用备份配置恢复,并重新执行语法检查。不要通过放宽所有来源、关闭TLS校验或临时开放大范围端口来掩盖问题。

谨慎增加超时

增加Grafana或代理超时只能改变“等待多久”,不能降低查询成本。若数据源查询本身需要45秒,单纯把代理超时从30秒调到120秒,可能导致更多并发请求占用连接、内存和CPU。

只有在以下条件基本满足时,才考虑调整超时:

  • TCP、TLS和HTTP连接稳定。
  • 查询计划和资源使用已检查,没有明显的全表扫描、锁等待或异常高基数。
  • 返回数据量在业务上确有必要。
  • Grafana、代理、数据源和数据库的超时关系已经梳理清楚。
  • 已评估并发量、连接池和内存影响。

修改配置前备份原文件,记录原值和新值;修改后优先使用配置校验命令,再按软件要求重载或重启。重启Grafana可能造成短暂请求中断,生产环境应安排窗口。若超时增加后CPU、内存、连接数或排队时间持续上升,应立即回滚到原配置,并回到查询优化或容量分析。

复测与持续观察

修复后不要只刷新一次仪表盘就结束。建议按三个层次复测:

  1. 使用原始超时查询,在原时间范围下执行,确认能返回且结果完整。
  2. 连续刷新或在多个采样周期观察,确认不是偶然成功。
  3. 同时查看Grafana、代理和数据源日志,确认没有新的取消、重试、连接重置或5xx。

可以把复测结果记录成简单表格:

验证项通过标准
Grafana请求状态为2xx,耗时低于相关超时阈值
代理日志upstream_status正常,无固定时长504
数据源日志查询完成,无异常取消或锁等待
网络指标无持续丢包、重传和连接失败
主机资源CPU、内存、磁盘延迟和连接数未持续打满
面板结果数据点、日志行数或聚合结果符合预期

如果问题具有间歇性,应保留一段时间的成功与失败样本,比较它们的查询参数、目标节点、返回大小和执行耗时。可以为Grafana请求、数据源查询和代理日志统一记录请求标识,并设置查询耗时、5xx、连接失败和资源使用率告警。这样下一次出现超时时,不必只依赖面板上的一句错误信息,而能直接判断故障停留在网络连接、服务响应、查询执行还是结果传输阶段。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/8415.html

相关推荐