数据中心互联的云专线BGP已建立但业务不通,路由该从哪里查起?

发布人:A5数据发布时间:2026-11-11 10:17阅读量:53

云专线的BGP邻居显示为 Established,只能说明两端的BGP控制连接已经建立,不能证明业务网段已经正确发布、路由已经写入转发表,也不能证明安全策略、监听端口和应用服务正常。业务不通时,不应直接把问题归因于“BGP已建立但线路质量不好”。

路由应从实际失败请求的源地址和目的地址查起:先确认域名解析到了哪个入口,再检查源端到目的网段的正向路由和返回路由,随后核对云侧路由表、安全组、网络ACL、数据中心防火墙、负载均衡或反向代理,最后落到主机监听和应用状态。完整链路可以表示为:

针对数据中心互联中的业务入口、后端服务与跨地域访问需求,A5idc数据提供中国香港、美国、日本、韩国、中国台湾、新加坡及马来西亚等地区的物理服务器资源,并配备不同线路、带宽、多IP及存储方案。企业可结合访问区域部署网站、数据库、接口服务或反向代理后端,利用NVMe、SSD、大容量硬盘及多核CPU配置承载不同业务负载,为专线互联后的实际路由与业务链路提供服务器资源基础。

DNS解析
  ↓
业务实际入口(私网IP、负载均衡VIP或反向代理)
  ↓
源端路由与云侧路由表
  ↓
返回路由
  ↓
安全组、ACL、防火墙
  ↓
端口监听
  ↓
负载均衡或反向代理
  ↓
应用进程与业务接口

先确认“业务不通”的具体表现

“业务不通”至少对应几种不同故障:域名解析错误、TCP连接超时、连接被拒绝、TLS握手失败、HTTP返回错误,以及应用接口超时。不同现象对应的排查起点并不相同。

排查前先记录一组完整信息:

  • 发起请求的真实源地址或源网段;
  • 访问的域名、解析结果和目标IP;
  • 目标协议与端口,例如TCP 443、TCP 8443或UDP业务端口;
  • 请求发生的时间;
  • 是数据中心访问云端,还是云端访问数据中心;
  • 是全部客户端失败,还是部分网段、部分主机失败;
  • 是域名访问失败,还是直接访问IP也失败。

可以先在实际发起请求的主机上执行只读检查。以下命令是通用示例,结果仅用于说明判断方法,不代表已经在某个具体环境中执行。

dig +short app.example.com A
dig +short app.example.com AAAA

ip route get 10.20.3.10
nc -vz -w 3 10.20.3.10 443
curl -sv --connect-timeout 5 https://app.example.com/health

Windows主机可使用:

Resolve-DnsName app.example.com
Test-NetConnection 10.20.3.10 -Port 443

如果域名解析到了公网地址,而业务设计上应当访问云专线承载的私网地址,优先检查DNS分视图或内部解析记录。如果域名同时返回AAAA记录,而数据中心没有IPv6到云端的路由,部分客户端可能优先尝试IPv6,表现为间歇性超时。

常见现象与初步方向如下:

现象优先检查方向不能直接得出的结论
域名解析失败DNS区域、记录、解析链路不能说明BGP故障
域名解析到错误或公网IP内外网分视图、CNAME、缓存不能说明目标服务宕机
TCP连接超时路由、返回路由、安全策略、入口状态不能仅凭超时判断线路中断
TCP立即被拒绝主机可达但端口未监听,或设备主动拒绝不能说明应用一定正常
TCP成功但TLS失败证书、SNI、协议版本、反向代理不能继续只查BGP
返回502或504负载均衡、反向代理到后端的链路和应用入口本身不一定故障
HTTP返回4xx主机和应用已收到请求,检查认证、Host、路径和策略不是典型的三层路由故障

建立原因树:BGP建立不等于业务路径可用

BGP建立主要表示邻居关系已经完成协商,双方可以交换路由信息。至少还要确认以下几件事:

  1. 数据中心侧是否发布了正确的业务网段;
  2. 云侧是否接收了该网段,并将其安装到对应的路由表;
  3. 云端目标网段是否存在返回数据中心的路由;
  4. 业务流量是否进入了预期的私网入口;
  5. 安全策略是否允许实际源地址访问实际端口;
  6. 目标主机或负载均衡是否监听该端口;
  7. 反向代理和应用是否能够继续处理请求。

因此,问题树可以按四层展开:

  • 解析与入口层:DNS是否返回正确地址,访问的是私网入口、负载均衡VIP还是错误的公网地址;
  • 网络层:正向路由、返回路由、BGP前缀、云侧路由表和路由优选是否正确;
  • 安全与传输层:安全组、网络ACL、防火墙、端口监听、NAT和状态跟踪是否允许连接;
  • 代理与应用层:负载均衡健康检查、反向代理配置、Host或SNI、后端进程和应用接口是否正常。

排查时应沿着真实请求路径逐层向内推进,而不是只在BGP设备上看到 Established 就结束网络检查。

第一层:确认DNS和网络入口

检查域名是否指向专线承载的入口

企业常见的访问路径有三类:

数据中心主机 → 云端私网IP → 云服务器

数据中心主机 → 云端私网负载均衡VIP → 后端服务

数据中心主机 → 内部域名 → 反向代理 → 应用服务

如果业务要求通过云专线访问,域名通常应解析到云端私网地址、私网负载均衡地址或专用于互联的内部入口。以下情况会造成“BGP正常但业务不通”:

  • 内部DNS没有返回私网记录;
  • 内外网使用了不同解析结果,但客户端使用了错误的DNS服务器;
  • CNAME最终指向了公网负载均衡;
  • A记录正确,但AAAA记录指向了没有互联路由的IPv6地址;
  • 业务迁移后DNS缓存仍指向旧入口;
  • 测试时访问的是负载均衡地址,而路由只发布了后端服务器网段;
  • 访问IP可以建立连接,但域名访问因Host或SNI不匹配失败。

可以分别向本地解析器和指定的内部DNS查询,对比返回结果:

dig app.example.com
dig @10.10.1.53 app.example.com
dig @10.10.1.54 app.example.com

若直接访问目标私网IP成功,而域名访问失败,问题重点通常在DNS、Host头、TLS SNI或入口配置,而不在BGP本身。若域名和IP都无法建立TCP连接,再进入路由与策略检查。

确认云侧入口是否属于已互联网段

不要只查看服务器所在网段是否被发布,还要确认业务实际访问的入口地址属于哪个网段。例如:

  • 云服务器私网地址属于 10.20.3.0/24;
  • 私网负载均衡VIP属于 10.20.8.0/24;
  • 反向代理地址属于 10.20.12.0/24。

如果BGP只发布了 10.20.3.0/24,而客户端实际访问的是 10.20.8.0/24,服务器本身可能有路由,但业务入口仍然不可达。

第一层:确认DNS和网络入口/确认云侧入口是否属于已互联网段配图

云侧需要核对:

  • 专线或互联连接是否关联了正确的虚拟路由网关;
  • 目标子网是否关联了正确的路由表;
  • 数据中心网段是否作为入站路由导入云侧;
  • 云侧业务网段是否通过专线方向发布回数据中心;
  • 是否存在更具体的路由覆盖了预期路径;
  • 是否存在地址重叠,例如数据中心和云端都使用 10.20.0.0/16。

地址重叠时,即便BGP已经交换了路由,设备也可能依据最长匹配或本地直连路由把流量送往错误接口。对同一个目的IP,必须在源端、数据中心边界设备和云侧路由表分别查看最终选中的下一跳。

第二层:从BGP邻居状态深入到实际路由

先看前缀数量,再看邻居状态

BGP状态为 Established,但接收或发布的前缀数量可能是零,也可能不是业务需要的网段。路由策略还可能把前缀接收到了BGP RIB,却没有安装到实际转发表。

不同厂商命令名称存在差异,下面是便于理解的示例状态,不代表特定设备的真实输出:

BGP neighbor: Established
Prefixes received: 0
Prefixes advertised: 3
Last state change: 00:42:18

这个结果至少说明:邻居会话存在,但本端没有收到对端发布的业务路由。此时应检查:

  • 对端是否确实发布了目标网段;
  • 发布的网段是否与真实接口或路由表中的网段一致;
  • 出口策略是否过滤了该前缀;
  • 云平台是否要求先在控制台中开启前缀发布;
  • 是否触发了最大前缀限制;
  • 是否因为网段重叠、下一跳不可达或策略优先级导致路由未安装。

同时检查正向和返回路由

数据中心访问云端时,至少要验证两条方向:

数据中心客户端 → 数据中心出口 → 云侧入口
云侧入口或服务器 → 云侧路由表 → 数据中心出口 → 客户端

只看到数据中心侧存在去云端的路由是不够的。典型故障是:

  • 数据中心已发布 10.10.0.0/16;
  • 云侧能够收到该前缀;
  • 云端服务器收到请求后,没有到 10.10.0.0/16 的返回路由;
  • TCP SYN到达服务器,但SYN-ACK无法返回。

Linux源主机上可以查看实际选路:

ip route get 10.20.3.10
ip route show table main
ip route show table all

示例结果:

10.20.3.10 via 192.0.2.1 dev eth1 src 10.10.1.15

它表示该主机计划从 eth1、以 10.10.1.15 作为源地址、经由 192.0.2.1 发往目标。这里的源地址很重要,因为安全组、防火墙和返回路由可能看到的并不是业务人员以为的地址。

如果数据中心边界存在SNAT,云端看到的源地址可能变成出口地址,例如 172.31.5.20,而不是客户端原始地址 10.10.1.15。此时云侧安全策略应匹配实际转换后的源地址,返回路由也应回到SNAT设备。

第二层:从BGP邻居状态深入到实际路由/同时检查正向和返回路由配图

区分RIB中有路由和FIB中能转发

某些设备上,路由可能出现在BGP路由库中,但因为下一跳不可达、策略未通过或资源限制,没有进入硬件或内核转发表。排查时应确认:

  • BGP表中是否有目标前缀;
  • 路由表中是否选中该前缀;
  • 转发表中是否存在对应下一跳;
  • 下一跳接口是否为正常状态;
  • 是否被更具体的静态路由或直连路由覆盖。

对目标IP执行精确查询比只观察邻居状态更有价值。可以把目标IP固定下来,例如 10.20.3.10,在每个路由节点查询“去这个地址最终从哪里走”。

第三层:核对端口、安全组和防火墙

用TCP测试替代单独的Ping判断

ICMP被禁用并不代表TCP业务不可用,Ping成功也不代表443或8443端口可用。因此,应从真实业务源主机测试真实端口:

nc -vz -w 5 10.20.3.10 443
curl -sv --connect-timeout 5 https://10.20.3.10/health

如果业务使用UDP,TCP测试没有代表性,应采用对应协议的健康检查、客户端探测或服务端抓包判断。

常见结果可以这样理解:

  • 连接超时:可能是没有路由、返回路由缺失、策略丢弃、目标入口未响应;
  • Connection refused:通常已到达目标主机,但目标端口没有监听,或主机主动拒绝;
  • TCP成功、TLS失败:网络和端口基本可达,应查证书、SNI、协议版本和代理配置;
  • HTTP 502/504:请求已经到达代理或负载均衡,继续检查后端连接;
  • HTTP 403/404:业务层已处理请求,重点转向访问控制、Host、路径和应用路由。

按实际源地址核对策略

安全策略需要逐层核对,不能只看某一台设备:

  1. 云安全组是否允许实际源CIDR访问实际目标端口;
  2. 云网络ACL是否允许入方向请求;
  3. 无状态ACL是否允许返回方向的临时端口;
  4. 数据中心出口防火墙是否允许该目的网段和端口;
  5. 服务器本机防火墙是否放行;
  6. 负载均衡监听器是否配置了对应端口;
  7. 反向代理是否允许该来源或Host。

状态防火墙通常会自动识别已建立连接的返回流量,而无状态ACL往往需要单独允许返回方向。若只放行了客户端到服务端的目标端口,却没有允许返回的临时端口,表现可能是SYN到达但业务建立不完整。

在主机或边界设备上,可短时间抓取TCP头部来判断请求经过了哪一层。以下是Linux示例,执行前应确认权限、数据敏感性和抓包范围,限制目标地址、端口和数量,不要长期抓取生产流量:

sudo tcpdump -ni any -c 20 'host 10.20.3.10 and tcp port 443'

观察结果的意义:

第三层:核对端口、安全组和防火墙/按实际源地址核对策略配图

  • 源端发出SYN,目标侧完全看不到:中间路由、入口或前置策略可能丢弃;
  • 目标侧收到SYN但没有SYN-ACK:主机防火墙、端口监听或本机策略可能有问题;
  • 目标侧发出SYN-ACK,但源端收不到:返回路由、回程策略或中间设备可能有问题;
  • 源端收到RST:目标主机或中间设备主动拒绝,检查监听端口和拒绝规则;
  • TCP建立后才中断:进一步检查TLS、应用协议、代理超时和MTU。

如果确认是防火墙规则导致故障,不宜直接放开整个网段或所有端口。调整前应保存现有策略,明确影响的源、目的、端口和方向,优先增加最小范围的临时规则,并记录回滚方式。验证完成后,保留必要规则,删除临时放行项。不要在不了解现有策略顺序的情况下直接覆盖整套防火墙配置。

第四层:检查主机监听和服务状态

路由和安全策略都正常后,继续确认目标主机是否真的在目标地址和端口上监听。

ss -lntp
ss -lntp | grep ':443'
ss -lntp | grep ':8443'

重点看监听地址:

  • 0.0.0.0:443或具体私网IP监听,通常可以接受对应接口的连接;
  • 127.0.0.1:443只允许本机访问,远端通过专线访问会失败;
  • 仅监听IPv6地址,而客户端通过IPv4访问,也会表现为连接失败;
  • 端口没有监听,可能是服务未启动、启动失败或配置使用了其他端口。

若服务由系统服务管理,可先执行只读检查:

systemctl is-active service-name
systemctl status service-name --no-pager
journalctl -u service-name --since "30 minutes ago" --no-pager

这里的 service-name 必须替换为实际服务名。若服务运行在容器中,还要分别核对容器内监听端口与宿主机端口映射,不能只看到容器状态为运行中就认定业务可用。

在目标主机本地测试时,应同时测试回环地址、私网地址和业务Host:

curl -sS -o /dev/null -w 'local=%{http_code} connect=%{time_connect} total=%{time_total}\n' \
  http://127.0.0.1:8080/health

curl -sS -o /dev/null -w 'private=%{http_code} connect=%{time_connect} total=%{time_total}\n' \
  -H 'Host: app.example.com' \
  http://10.20.3.10:8080/health

两次结果有差异时,判断方向如下:

  • 回环成功、私网地址失败:监听地址、本机防火墙或网卡路径有问题;
  • 私网地址成功、远程访问失败:继续查网络策略和返回路由;

-本地健康检查也失败:应用进程、依赖服务或配置本身有问题;

  • HTTP状态成功但业务请求失败:健康检查可能过于简单,还需要测试真实接口和依赖项。

第五层:检查负载均衡和反向代理

如果业务入口不是后端服务器,而是负载均衡VIP或Nginx等反向代理,应把入口和后端拆开检查。

负载均衡重点

  • 监听器是否监听了正确的协议和端口;
  • VIP是否属于已经发布到专线的网段;
  • 后端服务器是否通过健康检查;
  • 健康检查使用的源地址是否被后端防火墙允许;
  • 后端池端口是否与应用实际监听端口一致;
  • 是否配置了错误的Host、路径或TLS模式;
  • 是否存在客户端到VIP可达,但VIP到后端不可达的单向故障。

负载均衡健康检查成功,也不能完全证明业务成功。健康检查可能来自独立探测网段,使用的端口、Host和路径也可能与真实请求不同。应使用实际业务入口、业务Host和业务路径进行验证。

反向代理重点

Nginx或其他反向代理返回的状态码可以帮助缩小范围:

  • 502常见于无法连接后端、后端端口错误或连接被拒绝;
  • 504常见于后端响应超时、回程路径异常或应用依赖卡住;
  • 404可能是server块、Host或路径匹配错误;
  • 403可能是来源限制、认证策略或应用权限控制;
  • TLS握手失败可能与证书、SNI、协议版本或监听器配置有关。

可以先检查配置语法和监听状态,避免直接重载或重启服务:

nginx -t
ss -lntp | grep -E ':(80|443|8443)\b'

再结合访问日志和错误日志查看请求是否已经进入代理。如果日志中完全没有对应时间的请求,问题仍可能发生在DNS、入口、路由或防火墙;如果日志中出现请求但后端状态为 502,则网络排查范围应缩小到代理到后端的连接、后端监听和应用状态。

为了在不修改DNS的情况下验证Host和入口关系,可在允许的测试环境中使用:

curl -vk --resolve app.example.com:443:10.20.8.10 \
  https://app.example.com/health

--resolve仅用于指定本次测试的域名解析,-k会跳过证书校验,只适合诊断证书链以外的连通性问题,不能作为生产配置的修复方式。验证完成后,应使用正常证书校验再次测试。

通过证据链定位根因

排查过程中,建议把每一层的结果记录下来,而不是只记录“已检查”。下面的判断表适合用于现场逐项填写:

检查项观察结果说明
DNS A/AAAA返回的IP和记录类型判断是否进入专线承载的入口
源主机选路出接口、下一跳、源地址判断第一跳和实际源地址
数据中心出口是否存在精确目标路由判断是否送往云专线
BGP接收前缀目标网段是否存在判断控制面是否交换了业务路由
云侧路由表目标网段和返回网段判断路由是否关联到正确入口
TCP SYN是否到达目标侧区分中间丢弃和目标不监听
目标端口监听地址和端口判断服务是否接收远程连接
代理日志状态码和后端状态判断请求是否进入应用入口
应用日志请求、依赖和错误判断是否为应用层故障

几种典型根因可以这样归纳:

BGP建立,但业务前缀没有交换

表现为邻居稳定、前缀数量为零或缺少目标网段。根因可能是发布策略、云侧路由导入、前缀过滤或网段声明不正确。修复重点是让正确的业务前缀进入双方实际转发表,而不是反复重置BGP会话。

正向路由存在,但返回路由缺失

表现为目标服务器能看到SYN,但源端收不到SYN-ACK,或者抓包显示目标侧已响应。应检查云侧到数据中心客户端网段的路由、SNAT后的源地址以及云侧子网关联的路由表。

路由正常,但策略丢弃

表现为路由查询结果正确,目标主机没有收到请求,防火墙或云安全策略中存在丢弃记录。应按实际源地址、目标地址、协议和端口增加最小范围放行,并保留原规则以便回滚。

TCP连接成功,但代理返回502或504

表现为网络层已经打通,入口也收到请求。此时优先查代理到后端的路由、后端监听端口、健康检查、连接超时和应用依赖,不必继续反复检查BGP邻居状态。

小请求成功,大响应或TLS阶段卡住

这类情况可检查MTU、路径MTU发现、分片报文和中间设备对ICMP报文的处理。可使用以下命令进行观察:

tracepath 10.20.3.10
ip link show dev eth1

如果只是大报文失败,不应立即修改全链路MTU。应先确认两端接口MTU、云专线承载限制、防火墙分片策略和TCP MSS处理方式。涉及接口MTU或防火墙参数变更时,要先记录原值、评估影响范围,并准备按原值恢复。

修复后的验证顺序

定位根因并完成调整后,验证不能只执行一次Ping。建议按由外到内的顺序确认:

  1. 确认DNS:域名在实际客户端上解析到预期的私网入口,A和AAAA记录没有把请求引向错误路径。
  2. 确认路由:源端到目标IP的出接口、下一跳和源地址正确;云侧路由表存在返回源网段的路径。
  3. 确认端口:从真实业务源网段测试目标TCP端口,不能只从同一云网络的跳板机测试。
  4. 确认TLS或协议握手:检查证书、SNI、协议版本和端口映射。
  5. 确认代理:查看负载均衡后端健康状态、代理访问日志和错误日志。
  6. 确认应用:访问真实业务接口,验证数据库、缓存、认证服务等依赖,而不只访问简单的静态健康检查。
  7. 确认其他来源:至少验证一个以上数据中心网段或业务客户端,排除只修复单台主机路由的情况。
  8. 观察稳定性:根据业务基线观察一段时间内的BGP会话、前缀数量、TCP失败率和应用错误率。

如果调整了路由或防火墙,建议保留变更前后的对比信息:

目标地址:
源网段:
目标端口:
变更前路由:
变更后路由:
变更前策略:
变更后策略:
验证命令:
验证结果:
回滚方式:

这样可以避免“临时放行后业务恢复,但无法确认真正根因”的情况,也便于后续出现间歇性故障时继续对比。

让下一次故障更快暴露

云专线互联不应只监控BGP邻居是否为 Established,还应监控业务路由和真实访问结果。

建议至少设置以下监控点:

  • BGP邻居状态、会话重置次数和最近一次变化时间;
  • 接收和发布前缀数量,重点关注突然变为零或明显偏离基线;
  • 关键业务网段在RIB和FIB中的存在状态;
  • 专线接口错误包、丢包、利用率和延迟;
  • 从数据中心到云端的TCP端口探测;
  • 从云端返回数据中心的反向TCP或HTTP探测;
  • DNS解析结果变化、解析失败和A/AAAA结果不一致;
  • 负载均衡后端健康比例、连接失败和超时;
  • 防火墙拒绝日志及按源网段、目标端口的异常增长;
  • 反向代理的4xx、5xx、502、504和上游连接失败;
  • 应用健康接口、关键业务接口和依赖服务状态。

告警阈值应以现有基线为准。例如,可以把“连续两次业务探测失败”“BGP前缀数量突然降为零”“短时间内发生多次会话抖动”作为起始告警条件,再根据误报情况调整。这样监控关注的就不只是“BGP有没有建立”,而是“目标业务网段是否可达、目标端口是否可用、应用请求是否真正完成”。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/8728.html

相关推荐