两台云服务器内网无法互通怎么办?先查网络范围还是安全组

发布人:A5数据发布时间:2026-11-06 10:11阅读量:94

两台云服务器内网无法互通时,不应一开始就修改安全组。先确认请求实际访问的是哪个地址、两台服务器是否处于可达的私有网络范围,以及源服务器是否存在到目标地址的路由;这些条件不成立时,安全组即使放行,连接也不会成功。

在网络范围和路由确认无误后,再检查目标服务器入方向安全组、源服务器出方向规则、网络访问控制列表和操作系统防火墙。之后还要继续确认端口是否监听、服务是否绑定在内网地址、是否经过HTTP代理或反向代理,以及应用本身是否已经正常运行。一个“连接失败”现象,可能对应多个层级的原因,不能只凭超时或 ping 不通就直接归因于安全组。

先固定故障边界

排查前先记录以下信息,避免测试过程中不断更换目标,导致结果无法比较:

  • 源服务器:实例名称、所在地域、VPC或私有网络、子网、私网IP。
  • 目标服务器:实例名称、所在地域、VPC或私有网络、子网、私网IP。
  • 访问方式:目标主机名或IP、端口、TCP还是UDP。
  • 失败表现:DNS解析失败、连接超时、连接被拒绝、收到HTTP错误,还是应用请求超时。
  • 影响范围:只有一台源服务器失败,还是同一子网、同一安全组中的多台服务器都失败。
  • 发生时间:是否与实例迁移、网卡更换、路由调整、服务发布或安全策略变更同时发生。

例如,不要只记录“服务器A访问服务器B失败”,而应明确为:

服务器A的私网IP为 10.0.1.23,访问服务器B的 10.0.2.15:8080,使用TCP,连接等待约3秒后超时;从服务器A本机访问 127.0.0.1:8080正常。

这类信息可以直接缩小排查范围。

不同错误现象通常有不同指向,但它们只能作为线索,不能替代后续验证。

现象常见指向需要继续确认
主机名无法解析DNS区域、解析记录、解析器配置解析结果是否为目标私网IP
连接超时路由、网络ACL、安全组、防火墙或目标无响应是否能看到TCP握手报文
连接被拒绝目标端口未监听、服务主动拒绝目标服务器的监听状态和服务日志
TCP连接成功但HTTP返回401/403网络已基本打通,应用鉴权失败应用账号、令牌和访问策略
HTTP返回502/504反向代理已收到请求,但上游服务异常Nginx或其他入口到后端的连接
ping不通但TCP正常ICMP被禁用或被策略过滤以实际业务端口测试为准

建立分层原因树

可以把原因分为六层,按照“地址是否正确—网络是否可达—策略是否放行—端口是否监听—代理和应用是否正常”的顺序判断。

建立分层原因树配图

层级核心问题典型证据
DNS和地址主机名是否解析到正确的私网地址getent、dig、解析记录
云网络范围两台实例是否处于可达的网络和路由范围VPC、子网、路由表、网卡信息
云侧访问策略安全组、网络ACL是否放行目标端口入方向、出方向和流日志
操作系统主机防火墙是否拦截,网卡是否正常ufw、firewalld、nftables
传输和服务目标端口是否监听,监听地址是否正确ss、netstat、本地连接测试
代理和应用请求是否经过错误代理,应用或反向代理是否报错环境变量、代理日志、应用日志

这里的“网络范围”不只是看两台服务器是否位于同一地域。至少要核对以下关系:

建立分层原因树配图

  • 是否处于同一个VPC、VNet或私有网络。
  • 如果属于不同私有网络,是否已经建立对应的网络连接,并在两端配置双向路由。
  • 是否位于不同账号、项目或租户,导致安全组引用、共享网络权限或路由配置不一致。
  • 子网路由表是否包含目标网段和返回网段。
  • 网卡是否被替换、解绑,或实例实际使用了另一块网卡和另一条路由。
  • 测试使用的是IPv4还是IPv6,安全组和路由是否分别配置。

同一可用区通常不是内网互通的必要条件。两台服务器即使位于不同可用区,只要云平台的私有网络、子网路由和访问控制允许,仍可能正常通信;反过来,即使处于同一地域甚至相邻子网,也不代表一定存在可达路径。

A5idc数据提供中国香港、美国、日本、韩国、中国台湾、新加坡和马来西亚等地区的物理服务器资源,覆盖常规建站、业务后台、数据库、接口服务及多任务计算等场景,并配备不同CPU、内存、NVMe或大容量存储,以及CN2、国际和本地优化线路。面向跨地域业务部署时,可结合访问区域、程序负载与网络路径,构建相匹配的服务器资源基础。

逐层排除:先确认地址和DNS

如果使用主机名访问,先在源服务器上确认实际解析结果。不要只在个人电脑上解析,因为企业内网DNS、云解析私有区域和服务器的 /etc/hosts 可能产生不同结果。

Linux示例:

getent ahosts app.internal.example
dig +short app.internal.example A
dig +short app.internal.example AAAA

getent ahosts更接近系统和应用实际使用的名称解析链路,可能会受到 /etc/hosts、NSS和本机解析器配置影响。dig则更适合观察DNS服务器返回的记录。

重点检查:

  1. 是否解析到了目标服务器的私网IPv4地址,例如 10.0.2.15、172.16.20.8或其他企业内部网段。
  2. 是否误解析到了公网IP、旧实例IP或负载均衡器地址。
  3. 是否同时返回了AAAA记录,而源服务器优先尝试IPv6,但IPv6路由或安全策略并未配置。
  4. 私有DNS区域是否关联到源服务器所在的VPC或网络。
  5. DNS记录是否存在多个地址,其中某个地址已经失效。

如果怀疑IPv6优先导致失败,可以分别测试:

curl -4 -v --connect-timeout 3 http://app.internal.example:8080/health
curl -6 -v --connect-timeout 3 http://app.internal.example:8080/health

以上命令只适用于HTTP服务。非HTTP服务应使用对应的客户端或TCP端口测试。

一个常见错误是:应用使用 db.internal.example,但该名称在公网DNS区域中解析到了公网地址;管理员随后修改安全组,实际上请求根本没有走预期的私有路径。此时应先修正私有DNS记录、解析区域关联或应用配置,而不是扩大安全组范围。

逐层排除:确认网络范围和路由

确认目标私网IP后,在源服务器上检查网卡和路由:

ip -br addr
ip route
ip route get 10.0.2.15

示例输出:

10.0.2.15 via 10.0.1.1 dev eth0 src 10.0.1.23

这表示系统准备通过 eth0、源地址 10.0.1.23和网关 10.0.1.1访问目标地址。以下结果需要特别关注:

  • 输出 unreachable或没有匹配路由:优先检查子网路由表和实例路由。
  • 选择了错误的网卡或错误的源地址:可能存在多网卡、多路由表或策略路由。
  • 目标地址是公网IP,但预期访问私网地址:先回到DNS和应用配置检查。
  • 源地址属于另一条网络路径:云侧安全组或中间设备看到的源地址可能与预期不同。

云控制台侧需要同时核对源端和目标端,不能只看源服务器所在子网:

  • 两台实例的VPC或私有网络ID。
  • 子网关联的路由表。
  • 目标网段是否存在路由。
  • 返回源网段的路由是否存在。
  • 跨VPC、跨地域或跨账号网络连接是否处于可用状态。
  • 网络ACL或子网级访问控制是否允许双向通信。
  • 实例网卡、私网IP和安全组绑定关系是否发生变化。

如果两台服务器不在同一私有网络,通常需要通过云平台支持的私有网络互联方式建立连接,并在两端分别添加路由。只配置一端路由时,可能表现为请求发出但无返回,或者只有一个方向能访问。

traceroute或tracepath可以作为辅助信息,但云网络经常隐藏中间跳数,不能因为看不到完整路径就判定网络不通。对于业务故障,目标端口的连接测试和抓包证据通常更有价值。

逐层排除:检查安全组和网络访问控制

当目标地址和路由确认正确后,再检查安全组。判断安全组时要分清三个方向:

  • 目标服务器入方向:是否允许源服务器的实际IP或安全组访问目标端口。
  • 源服务器出方向:是否允许访问目标网段和目标端口。
  • 返回流量:是否被无状态网络ACL、主机防火墙或中间设备拦截。

以服务器A访问服务器B的TCP 8080端口为例,目标服务器B的入方向至少要允许服务器A的私网来源访问 8080/TCP。源服务器A的出方向也要允许访问服务器B的地址和端口。不要把“安全组已关联到实例”理解为“所有端口自动放行”,不同云平台和不同安全组的默认规则可能不同,需要查看实际规则。

优先使用最小范围的来源:

  • 同一安全组引用:适合云平台支持安全组互相引用,且实例关系稳定的场景。
  • 单个源服务器私网IP:适合临时验证或单点访问。
  • 明确的源子网CIDR:适合一组固定服务器访问。
  • 避免为了验证方便直接开放到 0.0.0.0/0,尤其是数据库、缓存和管理端口。

如果平台提供网络流日志,可以结合以下字段判断:

  • 源IP、目标IP是否符合预期。
  • 目标端口和协议是否正确。
  • 日志记录的是接受还是拒绝。
  • 是否只看到去向流量,没有返回流量。
  • 流日志采集是否存在延迟,是否覆盖了实际使用的网卡或子网。

在目标服务器上抓包也能帮助区分安全组与服务问题。下面是TCP端口的示例,仅用于短时间定位,执行前应确认具备管理员权限,并避免在高流量环境中长期运行:

sudo tcpdump -ni any -nn 'host 10.0.1.23 and tcp port 8080'

观察结果可以这样解释:

逐层排除:检查安全组和网络访问控制配图

  • 完全看不到源服务器发来的SYN:优先检查DNS解析结果、路由、安全组、网络ACL或测试目标是否错误。
  • 能看到SYN,但目标没有返回SYN-ACK:继续检查目标主机防火墙、端口监听和服务状态。
  • 能看到SYN、SYN-ACK,但连接随后被重置:服务、代理或主机策略可能主动关闭连接。
  • 三次握手完成但应用请求失败:网络层大概率已打通,应转向协议、代理和应用日志。

抓包内容可能包含IP地址、端口和部分业务元数据。排查完成后应停止抓包,并按组织要求处理输出文件。

逐层排除:检查操作系统防火墙

云安全组放行并不等于操作系统放行。Linux服务器上可能同时存在UFW、firewalld、nftables或兼容层规则,先确认实际使用的防火墙组件,不要同时修改多个组件。

Ubuntu或Debian系统常见检查方式:

sudo ufw status verbose
sudo nft list ruleset

使用firewalld的系统可以检查:

sudo firewall-cmd --state
sudo firewall-cmd --get-active-zones
sudo firewall-cmd --list-all

这些命令用于查看,不会主动放行端口。重点确认:

  • 目标端口是否被拒绝或丢弃。
  • 规则作用的网卡、区域和来源网段是否正确。
  • 规则是否只允许了公网地址,遗漏了私网地址。
  • 最近是否执行过系统加固、容器发布或防火墙策略同步。
  • 防火墙规则是否只放行IPv4,而请求实际使用IPv6。

如果需要临时调整主机防火墙,先保存当前规则或导出配置,记录变更前状态,并安排可用的控制台或带外登录通道,防止远程操作把自己锁在服务器外。新增规则应限制到单个来源、单个端口和所需协议,验证完成后删除临时规则。不要直接执行清空规则、停止防火墙或放开全部端口的操作;这些行为可能影响同机其他服务,且回滚范围不容易控制。

逐层排除:确认端口和服务监听状态

网络路径和策略都正常后,检查目标服务器是否真的在目标端口监听:

sudo ss -lntp | grep ':8080'

如果服务使用UDP:

sudo ss -lnup | grep ':5353'

典型监听状态的含义如下:

  • 127.0.0.1:8080:只接受本机回环请求,远程服务器无法直接访问。
  • 10.0.2.15:8080:绑定在目标私网IP上,具备接受该网卡请求的条件。
  • 0.0.0.0:8080:监听所有IPv4地址,但仍会受到安全组和主机防火墙限制。
  • [::]:8080:通常表示IPv6监听,是否同时接收IPv4取决于系统参数和程序行为。
  • 没有任何输出:服务未启动、监听端口配置错误,或实际端口不是 8080。

可以在目标服务器本机分别测试回环地址和私网地址:

curl --connect-timeout 3 http://127.0.0.1:8080/health
curl --connect-timeout 3 http://10.0.2.15:8080/health

如果回环地址正常,而私网地址失败,常见原因是服务只绑定了 127.0.0.1,或者主机防火墙没有允许私网接口访问。如果两个地址都失败,应检查服务进程、配置文件、依赖服务和应用日志。

从源服务器测试TCP端口:

nc -vz -w 3 10.0.2.15 8080

nc显示连接成功,只能证明TCP连接建立,不代表应用接口可用;还需要使用实际协议请求进行验证。相反,nc超时也不能单独证明是安全组问题,因为目标服务可能未监听、路由不通或主机防火墙丢弃了报文。

Windows源服务器可使用:

Test-NetConnection 10.0.2.15 -Port 8080

重点查看 TcpTestSucceeded、目标地址和实际使用的源接口。

容器环境还要额外检查端口映射。服务可能只在容器内部监听,宿主机却没有发布对应端口;或者应用监听在容器回环地址,导致容器网络内也无法被访问。此时应核对容器的监听地址、宿主机端口映射和容器网络,而不能只看宿主机是否存在进程。

逐层排除:检查代理和应用状态

如果源服务器设置了HTTP、HTTPS或全局代理,访问私网地址时可能没有直接连接目标服务器,而是先把请求交给代理。检查当前会话和服务进程环境:

env | grep -iE '^(http|https|all|no)_proxy='

可以使用不经过代理的方式进行对照测试:

curl -v --noproxy '*' --connect-timeout 3 http://10.0.2.15:8080/health

需要注意,NO_PROXY对主机名、IP、域名后缀和CIDR的支持取决于具体客户端,不要默认认为写入一个网段就一定生效。服务以systemd运行时,也要检查systemd服务环境中的代理变量,因为交互式Shell和服务进程可能使用不同配置。

如果访问路径是“源服务器 → Nginx或其他反向代理 → 后端服务”,需要拆开测试:

  1. 源服务器到反向代理入口是否成功。
  2. 反向代理所在服务器到后端私网IP和端口是否成功。
  3. 反向代理配置中的上游主机名是否解析正确。
  4. 后端服务返回的协议、证书和状态码是否符合代理配置。

例如,源服务器收到HTTP 502或504,通常说明请求已经到达反向代理,故障点可能在代理到后端的网络、后端端口、超时设置或应用状态,而不是源服务器到入口的安全组。可以先做配置语法检查,再查看对应时间段的日志:

sudo nginx -t
sudo journalctl -u nginx --since "10 minutes ago"

如果Nginx并非通过systemd运行,日志路径可能由配置文件定义,应先确认实际配置位置,不要直接假设日志文件路径。

应用层还要区分“无法连接”和“连接后被拒绝”。收到401、403、404或业务错误,说明至少已经完成了部分网络和协议交互,排查重点应转向应用账号、路径、鉴权、租户隔离、服务发现和依赖组件。只有超时、拒绝连接或协议握手失败时,才继续优先关注网络、端口和服务进程。

根据证据定位根因

下面的判断表适合在排查记录中逐项对照:

观测证据更可能的根因处理方向
DNS返回公网IP或旧私网IPDNS记录、私有区域或应用配置错误修正解析范围和记录,确认TTL生效
ip route get无路由或走错网卡子网路由、跨网络连接或多网卡策略错误补齐双向路由,核对网卡和策略路由
源端无SYN发出本机路由、代理、客户端参数或应用未发起连接检查客户端日志、代理和本机路由
目标端看不到SYN云侧路由、安全组、ACL或目标地址错误对照流日志和安全组方向检查
目标端收到SYN但无SYN-ACK主机防火墙、端口未监听或服务异常检查防火墙和ss监听状态
三次握手完成后立即RST服务主动拒绝、协议不匹配或代理配置错误查看服务日志和协议配置
TCP成功但HTTP返回5xx应用或反向代理上游故障分段测试代理到后端链路
TCP成功且HTTP返回401/403应用鉴权或业务授权问题检查账号、令牌和应用策略
只有IPv6测试失败AAAA记录、IPv6路由或IPv6规则缺失分别修复IPv6,或明确应用地址选择策略

以一个示例场景说明:服务器A访问 db.internal.example:5432超时。A上解析结果却是 203.0.113.20,而数据库服务器B的私网IP是 10.0.2.15。此时第一根因是名称解析指向错误地址;即使把安全组的 5432/TCP对A放开,A仍然不会按照预期访问B。修正DNS后,如果目标端能看到SYN但没有回应,再继续检查B的安全组、操作系统防火墙和数据库监听地址。

另一个示例是:A访问B的 8080端口被拒绝,B上执行 ss只看到:

LISTEN 0 128 127.0.0.1:8080 0.0.0.0:*

这说明服务只监听本机回环地址。此时继续修改安全组没有意义,应在应用配置中将监听地址调整为目标私网IP或合适的通配地址,并重启或重新加载服务。配置修改前应保存原配置,确认服务启动命令和回滚方式,变更后先进行本机和远程端口验证。

验证恢复并避免重复故障

根因修复后,不要只验证一次页面是否打开。按同一条链路逐层验证,才能确认没有“碰巧恢复”:

  1. 在源服务器上再次解析目标主机名,确认结果是预期的私网IP。
  2. 使用 ip route get确认流量从预期网卡和源地址发出。
  3. 检查云侧安全组和网络ACL,确认只保留所需来源、端口和协议。
  4. 先用TCP端口测试,再用实际协议请求;HTTP服务还要检查状态码和响应内容。
  5. 在目标服务器上确认端口持续监听,而不是测试期间临时启动。
  6. 如果经过反向代理,分别验证源端到代理、代理到后端两段连接。
  7. 从必要的其他源服务器重复测试,确认不是单台实例、单条路由或单个DNS缓存导致的假恢复。
  8. 如果临时增加了安全组或防火墙规则,删除临时放行项,恢复变更前的最小权限状态。

UDP服务不能像TCP一样通过三次握手判断连通性。应结合服务自身的响应、目标端抓包、应用日志和必要的双端测试判断。ICMP同样不是所有云环境都会默认放行,因此 ping失败不应直接作为业务不可达的结论。

恢复后要保留的监控点

内网互通故障容易在实例替换、扩容、DNS切换或安全策略发布后再次出现,建议至少保留以下监控:

  • 关键私有DNS记录的解析结果变化和异常TTL。
  • 关键服务器到依赖服务的TCP连接成功率、连接耗时和超时次数。
  • 云平台流日志中的拒绝记录,按源IP、目标IP、端口和协议聚合。
  • 目标服务端口监听状态、进程存活状态和健康检查结果。
  • 反向代理的502、504、上游连接失败和响应延迟。
  • 安全组、网络ACL、路由表和网卡绑定的变更审计。
  • IPv4与IPv6分别统计,避免一条地址族正常而另一条地址族持续失败。

可以把“DNS解析—路由—安全组—主机防火墙—端口监听—应用健康”设计成一条最小探测链路。这样下次出现访问失败时,先看哪一层的指标发生变化,就能快速判断应回到网络范围、云侧策略、系统防火墙还是应用状态,而不是反复扩大安全组权限。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/7809.html

相关推荐