Linux出现非对称路由时,如何检查策略路由与回程路径?

发布人:A5数据发布时间:2026-11-06 17:46阅读量:61

当客户端能够把请求发到服务器,但 TCP 连接迟迟停在 SYN 重传、连接偶发成功,或抓包发现请求从 eth1 进入、响应却从 eth0 发出时,通常要检查的不是单条默认路由,而是“策略路由是否命中、回程路由是否正确,以及内核和防火墙是否接受这条非对称路径”。非对称路由本身不一定是故障,真正的问题在于回程接口与源地址不匹配后,是否触发了上游反向源地址检查、Linux 的 rp_filter、状态防火墙或连接跟踪限制。

先确认症状和影响范围配图

排查时应把“数据包有没有到达”“内核决定从哪里发”“数据包是否被本机或上游丢弃”“服务是否真正响应”分开验证。优先使用只读命令和双向抓包建立证据,再决定是否调整 ip rule、路由表、rp_filter 或防火墙规则,不能仅凭“有两块网卡”就认定必须增加一条默认路由。

一、先确认症状和影响范围

从 TCP 握手判断故障位置

先确认受影响的是全部业务,还是某个源地址、某个网卡、某个端口。TCP 握手的不同结果,通常对应不同的排查分支。

观察到的现象初步说明下一步检查
客户端发出的 SYN 在服务器入口网卡可见,但服务器没有 SYN-ACK可能是监听服务、入站防火墙、rp_filter 或本机协议栈处理问题检查 ss、防火墙、内核日志和反向路径
SYN 进入 eth1,SYN-ACK 从 eth0 发出策略路由没有命中、优先级被 main 表抢先,或实际源地址与规则不匹配检查 ip rule、对应路由表和 ip route get
SYN-ACK 从 eth1 发出,但客户端收不到本机已经做出正确回程选择,问题可能在网关、上游 ACL、源地址校验或中间设备在客户端、网关或上游入口继续抓包
三次握手完成,随后出现 RST 或连接很快中断路由未必是根因,需看连接跟踪、状态防火墙、应用主动关闭连接检查 nftables、conntrack 和服务日志
只有一个网段或一个出口异常更像是特定策略规则、网关、邻居解析或链路问题以受影响目的地址执行定向路由查询
所有出口都异常可能是服务未监听、主路由损坏、全局防火墙或地址配置问题先检查地址、监听端口和 main 路由表

以下命令只读取当前状态,适合在不改变业务路径的情况下先执行:

ip -br address
ip -br link
ip -4 route show table main
ip -4 route show table all
ip -4 rule show
ss -lntup

如果环境同时提供 IPv6,还要单独检查:

ip -6 route show table all
ip -6 rule show
ss -lntup6

IPv4 的 rp_filter 不适用于 IPv6,不能用 IPv4 的检查结果替代 IPv6 的策略路由判断。

用抓包确认数据包实际走向

在受影响服务器上,分别监听入口和两个可能的出口。下面地址仅用于演示,属于示例过滤条件,不代表实际环境:

sudo tcpdump -ni eth1 'host 198.51.100.20 and tcp port 443'
sudo tcpdump -ni eth0 'host 198.51.100.20 and tcp port 443'

如果服务器监听的是 eth1 上的 192.0.2.10,典型的正确现象应是:

  1. eth1 收到客户端 198.51.100.20 发来的 SYN;
  2. eth1 发出源地址为 192.0.2.10 的 SYN-ACK;
  3. eth1 收到客户端 ACK;
  4. 后续数据包仍能按照连接的预期方向传输。

若 SYN-ACK 明确从 eth0 出现,说明内核已经决定了错误或不符合设计的出口。此时不要先修改防火墙,因为防火墙只是可能的后续影响,首要证据仍是策略规则和路由查询。

抓包看到数据包不等于数据包已经被内核上层接受。Linux 可能在抓包点之后因反向路径校验、Netfilter 规则或套接字匹配失败而丢弃,因此要把抓包结果与 ss、内核日志和防火墙计数器结合起来判断。

二、建立非对称路由的原因树

一个多网卡 Linux 主机出现回程异常,原因通常可以分成四层。每一层都要有观察依据和下一步动作,不能把“响应走错网卡”直接归因于策略路由。

层级常见原因观察依据后续动作
网络与链路网关配置错误、同网段多网卡、邻居解析异常、上游源地址校验地址、网关、邻居表和双向抓包不一致检查 ip neigh、网关可达性和上游设备
Linux 路由ip rule 优先级不对、规则源地址不匹配、策略表缺少路由、多个默认路由竞争ip route get 得出的 dev、src 与预期不符检查规则顺序、表内容和实际源地址
系统与内核rp_filter 严格模式、命名空间或 VRF 不同、网络管理服务覆盖临时配置抓包有包但服务无响应,或重载网络后配置消失检查 sysctl、命名空间、VRF 和持久化配置
服务与应用监听地址不正确、服务绑定了另一块网卡、应用主动关闭连接ss 中没有对应监听,或服务日志出现拒绝检查监听地址、端口和应用日志
防火墙与连接跟踪状态规则认为回包无效、接口策略不允许、NAT 与路径不一致nftables 计数器增加、出现 INVALID 或连接跟踪异常检查过滤表、NAT 表和连接状态

排查顺序建议从链路和实际路径开始,再进入策略路由、内核校验、防火墙和应用。这样可以先排除低风险、可观测的问题,避免在根因未知时直接修改系统参数。

三、逐层检查策略路由和回程路径

1. 先确认地址、网关和邻居状态

执行:

ip -4 address show
ip -4 route show
ip -4 route show table main
ip neigh show

重点观察以下内容:

  • 受影响的本地 IP 是否确实配置在预期接口上;
  • 接口是否处于 UP 状态;
  • 每个网关是否位于对应接口的可达网段;
  • main 表中是否存在多个默认路由,以及它们的 metric;
  • 网关邻居状态是否长期为 FAILED、INCOMPLETE 或频繁变化;
  • 两块网卡是否连接到同一个二层网段,并同时配置了相近或重复的地址范围。

例如,某主机可能有如下结构:

  • eth0:10.0.0.10/24,网关 10.0.0.1
  • eth1:192.0.2.10/24,网关 192.0.2.1
  • 外部客户端:198.51.100.20

如果 main 表只有:

default via 10.0.0.1 dev eth0
192.0.2.0/24 dev eth1 proto kernel scope link src 192.0.2.10
10.0.0.0/24 dev eth0 proto kernel scope link src 10.0.0.10

那么对 198.51.100.20 的普通查询很可能会从 eth0 发出。若进入服务器的请求目标是 192.0.2.10,这并不会自动让回包从 eth1 返回。Linux 默认依据目的地址和路由表选择出口,不会仅因为请求从某块网卡进来,就自动建立对称回程。

多个默认路由也不能简单视为“每块网卡各有一条默认路由就能自动按源地址返回”。在没有策略规则时,内核通常按路由优先级、前缀长度和 metric 选择其中一条,结果可能与业务入口不一致。

2. 检查 ip rule 是否真的命中

策略路由的检查重点不是“有没有写过一条规则”,而是:

  1. 规则是否存在;
  2. 优先级是否早于会返回结果的其他规则;
  3. 选择条件是否匹配实际数据包;
  4. 目标路由表中是否有可用路由;
  5. 查询结果是否指向预期接口和源地址。

执行:

ip -4 -details rule show

常见输出类似:

0:      from all lookup local
100:    from 192.0.2.10 lookup 100
32766:  from all lookup main
32767:  from all lookup default

数字越小,优先级越高。上面的 100 会先于 32766 的 main 表执行。典型的配置冲突是策略规则被放到了 32767,或者规则优先级高于 main 的预期,但实际条件没有匹配,于是仍然落入 main 表。

继续检查自定义表:

ip -4 route show table 100
ip -4 route show table all

如果表 100 没有到目标地址的路由,Linux 可能继续处理后面的规则,最终使用 main 表。以下几种情况都可能让策略路由“看起来存在但实际上没生效”:

  • 规则写的是 from 192.0.2.10/32,实际套接字使用了 192.0.2.11;
  • 服务绑定在 0.0.0.0,内核源地址选择结果与预期不同;
  • 规则使用 fwmark,但本地生成的响应没有得到该标记;
  • 规则使用了错误的表编号或名称;
  • 自定义表只有部分网段,没有默认路由;
  • 路由表中的网关或设备写错;
  • 更早的规则已经返回了可用路由;
  • 规则只在某个网络命名空间或 VRF 中存在。

3. 用实际源地址执行路由查询

不要只执行不带源地址的查询:

ip -4 route get 198.51.100.20

还要带上服务实际使用的本地源地址:

ip -4 route get 198.51.100.20 from 192.0.2.10

示例结果:

198.51.100.20 from 192.0.2.10 via 192.0.2.1 dev eth1 src 192.0.2.10 uid 0

这表示在该查询条件下,目标、下一跳、出口设备和源地址均符合预期。如果结果类似:

198.51.100.20 from 192.0.2.10 via 10.0.0.1 dev eth0 src 10.0.0.10

则优先检查源地址规则和表 100,而不是先调高 eth1 的链路速率或重启服务。

对入站源地址,还可以辅助查询反向可达接口:

ip -4 route get 198.51.100.20 iif eth1

如果内核判断到该源地址的路径应从 eth0 发出,而数据包实际从 eth1 进入,在严格反向路径校验开启时就存在被丢弃的风险。不同内核版本、策略规则和命名空间会影响查询结果,因此这条命令应与实际抓包和 rp_filter 值一起判断。

如果策略规则依赖防火墙标记,还要模拟标记条件:

ip -4 route get 198.51.100.20 from 192.0.2.10 mark 0x10

仅有 fwmark 规则不代表一定有效。对本机产生的响应,数据包通常经过 OUTPUT 路径;如果标记只在 PREROUTING 中设置,服务端本地生成的回包可能根本没有该标记,因而不会命中相应策略。

4. 检查自定义路由表是否完整

下面是一组参考配置,假定 eth1 使用 192.0.2.10/24,网关为 192.0.2.1,表编号为 100:

ip route add 192.0.2.0/24 dev eth1 src 192.0.2.10 table 100
ip route add default via 192.0.2.1 dev eth1 table 100
ip rule add pref 100 from 192.0.2.10/32 lookup 100

这只是拓扑示例,不应直接复制到生产主机。自定义表通常至少要具备:

  • 本地出口网卡所在的直连网段;
  • 对应网关的可达路径;
  • 需要从该源地址访问的目标网段或默认路由;
  • 与策略规则一致的源地址和接口。

如果只是把默认路由放进表 100,但网关不在该表可解析的链路范围内,可能导致添加失败、查询无结果或行为与预期不一致。使用点对点地址、云主机单 IP 路由或特殊上游网关时,必须依据实际提供的二层和三层模型核对,不能随意添加 onlink 绕过检查。

5. 确认临时配置没有被网络管理服务覆盖

手工执行 ip rule add 或 ip route add 后立即生效,不代表重启、网卡重连或网络服务重载后仍然存在。先确认当前主机由哪个组件管理网络:

systemctl is-active NetworkManager
systemctl is-active systemd-networkd
command -v netplan

使用 NetworkManager 时,可查看连接配置中的路由和规则:

nmcli connection show
nmcli -f ipv4.routes,ipv4.routing-rules connection show "连接名称"

使用 systemd-networkd 时,检查对应的 .network、.netdev 文件及运行状态:

networkctl status

Ubuntu 等系统如果使用 Netplan,应检查 /etc/netplan/ 下的配置,并在维护窗口按照当前发行版支持的语法验证后再应用。不要只修改运行时状态而忽略持久化配置,否则下一次重启或 DHCP 续租可能重新出现非对称路径。

在做任何路由、规则或网络管理配置变更前,建议保存现状并准备控制台或带外访问:

ip -4 rule show > /root/ip-rule.before.txt
ip -4 route show table all > /root/ip-route.before.txt
ip -4 address show > /root/ip-address.before.txt

修改策略规则、默认路由或网卡配置可能立即中断远程 SSH。回滚时必须使用与现有配置精确匹配的删除或恢复操作,并优先恢复持久化配置;不要在没有控制台、没有备份的情况下批量删除路由。

四、检查内核反向路径校验

rp_filter 为什么会放大非对称路由问题

Linux IPv4 的反向路径过滤会检查收到的数据包的源地址是否能够通过预期接口返回。常见取值为:

  • 0:关闭反向路径校验;
  • 1:严格模式,要求反向路径与入接口匹配;
  • 2:宽松模式,只要源地址通过某个接口可达即可。

检查全局和各接口设置:

sysctl net.ipv4.conf.all.rp_filter
sysctl net.ipv4.conf.default.rp_filter
sysctl net.ipv4.conf.eth0.rp_filter
sysctl net.ipv4.conf.eth1.rp_filter

也可以批量查看:

grep -R "rp_filter" /proc/sys/net/ipv4/conf/*/rp_filter

不同发行版的默认值和启动脚本可能不同。实际判断时不能只看 all,还要看受影响接口。Linux 对 all 与具体接口的组合处理会影响最终行为,尤其是在系统使用严格模式时。

如果抓包显示 eth1 收到了 SYN,但应用和防火墙都没有看到有效连接,同时日志中出现类似 martian source 的信息,可以重点检查:

journalctl -k --since "10 minutes ago" | grep -iE 'martian|reverse|rp_filter'
dmesg -T | grep -iE 'martian|reverse|rp_filter'

没有日志不代表一定没有丢包,因为相关日志可能未启用、被限速,或数据包在其他位置被处理。

在已经确认策略路由正确、且业务设计确实允许非对称路径的前提下,可以在维护窗口临时测试宽松模式。此操作会改变主机的源地址校验行为,影响范围应限定到必要接口,并记录原值:

sudo sysctl -w net.ipv4.conf.eth1.rp_filter=2

如果 all 的值仍会使严格检查生效,需根据发行版和内核行为一并核对:

sysctl net.ipv4.conf.all.rp_filter
sysctl net.ipv4.conf.eth1.rp_filter

测试完成后恢复原值;不要把关闭校验当成首选修复方案。永久写入 /etc/sysctl.d/ 前,应评估主机是否承担转发、边界防护或多租户职责,并保留回滚文件。错误地全局关闭校验可能扩大源地址伪造和错误路径数据包的影响范围。

五、检查防火墙、NAT和连接跟踪

当路由查询已经得到预期出口,但连接仍失败,就进入防火墙和连接跟踪分支。

先查看当前使用的是哪套规则:

sudo nft list ruleset
sudo iptables -S
sudo iptables -t nat -S

不一定要同时修改两套规则。部分系统的 iptables 命令实际上由兼容层转换到 nftables,实际规则应以运行中的规则集和计数器为准。

重点查找:

  • 是否只允许某个接口进入、另一个接口返回;
  • 是否要求 ct state established,related,但回包被判定为 INVALID;
  • 是否在 mangle 表中设置了 mark,规则是否作用于正确方向;
  • NAT 前后的源地址是否与策略规则设计一致;
  • 是否存在按接口、源地址、目的地址限制的输出规则;
  • 规则计数器是否在故障发生时增加。

如果安装了连接跟踪工具,可以查看连接状态:

sudo conntrack -L
sudo conntrack -S

某些系统没有安装 conntrack,或权限不足时不要把命令失败误认为连接跟踪为空。此时以 nftables 计数器、内核日志和双向抓包为准。

需要特别注意 NAT 和路由的先后关系。对于本机生成的流量,路由选择通常发生在出站 NAT 之前,因此策略路由匹配的可能是 NAT 前源地址;对于入站 DNAT 流量,目的地址在进入路由决策前可能已经被改写。若规则同时依赖 NAT 和 fwmark,应沿着实际数据包路径确认每个字段何时改变,而不是只看最终抓包中的地址。

六、排除 VRF、网络命名空间和服务监听问题

检查是否查错了路由域

如果服务器使用 VRF、容器或网络命名空间,宿主机默认命名空间中的路由查询可能不能代表业务进程看到的路径。

先查看:

ip netns list
ip link show type vrf
ip -d link show

如果存在 VRF,可按实际名称查询:

ip route show vrf blue
ip vrf exec blue ip route get 198.51.100.20 from 192.0.2.10

容器或独立命名空间中的进程,应在对应命名空间内检查地址、规则和路由。宿主机上看到 eth1 有地址,不代表容器内的服务也能使用这个地址。

检查服务是否监听正确地址

执行:

ss -lntup
ss -ntp

例如:

LISTEN 0 4096 192.0.2.10:443 0.0.0.0:* users:(("service",pid=1234,fd=8))

这表示服务只监听 192.0.2.10:443。如果客户端访问的是另一块网卡上的地址,即使路由正确,也可能没有对应监听。

如果显示:

LISTEN 0 4096 0.0.0.0:443 0.0.0.0:* users:(("service",pid=1234,fd=8))

则服务监听所有 IPv4 本地地址,但仍不能排除防火墙、策略路由或应用层主动拒绝。若抓包中服务器对 SYN 立即返回 RST,通常更应检查监听地址和端口;若完全没有响应,则继续看 rp_filter、防火墙和连接跟踪。

应用日志还可以帮助区分“网络连接失败”和“连接建立后应用拒绝”。例如 Web 服务可能已经完成 TCP 握手,但由于主机名、证书、Host 头或上游连接失败而返回应用层错误,这不应继续归因于回程路由。

七、典型配置冲突的定位过程

下面用一个模拟案例说明判断链。服务器有:

  • eth0:10.0.0.10
  • eth1:192.0.2.10
  • 客户端:198.51.100.20
  • 目标服务:192.0.2.10:443

抓包结果显示 SYN 从 eth1 进入,SYN-ACK 从 eth0 发出。此时依次执行:

ip -4 rule show
ip -4 route show table 100
ip -4 route get 198.51.100.20 from 192.0.2.10

假设得到:

32766:  from all lookup main
32767:  from 192.0.2.10 lookup 100

而 main 表中存在:

default via 10.0.0.1 dev eth0

原因已经比较明确:源地址规则虽然存在,但优先级低于 main,main 已经返回了默认路由,后面的表 100 不会再参与选择。

另一种模拟结果是:

100:    from 192.0.2.10 lookup 100
32766:  from all lookup main

但查询显示:

198.51.100.20 from 192.0.2.10 via 10.0.0.1 dev eth0 src 10.0.0.10

这说明问题不一定是规则优先级,还可能是:

  • 实际响应源地址并不是 192.0.2.10;
  • 表 100 中没有到 198.51.100.20 的可用路由;
  • 表 100 的路由使用了错误的设备或网关;
  • 查询时缺少 mark、VRF 或命名空间条件;
  • 规则被其他更早的规则、suppress_prefixlength 或特殊选择器影响。

最后一种情况是:

198.51.100.20 from 192.0.2.10 via 192.0.2.1 dev eth1 src 192.0.2.10

但客户端仍收不到 SYN-ACK。此时策略路由已经基本排除,应转向:

  1. 在 eth1 上确认 SYN-ACK 确实发出;
  2. 检查 rp_filter 是否丢弃后续入站包;
  3. 查看本机输出防火墙和连接跟踪;
  4. 在 192.0.2.1 或客户端侧确认是否收到;
  5. 检查上游是否启用了源地址反欺骗、接口 ACL 或返回路径过滤。

这个过程的关键是每一步都改变判断分支,而不是重复执行同一条 ip route 命令。

八、验证修复是否真正生效

调整配置后,应同时验证路由决定、实际数据包和业务结果。

路由层验证

再次执行:

ip -4 route get 198.51.100.20 from 192.0.2.10
ip -4 rule show
ip -4 route show table all

至少确认:

  • 规则优先级符合预期;
  • lookup 指向正确表;
  • 结果中的 dev 是预期出口;
  • src 是服务实际使用的本地地址;
  • 下一跳属于正确接口的可达范围。

数据包层验证

在入口和出口同时抓包,观察完整握手,而不是只看一个 SYN:

sudo tcpdump -ni eth1 'host 198.51.100.20 and tcp port 443'

如果业务设计要求回程从 eth1 返回,应看到 SYN、SYN-ACK、ACK 都沿预期方向出现。若允许经过不同出口,则至少要确认上游和状态防火墙能够接受这种路径,并且客户端确实收到响应。

服务层验证

从受控测试客户端发起连接:

curl -4 -vk --connect-timeout 5 https://192.0.2.10/

如果服务使用域名或虚拟主机,应通过测试环境的解析或 --resolve 保留正确的 Host 信息。测试结果要和抓包对应起来:TCP 连接失败、TLS 失败、HTTP 返回错误,分别属于不同层级,不能混为“路由已恢复”或“路由仍有问题”。

重载和重启后的验证

如果配置由 NetworkManager、systemd-networkd 或 Netplan 管理,还要在可控维护窗口验证网络重载后规则是否保留。检查:

ip -4 rule show
ip -4 route show table all
sysctl net.ipv4.conf.eth1.rp_filter

若重载后规则消失,说明运行时修复没有写入正确的持久化配置。此时应恢复管理器配置,而不是继续追加重复的 ip rule。

九、为复发故障设置监控点

非对称路由问题经常在重启、网卡重连、DHCP 更新、云网络变更或网络管理服务 reload 后复发,建议持续关注以下指标:

  • ip rule 的规则数量、优先级和关键选择器是否变化;
  • 自定义路由表中的默认路由、直连路由和网关是否存在;
  • 关键源地址执行 ip route get 时的出口设备是否变化;
  • rp_filter 的全局值和业务接口值是否被覆盖;
  • martian source、反向路径或内核丢包日志;
  • nftables 规则中 INVALID、丢弃和接口限制计数器;
  • conntrack 表是否接近容量上限;
  • 网关邻居状态是否出现 FAILED 或反复解析;
  • 入口 SYN 与出口 SYN-ACK 的数量是否明显不匹配。

可以在故障发生时临时监听路由和地址变化:

ip monitor rule route

系统级统计可作为辅助参考:

nstat -az | grep -Ei 'InNoRoutes|InDiscards|OutNoRoutes|OutDiscards'

监控的目标不是强制所有流量都走同一条路径,而是及时发现“策略规则失效、回程出口改变、校验模式被覆盖、状态防火墙开始丢包”等变化。只要能够把预期源地址、目标地址、规则表、出口接口和实际抓包结果对应起来,Linux 中的非对称路由就可以从“偶发连接失败”还原为可验证的具体配置冲突。

面向多源地址接入和跨地区业务部署,A5idc数据提供中国香港、美国、日本等地的物理服务器。香港和美国设有多IP服务器系列;香港部分产品提供CN2或国际带宽选择,美国常规系列提供CN2 GIA线路方案。结合不同档位的计算与存储资源,这些产品可为企业网站、接口服务及跨境业务提供多地区部署和网络资源基础。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/7902.html

相关推荐