Linux服务器配置多网卡后回包走错出口,策略路由该如何调整?

发布人:A5数据发布时间:2026-11-14 14:53阅读量:36

多网卡服务器出现“请求从网卡 A 进入,响应却从网卡 B 发出”,通常不是网卡配置本身失效,而是 Linux 按路由规则为响应包选出口时,命中了另一张网卡对应的默认路由。Linux 不会仅凭请求从哪个接口进入,就自动要求响应从同一接口返回。

常见修复方式是:确认响应包使用的源 IP,再为该源地址配置一条策略规则,让它查询包含对应直连网段和默认网关的独立路由表。动手前先用 ip route get 和抓包判断问题发生在哪一层;如果路由选对了但报文仍不通,再检查反向路径过滤、防火墙、邻居解析及上游网络。

先确认现象:是哪张卡收包,哪张卡发包

以下用两个网卡举例,地址均为文档示例网段,实际操作时要替换成服务器当前配置:

接口地址网关
enp1s0192.0.2.10/24192.0.2.1
enp2s0198.51.100.10/24198.51.100.1

先确认接口地址、链路状态和当前路由,不做任何修改:

ip -br link
ip -br -4 addr
ip -4 rule show
ip -4 route show table main
ip -4 route show table all

ip -br 输出便于快速核对网卡是否处于 UP 状态,以及接口上是否配置了预期地址。路由表输出则用于确认当前默认路由、直连网段和已存在的策略表。若接口地址不对,先查网络管理程序和配置文件,不要急着添加策略规则;策略规则引用错误源地址,只会把故障藏到另一层。

随后查看服务器上实际存在的管理连接和监听地址:

ss -tnp
ss -lntp

如果是某个服务的响应异常,注意连接本地地址是什么。服务绑定到 198.51.100.10,与服务绑定到 0.0.0.0 后由系统选择源地址,路由结果可能不同。若应用绑定了预期之外的地址,先核对应用配置;调整路由并不能替代正确的地址绑定。

确认一个发生问题的远端地址和对应本机源地址后,检查路由查找结果:

ip -4 route get 203.0.113.80 from 198.51.100.10

这里的 203.0.113.80 代表一个实际远端地址,198.51.100.10 代表服务器应使用的本地源地址。输出中的 dev 是内核为该目的地址选择的出口,via 是下一跳,部分系统还会显示所用路由表。如果结果指向 enp1s0,而预期出口是 enp2s0,就有了明确的路由选择问题。若输出已指向 enp2s0,则不应继续盲目添加路由,需沿着报文路径检查其他原因。

再用抓包核实实际流量。抓包会读取经过接口的报文,不会修改网络配置:

sudo tcpdump -ni enp1s0 'host 203.0.113.80'
sudo tcpdump -ni enp2s0 'host 203.0.113.80'

在另一个终端复现连接,观察请求是否进入预期接口、响应是否从预期接口发出。抓包结果比单看默认路由更接近实际报文路径;不过,抓包只显示本机接口上观察到的流量,不能证明远端已经收到数据。

从外到内排查

1. 先排除外部路径和测试对象差异

先确认客户端请求的目标 IP、服务器实际收到的目标地址,以及对应服务端口。若入口经过负载均衡、地址转换或上游安全设备,服务器看到的源地址可能不是客户端原始地址;此时应以服务器抓到的实际五元组(源地址、源端口、目标地址、目标端口、协议)为判断依据。

如果请求没有出现在预期接口上,优先检查上游路由、地址映射、交换网络和安全策略。若服务器收到了请求,但响应从另一接口发出,再继续检查本机的源地址选择和策略路由。不要把“客户端连接失败”直接等同于“默认路由错误”。

2. 检查响应源地址和路由规则顺序

策略路由按规则优先级依次匹配;较小的优先级数字通常先执行。常见系统会有指向 local、main 和 default 表的规则,但实际规则可能已被网络管理程序、容器或其他配置添加,因此以本机 ip rule show 输出为准。

ip -4 rule show
ip -4 route get 203.0.113.80 from 198.51.100.10
ip -4 route get 203.0.113.80 from 192.0.2.10

如果两条查询都选到同一个出口,而业务需要按源地址分流,说明现有规则可能没有按源地址匹配,或者对应策略表缺少有效路由。若指定源地址后结果仍不符合预期,检查是否存在更早匹配的规则、指向空表的规则,或策略表中的路由不完整。

多网卡的关键点是:路由查找不仅看目的地址,还可能受规则、源地址、标记等条件影响。只修改主路由表中的默认路由,会改变未被更高优先级规则接管的流量;它通常不是“仅修复某张网卡回包”的安全替代方案。

3. 检查策略表是否包含直连网段和默认路由

策略表不能只放一条默认路由。若规则把源地址为 198.51.100.10 的流量送到表 101,但表 101 不知道该网段如何直连,那么发往同一子网的邻居流量也可能查路由失败或走错路径。

在目标表中核对两类路由:

  • 对应网卡的直连网段,出口为该网卡;
  • 该网卡的默认路由,下一跳为该接口所在网段内可达的网关。

网关必须能通过对应接口到达。若网关地址不在接口配置的直连网段内,不要直接照抄默认路由;先确认实际网络设计和是否需要显式指定链路可达条件。

4. 判断是否是反向路径过滤或邻居解析问题

反向路径过滤(rp_filter)会检查入站源地址是否能按反向路由到达。在多网卡或非对称路径环境中,严格模式可能丢弃本来合法的入站包。它与回包出口选择不是同一回事:ip route get 指向错误出口,首先应修正路由;入站包没有进入协议栈时,才进一步核查过滤和防火墙。

读取当前值:

sysctl net.ipv4.conf.all.rp_filter \
       net.ipv4.conf.default.rp_filter \
       net.ipv4.conf.enp1s0.rp_filter \
       net.ipv4.conf.enp2s0.rp_filter

常见取值为 0(不进行该检查)、1(严格模式)和 2(宽松模式)。实际生效行为还受 all 与接口配置值影响。多网卡环境不应不加判断地全局关闭该检查;应先结合抓包、内核日志和网络拓扑确认它是否导致丢包,再评估是否改为宽松模式。若临时调整,先记录原值,并准备按原值恢复;这类调整可能影响多个接口的源地址校验。

若请求已进入正确网卡,但同网段下一跳解析异常,可查看邻居表:

ip neigh show dev enp2s0

邻居状态长期为 INCOMPLETE 或 FAILED,通常应检查网关地址、二层连通性、VLAN、交换网络及地址冲突。若两张网卡处在同一二层网段,ARP 可能出现跨接口应答或地址宣告不符合预期;此时需先确认网络设计,再考虑 arp_ignore、arp_announce 等参数,不要把它们当作所有多网卡故障的通用修复项。

5. 区分路由问题与本机防火墙、应用问题

如果 ip route get 已选中预期接口,但抓包中没有响应包,检查应用是否实际生成了响应、连接是否使用了预期源地址,以及本机的出站防火墙规则。若出接口上能看到响应包,但远端收不到,再检查下一跳、运营商或机房侧源地址校验、上游 ACL 和回程路由。

对于有状态防火墙或经过地址转换的流量,策略规则可能需要依据数据包标记而不是源地址选择路由。例如,多个逻辑流量使用同一源地址,或地址转换后源地址不足以区分入口时,可以评估基于标记的策略路由。但标记必须在路由查询前设置,并在需要时对连接状态正确恢复;具体实现依赖现有防火墙框架,不应在不了解规则链和连接跟踪行为时直接追加规则。

按源地址配置策略路由

当故障明确为“源地址是 198.51.100.10 的响应应从 enp2s0 发出”,且该接口网关与地址信息已确认,可以用独立路由表和源地址规则修复。下面的命令是临时配置示例,不会自动持久化;请先保存 ip rule show、ip route show table all 和接口地址输出,确认没有使用表 101 或优先级 100 的现有配置。

远程管理服务器时,先确认有带外控制台或可用的回滚手段。新增规则可能立即影响匹配该源地址的现有连接;不要在没有恢复路径的情况下直接改动当前管理会话所依赖的地址和网关。

先创建策略表中的直连路由和默认路由,再创建源地址规则:

sudo ip -4 route add 198.51.100.0/24 \
  dev enp2s0 scope link src 198.51.100.10 table 101

sudo ip -4 route add default \
  via 198.51.100.1 dev enp2s0 table 101

sudo ip -4 rule add priority 100 \
  from 198.51.100.10/32 table 101

这里假定 enp2s0 的地址为 198.51.100.10/24,网关为 198.51.100.1。如果实际掩码或网关不同,必须据实替换网段和下一跳。若某条 add 命令提示对象已存在,先检查现有配置,不要为消除提示而连续重复添加。

规则创建后重新查询:

ip -4 rule show
ip -4 route show table 101
ip -4 route get 203.0.113.80 from 198.51.100.10

预期结果是:匹配该源地址的流量进入表 101,远端地址经 198.51.100.1 从 enp2s0 发出;发往 198.51.100.0/24 内地址的流量则走表 101 中的直连路由。如果默认路由正确、同网段目的地却不通,优先核对直连路由的掩码、接口地址和二层可达性。

按源地址配置策略路由配图

要验证回包场景,最好从受控客户端发起一次连接,同时在服务器上观察两个接口,并用相同的远端地址再次执行 ip route get。不要仅用 ping 成功与否判断策略是否有效:ICMP 可能被网络设备过滤,而且它不一定复现应用连接的源地址选择方式。

如果测试确认修复有效,持久化配置应写入实际管理网卡的网络管理程序,而不是只依赖启动脚本或临时命令。先识别当前由谁管理接口:

systemctl is-active NetworkManager
systemctl is-active systemd-networkd
networkctl status enp2s0
nmcli connection show

一台机器上可能有多套网络组件,但实际生效配置通常由其中一套管理。修改前确认发行版、网络管理程序和配置文件来源;云初始化工具也可能在重启或实例更新时重新生成网络配置。

以下是 Netplan 环境中的配置片段示例,展示应有的关系,不应不经核对直接覆盖现有文件:

network:
  version: 2
  ethernets:
    enp2s0:
      addresses:
        - 198.51.100.10/24
      routes:
        - to: 198.51.100.0/24
          scope: link
          table: 101
        - to: default
          via: 198.51.100.1
          table: 101
      routing-policy:
        - from: 198.51.100.10/32
          table: 101
          priority: 100

把片段合并到现有配置时,保留原有接口名、地址、渲染器及其他必要路由,避免重复定义同一个接口。修改前备份 /etc/netplan/ 下相关文件;先执行 netplan generate 检查配置能否生成,再通过 netplan try 进行可回退的应用测试。远程操作时不要贸然确认配置,先验证管理连接和业务路径;连接异常时让测试自动回退,或从控制台恢复备份。netplan try 可用性和配置字段支持情况取决于系统版本,执行前应以本机命令帮助和版本为准。

NetworkManager 和 systemd-networkd 应使用各自管理的连接配置或 .network 文件持久化相同的路由表与源地址规则。不要同时在多个管理器里重复配置同一接口,否则重启后的实际结果可能与临时测试不同。

多网卡部署中的路由规划,也与服务器所在区域和可用网络资源相关。A5idc数据提供中国香港、美国、日本、韩国、中国台湾、新加坡及马来西亚等地的物理服务器,覆盖不同线路、带宽和多IP产品,并提供常规建站、AMD计算、存储等配置,可为网站、业务后台和接口服务提供相应的硬件与网络资源基础。各地产品线路按具体系列配置,支持围绕业务部署区域与网络需求规划服务器资源。

根据结果选择修复方向

检查结果更可能的原因下一步
指定源地址查询后仍从另一网卡发出策略规则缺失、优先级冲突,或匹配到的表缺少路由对照 ip rule show、ip route show table all,逐项确认规则命中的表
查询结果正确,但请求未到达服务器预期接口上游路由、地址映射、安全策略或网络接线问题在入口侧抓包,核对实际目标地址和 VLAN 等网络配置
请求到达,但抓包显示响应从错误接口发出响应源地址与规则不符,或应用使用了其他本地地址查看连接本地地址,针对实际源地址复查 ip route get
查询选路正确,预期出口看不到响应应用未发包、本机防火墙丢弃,或数据包未进入预期协议路径查服务日志、防火墙计数器和连接状态
预期出口能看到响应,但客户端仍超时网关、上游过滤、源地址校验或远端回程问题在网关或上游设备继续追踪,不要继续叠加本机默认路由
同网段目的地不通,邻居状态异常网关、掩码、二层网络或邻居解析问题检查接口地址、VLAN 和邻居表,再评估 ARP 相关配置

变更后的复测与回滚

验证不能只看规则存在。至少核对三项:策略表中有对应直连路由和默认路由;指定源地址的路由查询指向预期网卡;实际连接的请求和响应在抓包中经过预期接口。若业务包含多个源地址、远端网段或协议,应分别验证,不能以一条连接成功推断所有流量都已修复。

临时配置需要撤销时,先删除策略规则,再删除对应路由。下列删除命令只适用于前文示例,并且仅应在确认这些条目确由本次变更添加后执行:

sudo ip -4 rule del priority 100 from 198.51.100.10/32 table 101
sudo ip -4 route del default via 198.51.100.1 dev enp2s0 table 101
sudo ip -4 route del 198.51.100.0/24 dev enp2s0 table 101

删除规则后,再次检查主路由表、全部策略表和远程管理连接。若已持久化配置,应同步恢复备份文件并通过对应网络管理程序重新应用;只删运行时规则并不能阻止重启后配置再次生效。

变更完成后,在业务高峰和低峰各观察一段时间,重点关注连接超时、接口收发计数、网关邻居状态及应用日志。若异常只在特定源地址、特定远端网段或重启后复现,记录复现条件并对照规则命中路径继续排查;不要通过不断提高默认路由优先级来掩盖未定位的匹配问题。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/9445.html

相关推荐