Docker容器跨主机通信怎么实现?不同网络方案适合什么场景
Docker 容器跨主机通信并不存在一个适用于所有业务的固定方案:如果只是让另一台主机访问 HTTP 或 TCP 服务,使用节点地址加发布端口通常已经足够;如果多个容器需要像处在同一逻辑网络中一样互相发现,则更适合使用 Overlay;如果企业能够控制底层路由和网段,则可以采用路由型网络;如果容器必须直接出现在现有局域网中,macvlan 或 ipvlan 更符合要求。
判断方案时,不能只看“容器能不能 ping 通”。还要同时确认服务发现、节点故障后的恢复、跨主机吞吐、网络隔离、云平台限制以及后续运维成本。下面按同一组条件比较四类常见做法,并说明各自适合的业务边界。
先统一跨主机通信的比较前提
“能通信”至少包含三种目标
不同团队说的“跨主机通信”可能不是同一件事,先区分目标,才能避免选错网络方案。
| 目标 | 典型表现 | 更关注的指标 |
|---|---|---|
| 服务访问 | 主机 A 上的 Web 容器访问主机 B 上的 API | 地址稳定、负载均衡、健康检查、故障切换 |
| 容器直接互访 | 容器通过虚拟 IP 或服务名访问另一容器 | 服务发现、网络隔离、动态调度、端口可达性 |
| 接入现有局域网 | 容器需要使用办公网、生产网或专用 VLAN 的地址 | 地址规划、交换机策略、广播、网关和访问控制 |
例如,两个 Web 服务只需要通过 HTTPS 调用接口,并不一定需要共享一个二层网络。此时用负载均衡器或节点发布端口,往往比搭建完整的容器虚拟网络更容易维护。
反过来,如果一组任务会在多台主机之间动态迁移,应用配置中不能绑定某台主机的固定地址,那么仅发布端口就会把服务发现和故障切换问题转移给其他组件,Overlay 或路由型网络通常更合适。
四类方案都必须满足的基础条件
无论选择哪种方式,以下条件都不能省略:
- 主机地址不能重复,容器网段不能重叠。 主机管理网、业务网、容器网和存储网最好分开规划。两台主机如果都使用
172.18.0.0/16作为本地容器网段,后续无论是路由还是策略配置都容易产生歧义。 - 主机之间要有稳定的底层可达性。 容器网络不能替代主机网络。主机间丢包、链路抖动或路由不对称,会直接表现为容器连接超时。
- 只放行实际需要的协议和来源。 Overlay 通常需要节点间的集群管理与数据通信端口;常见 Docker Engine 部署中会涉及 TCP 2377、TCP/UDP 7946 和 UDP 4789,但具体端口还要以部署模式和版本配置为准。
- 检查 MTU,而不是只检查 IP 地址。 经过封装的虚拟网络会占用额外报文空间。底层链路使用 1500 字节 MTU 时,Overlay 的有效载荷 MTU 往往需要下调,最终值应通过实际路径测试确认。
- 服务发现要与网络方案配套。 Docker Compose 分别在两台主机执行
docker compose up,通常只会创建各自主机上的本地网络;即使网络名称相同,也不会自动变成一个跨主机网络。 - 访问控制要覆盖容器地址和节点地址。 只保护主机 SSH 端口,并不等于保护了容器暴露的业务端口。
四种可替代方案的工作方式
1. 发布端口,加节点地址或负载均衡访问
这种方式不要求容器获得跨主机可路由的地址。主机上的容器监听内部端口,再通过 Docker 发布到节点地址,其他主机访问节点的 IP 和端口即可。
例如,主机 A 的 api 容器监听 8080,主机 A 地址为 10.10.1.11,对外发布为 18080,主机 B 可以访问:
http://10.10.1.11:18080
生产环境通常不会让业务代码直接写死某一台节点,而是在节点前增加负载均衡器、反向代理或统一服务注册组件。节点发生故障时,由健康检查摘除故障节点。
适合的场景:
- Web、API、消息接入等以 TCP 或 HTTP 服务为主的业务;
- 服务数量不多,部署位置相对固定;
- 已有负载均衡器或反向代理;
- 云平台不支持二层扩展,也不允许额外的虚拟网络封装;
- 只需要访问服务,不需要容器之间共享完整的地址空间。
对业务的直接影响:
- 网络边界清晰,哪些服务可以被访问通常一目了然;
- 不依赖容器 IP,容器重建后不会影响调用入口;
- 可以通过负载均衡器统一做健康检查、限流和 TLS 终止;
- 应用看到的源地址可能是负载均衡器或节点地址,而不是原始容器地址,需要提前确认日志审计要求;
- 节点端口需要统一登记,否则多个服务可能发生端口冲突。
这种方案的主要问题不是“不能通信”,而是服务发现和故障切换需要额外设计。如果服务数量从几项增长到几十项,逐个维护节点地址和发布端口会增加配置管理压力。
2. Docker Overlay 网络
Overlay 会在多个 Docker 节点之间建立一个逻辑网络,使分布在不同主机上的容器可以使用虚拟地址和服务名互访。它更接近“把多个节点连接成一个容器网络”的使用体验。

Docker 原生 Overlay 通常依赖 Swarm 集群。独立容器需要使用可附加的 Overlay 网络,Swarm 服务则可以直接加入 Overlay 网络。一个简化的示例是:
# 先确认当前节点状态,避免在已有集群中误执行初始化操作
docker info --format '{{.Swarm.LocalNodeState}}'
# 仅在规划好的 Swarm 管理节点上创建跨主机网络
docker network create \
--driver overlay \
--attachable \
app_net
# 示例:创建加入 Overlay 网络的服务
docker service create \
--name api \
--network app_net \
--replicas 2 \
nginx:alpine
这些命令只适合作为测试或已完成集群规划后的示例。不要在已经加入其他 Swarm 集群的节点上重复执行初始化操作,也不要把示例镜像直接当作生产部署配置。
适合的场景:
- 多个微服务需要跨节点通过服务名互相访问;
- 服务副本会在节点之间调度或迁移;
- 希望减少手工维护容器 IP 和节点端口的工作;
- 已经使用 Swarm 服务管理容器生命周期;
- 业务规模需要统一的网络命名空间和服务发现。
对业务的直接影响:
- 应用可以面向服务名编程,不必关心服务当前运行在哪台节点;
- 容器重建或副本迁移通常不会改变调用方式;
- 节点间需要同时满足控制面和数据面的连通要求;
- Overlay 的封装会消耗额外报文空间,可能影响大包传输和链路利用率;
- 集群控制面、网络状态和故障排查都比单机 bridge 更复杂。
如果跨主机链路位于不完全可信的网络中,还需要根据组织安全要求配置相应的传输保护。传输保护不能替代应用鉴权,加入同一个 Overlay 网络也不应被视为自动获得全部业务权限。
3. 不同主机使用不同容器子网,再由底层路由互通
路由型方案不把所有容器放进一个大型虚拟二层网络,而是为每台主机分配独立的容器子网,再由物理路由器、云路由或主机路由转发数据。

例如:
- 主机 A 的容器网段:
172.20.1.0/24 - 主机 B 的容器网段:
172.20.2.0/24 - 底层网络知道到达
172.20.1.0/24和172.20.2.0/24应该经过对应主机
这类方案通常保留较少的封装层,路径和性能更容易预测,但网络团队需要参与地址、路由和访问控制的规划。
适合的场景:
- 企业拥有可管理的三层网络或云路由;
- 跨主机东西向流量较大,对额外封装比较敏感;
- 需要明确控制每个容器子网的访问边界;
- 容器地址需要被其他受控网络直接访问;
- 业务网络和主机网络有成熟的路由发布机制。
对业务的直接影响:
- 路径更接近底层网络,排查时可以沿着路由表、网关和 ACL 逐段定位;
- 通过路由实现互通,不一定需要构造一个跨节点的二层广播域;
- 每增加一台主机,通常就要增加一个子网或更新路由;
- 主机故障后,路由撤销和业务迁移需要配套机制;
- 如果使用 Docker 默认 NAT,而不是明确的路由设计,可能出现返回路径不一致、源地址被改写或策略不生效的问题。
路由型方案的关键不是执行某一条 docker network create 命令,而是先明确“谁负责发布容器网段”。如果没有统一的路由管理,靠每台主机手工加静态路由,节点数量增加后很容易失控。
4. macvlan 或 ipvlan,让容器接入现有局域网
macvlan 和 ipvlan 的目标,是让容器更直接地使用底层网卡所在网络的地址空间。容器看起来更像接入交换网络的独立终端,而不是隐藏在主机 NAT 后面的进程。

一个 macvlan 示例:
docker network create \
--driver macvlan \
--subnet=192.168.50.0/24 \
--gateway=192.168.50.1 \
--opt parent=eth0 \
lan_net
这只是单台主机上的网络定义示例。多台主机分别创建同名 macvlan 网络,并不会自动建立统一的 IP 地址分配中心。必须自行划分地址池,确保不同主机不会给容器分配重复地址。
macvlan 和 ipvlan 可以这样区分:
| 方案 | 地址和链路特征 | 更适合的情况 | 主要限制 |
|---|---|---|---|
| macvlan | 容器通常表现为独立的虚拟网卡和 MAC 地址 | 需要让旧系统把容器当作局域网独立设备 | 可能增加 MAC 数量,交换机和云网络策略可能限制 |
| ipvlan | 更依赖宿主接口的网络模型,通常可减少额外 MAC 压力 | 容器数量较多,或底层网络对 MAC 数量敏感 | 路由、广播和主机访问行为需要单独验证 |
适合的场景:
- 传统应用必须获得生产网或专用 VLAN 的地址;
- 外部设备只能通过局域网地址访问容器;
- 业务需要与现有网关、监控设备或专用硬件直接交互;
- 企业能够控制交换机、VLAN、地址池和安全策略。
对业务的直接影响:
- 容器地址可以被现有局域网设备直接识别;
- 地址规划和 IP 回收变得重要,容器销毁后要确认地址是否释放;
- 公有云环境可能不支持混杂模式、额外 MAC 地址或任意二层扩展;
- macvlan 默认存在宿主机与容器互访限制,不能只验证“外部设备能访问”;
- 广播域扩大后,故障影响范围和安全审计要求也会增加。
如果业务只是需要一个稳定的服务入口,而不是必须拥有局域网地址,macvlan 或 ipvlan 往往会引入不必要的网络复杂度。
核心差异对业务意味着什么
| 比较维度 | 发布端口和负载均衡 | Overlay | 路由型容器网络 | macvlan/ipvlan |
|---|---|---|---|---|
| 容器是否直接跨主机互访 | 通常不是,通过节点或负载均衡入口访问 | 可以 | 可以 | 可以,取决于底层路由或二层 |
| 服务发现 | 依赖负载均衡、DNS 或注册中心 | 可结合 Docker 服务发现 | 通常需要外部 DNS 或注册机制 | 通常需要外部 DNS 或地址管理 |
| 节点扩容 | 主要更新节点池和健康检查 | 加入集群并加入网络 | 增加子网、路由或路由发布 | 增加地址池、VLAN 或交换策略 |
| 对底层网络要求 | 只要节点入口可达 | 节点间控制面和数据面可达 | 需要可控的三层路由 | 需要 VLAN、MAC 或云网络支持 |
| 额外封装 | 通常较少 | 通常存在 | 可较少 | 通常较少 |
| 地址管理难度 | 低,应用使用服务入口 | 中,网络由集群维护 | 高,需要维护容器子网和路由 | 高,需要维护局域网地址和冲突 |
| 适合的业务形态 | Web、API、入口服务 | 多服务动态调度 | 大流量、可控底层网络 | 必须接入现有局域网的传统应用 |
这张表不能单独替代方案评审。比如,Overlay 的服务发现更方便,但不代表它一定比路由型网络吞吐更高;macvlan 的地址更“像真实服务器”,也不代表它天然具备更好的隔离能力。最终仍要结合业务流量方向、节点规模和网络管理能力判断。
业务影响:不要只比较容器 IP 是否可达
服务发现决定了扩容和故障切换成本
如果应用配置写成:
http://10.10.1.11:18080
那么主机 A 故障后,业务必须知道备用节点或由负载均衡器接管。如果应用配置写成:
http://api:8080
则需要依赖能够解析 api 的服务发现机制,且网络范围内必须存在对应服务。
因此:
- 服务数量少、部署固定,发布端口和外部负载均衡更简单;
- 服务副本经常迁移,Overlay 的服务名访问更省运维工作;
- 使用路由型网络或 macvlan 时,通常还要配合 DNS、注册中心或固定地址管理;
- 不要把容器 IP 当作永久资产,容器重建、扩容和滚动发布都可能改变地址。
性能差异主要来自路径、封装和流量模型
同一主机内的容器通信,通常不经过物理网卡;跨主机通信则会受到网卡、交换机、路由、封装和加密处理的共同影响。
Overlay 的主要性能风险包括:
- 额外封装导致有效 MTU 变小;
- 大包被分片或丢弃后重传;
- 节点间链路拥塞时,多个容器共享同一数据路径;
- 传输保护开启后产生额外 CPU 开销;
- 业务测速只测到了单连接,无法代表多副本并发情况。
例如,按十进制口径计算,1 GB 数据在理想的 1 Gbps 链路上,传输时间是:
1 GB × 8 ÷ 1 Gbps = 8 秒
这是不包含协议、封装、重传、磁盘和应用处理时间的理论值。实际验收时,应分别测试单连接、多连接、请求响应延迟和大包传输,不能只根据网卡标称带宽做判断。
路由型网络和 macvlan/ipvlan 的路径通常更直接,但如果底层交换、路由或安全策略配置不合理,同样可能出现丢包和延迟。所谓“少一层封装”只能降低一种变量,不能自动保证业务性能。
有状态服务需要额外关注连接保持
数据库、缓存、消息队列等有状态服务,通常比普通 API 更依赖连接稳定性和故障恢复。
选择方案时要确认:
- 节点迁移后,连接是否需要重新建立;
- 负载均衡是否支持连接保持;
- 服务端是否能识别真实客户端地址;
- 网络故障时,客户端超时和重试是否会造成请求放大;
- 数据同步和存储复制是否真的需要跨主机直连。
网络方案只能解决“数据包怎么到达”,不能替代数据库复制、存储一致性和应用层重试设计。对于高频同步、低延迟缓存或大规模媒体传输,路由型网络可能更容易获得稳定路径;但如果底层网络不受控,Overlay 反而更容易统一管理。
安全边界不能由网络名称代替
四类方案都需要明确:
- 哪些容器可以访问数据库;
- 哪些端口只允许来自业务网;
- 管理面和数据面是否分离;
- 容器地址是否允许被办公网或公网访问;
- 日志中记录的是源容器地址、节点地址还是负载均衡器地址。
发布端口方案通常更容易建立入口白名单。Overlay 需要同时管理逻辑网络、节点间通信和服务访问策略。macvlan/ipvlan 直接接入局域网后,容器可能获得比预期更大的网络可见性。路由型方案则需要把路由表与防火墙策略一起审计。
如果需要调整主机防火墙,应先导出现有规则或保存当前配置,明确影响的节点和端口范围,再进行小范围放行;验证失败时只回滚本次新增规则,不要直接清空整套防火墙规则。不同发行版可能使用 nftables、iptables 或云平台安全组,不能套用未经核验的通用清空命令。
成本与限制:方案的“隐性价格”
| 方案 | 主要运维成本 | 常见限制 | 适合的控制方式 |
|---|---|---|---|
| 发布端口 | 端口登记、负载均衡、健康检查 | 服务发现和故障切换依赖外部组件 | 统一入口、统一 DNS、健康检查 |
| Overlay | 集群管理、节点端口、MTU 和封装排查 | 控制面复杂,跨节点性能受路径影响 | 固定集群模板、网络监控、节点准入 |
| 路由型网络 | 网段、路由发布、ACL、故障撤销 | 路由规模和变更管理压力较大 | 集中路由管理、自动发布、分区策略 |
| macvlan/ipvlan | IP 地址、VLAN、交换机和云网络配置 | 主机互访、MAC 数量、云平台兼容性 | 地址池管理、交换机侧审计、分区隔离 |
从人力成本看,发布端口的初期投入最低,但服务规模增长后,端口表、节点表和健康检查可能成为长期负担。Overlay 的初始配置比发布端口复杂,却能降低动态服务部署的重复工作。路由型网络和 macvlan/ipvlan 的技术上限不一定低,但它们更依赖网络团队和底层设施的配合。
A5数据提供中国香港、美国、日本等地区的物理服务器,覆盖不同CPU、内存及SSD、NVMe存储配置,并按地区和产品系列提供不同的线路与带宽选择。对于跨主机Docker业务,这些服务器可作为容器服务、接口应用和数据库的部署节点;多地区与多档网络资源,也为安排服务入口和匹配不同业务流量需求提供基础。
按条件选择网络方案
可以按照下面的顺序缩小范围:

- 只需要让 HTTP、HTTPS 或少量 TCP 服务被其他主机调用
优先考虑发布端口加负载均衡。只要入口、健康检查和故障切换设计完整,就没有必要为了“容器跨主机”单独建设共享虚拟网络。
- 多个服务会动态扩容、迁移,并且希望通过服务名调用
优先考虑 Overlay。它适合服务副本变化频繁、部署节点不固定的场景,但要提前完成节点间端口、MTU 和安全策略验证。
- 底层网络可控,业务有较大的东西向流量
优先评估路由型容器网络。先确认网段分配、路由发布、返回路径和防火墙策略,再决定是否使用。不要在没有路由管理能力的环境中依靠大量手工静态路由。
- 容器必须获得现有生产网或专用 VLAN 的地址
评估 macvlan 或 ipvlan。优先确认交换机、云平台、网关和安全设备是否允许这种接入方式,并单独验证宿主机与容器之间的访问行为。
- 运行在公有云或受限虚拟化环境中
通常先考虑发布端口、负载均衡或 Overlay。macvlan/ipvlan 只有在云平台明确支持相关网络能力时才适合采用。
- 业务包含数据库、缓存或大流量同步
不要只按“能否连通”决策。应同时进行延迟、吞吐、丢包、连接重建和节点故障测试。高流量场景可以重点评估路由型网络,但最终结果仍以目标环境测试为准。
上线前的最小验证项
无论选择哪种方案,至少应验证以下内容:
# 查看节点和 Docker 网络的基础状态
docker info
docker network ls
# 查看指定网络的驱动、子网和连接对象
docker network inspect app_net
# 查看主机地址和路由,确认是否存在网段重叠或异常返回路径
ip -br addr
ip route
随后针对实际方案进行检查:
- 发布端口:从不同节点访问入口,验证健康检查、节点摘除和源地址记录;
- Overlay:验证服务名解析、跨节点容器访问、节点重启后的副本恢复;
- 路由型网络:验证双向路由、返回路径、ACL 和容器网段发布;
- macvlan/ipvlan:验证局域网设备访问、宿主机访问、地址回收和交换机策略;
- 所有方案:使用与业务接近的请求大小和并发量测试 MTU、延迟、吞吐和重试行为;
- 故障测试:在维护窗口内停止一个节点或服务,确认连接失败是否符合预期,恢复后是否能够自动回到正常状态。
最终可以用一句话做选择:固定服务入口选发布端口,动态多服务选 Overlay,底层路由可控且流量较大选路由型网络,必须接入现有局域网选 macvlan/ipvlan。 如果业务没有明确要求容器直接拥有跨主机地址,优先采用边界更清晰、运维链路更短的方案。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5492.html



