我为一家跨境SaaS平台在东南亚地区构建一套安全、可扩展的多租户基础设施。由于客户对数据隔离性与网络安全性有严格要求，同时又希望接入东盟区域的用户具有较低的访问延迟，我们最终选择了马来西亚的数据中心节点作为主要承载点。这里拥有良好的网络互联结构（与新加坡、中国香港直连）以及稳定的电力和机房环境，适合作为区域性网络控制枢纽。
但挑战随之而来：我们必须设计一套能在多台物理服务器之间实现租户间网络隔离，同时支持VPC动态扩展、轻量级迁移、自动化运维的Overlay网络方案。这不是一套简单的VLAN划分所能满足的，需要借助更高级的SDN与Overlay技术。
一、基础硬件配置与网络拓扑设计
核心硬件选型（马来西亚吉隆坡机房）：
服务器型号：Dell PowerEdge R7525
- CPU：双路 AMD EPYC 7742（64核）
- 内存：512GB DDR4 ECC
- 硬盘：2×1.92TB NVMe + 4×4TB SATA企业级
- 网卡：双口10GbE Intel X710（支持SR-IOV）
交换设备：Arista 7050SX3-48YC12
- 支持VXLAN和BGP EVPN硬件卸载
网络架构拓扑：
┌────────────────────────────┐
│ BGP Spine Fabric │
└────────────────────────────┘
/ | \
┌────────┐ ┌────────┐ ┌────────┐
│ Node A │ │ Node B │ │ Node C │ （Overlay节点）
└────────┘ └────────┘ └────────┘
│ │ │
[VXLAN Tunnel] [VXLAN Tunnel] [VXLAN Tunnel]
│ │ │
┌────────────┐ ┌────────────┐ ┌────────────┐
│租户1容器组 │ │租户2容器组 │ │租户N容器组 │
└────────────┘ └────────────┘ └────────────┘
二、Overlay网络隔离策略设计
Overlay技术选择为 VXLAN + BGP EVPN，满足以下目标：
- 租户网络完全隔离，每个VNI代表一个VPC；
- 跨服务器容器/VM可自动发现和通讯；
- 支持未来引入Kubernetes CNI插件（如Calico、Cilium）进行统一调度。
关键技术组件：
- VXLAN： 每个租户分配一个VNI（VXLAN Network Identifier）
- BGP EVPN： 用作控制平面，通告MAC/IP到VTEP的映射信息
- FRRouting： 每台服务器上运行，作为轻量级BGP路由器
- Open vSwitch： 用于封装/解封VXLAN数据包，挂载至本地容器网桥
三、部署实施步骤详解
1. 初始化Overlay基础配置
每个服务器配置VXLAN接口，并通过FRRouting注册BGP邻居关系：
# 配置VTEP接口
ip link add vxlan100 type vxlan id 100 dev eth0 dstport 4789
ip addr add 192.168.100.1/24 dev vxlan100
ip link set up vxlan100
# 配置FRRouting (bgpd.conf)
router bgp 65001
bgp router-id 192.168.10.1
neighbor 192.168.10.2 remote-as 65001
address-family l2vpn evpn
advertise-all-vni
neighbor 192.168.10.2 activate
2. 创建租户隔离网络
为每个租户分配独立的VNI和子网段：
| 租户ID | VNI | 子网段 |
|---|---|---|
| tenant1 | 1001 | 10.1.1.0/24 |
| tenant2 | 1002 | 10.1.2.0/24 |
| tenant3 | 1003 | 10.1.3.0/24 |
利用Ansible自动化生成配置脚本，在各台节点间下发VXLAN与BGP策略。
3. 容器网络接入
在每台宿主机使用Open vSwitch将本地容器桥接至VXLAN：
ovs-vsctl add-br br-tenant1
ovs-vsctl add-port br-tenant1 vxlan1001 \
-- set interface vxlan1001 type=vxlan options:key=1001 options:remote_ip=flow
# 创建容器网络接口并加入br-tenant1
ip link add veth0 type veth peer name ceth0
ovs-vsctl add-port br-tenant1 veth0
四、性能测试与数据验证
我们采用iperf3和ping对租户间、租户内的连通性与延迟进行验证。
测试指标摘要：
资源隔离验证：
- 租户A尝试Ping租户B失败；
- VXLAN封包成功绑定至指定VNI，转发策略符合预期。
五、后续优化方向与小结
Overlay方案的部署使我们在马来西亚节点上实现了多租户的灵活资源划分与网络层隔离，同时具备良好的可扩展性。后续我们准备：
- 引入Kubernetes + Calico BGP模式进行动态编排；
- 将Overlay与硬件VTEP做混合部署，提高大规模场景下的吞吐能力；
- 实现带宽QoS与租户限速策略，提升服务质量。
通过此次项目，我深刻体会到在南亚节点建设Overlay系统的复杂性与灵活性平衡。合理选择技术栈，配合网络控制面（EVPN）与数据面（VXLAN）的分离，是支撑现代多租户云架构的关键支点。
