那天夜里 1:40，我拎着工具包进了香港葵芳的机房。冷风一吹，耳朵嗡的一声清醒了。值班工程师告诉我：北向专线偶发抖动，我们的一台 Windows Server 2016 应用节点（承接来自内地的 API 流量）时不时超时。交换机侧日志里能看到端口 flap，但业务没有真正容灾分流。那一刻我就知道：这台服务器还在“单臂作战”。于是，我们决定在现场把它改造成 NIC Teaming，让冗余和带宽汇聚同时到位。

现场环境与目标

硬件/网络拓扑（实机）

服务器：Dell R740（2 × Intel Xeon Silver，128GB RAM）

网卡：

• NIC1：Intel X710-DA2 10GbE（光口，驱动 23.x）
• NIC2：Broadcom 57412 10GbE（光口，驱动 21.x）

交换机：双 ToR（Top-of-Rack），堆叠为一套逻辑设备

• 左：TOR-A（端口 Te1/1/17）
• 右：TOR-B（端口 Te1/1/18）

上联：多运营商混合（其中一条北向 CN 优化线路）

OS：Windows Server 2016 Datacenter（已打到最新补丁）

应用：.NET Core API + Nginx 反代，流量呈多连接并发特征

目标

• 链路冗余：任一光纤或 ToR 故障不掉业务（RTO ≈ 1～3 秒以内）。
• 带宽利用：在多连接场景下尽量叠加 2 × 10Gbps 的吞吐（单连接不强求叠加）。
• 跨境稳态：连接内地用户时下降波动与超时概率。

方案选型与原则

Windows Server 2016 自带 LBFO（Load Balancing/Failover） NIC Teaming，三种 Teaming Mode：

Switch Independent（独立）：成员口可分别接到不同交换机，无需交换机配 LAG。

Static（静态汇聚） / LACP（802.1ax）：交换机侧需将成员口入同一 LAG，或用 MLAG/堆叠保证单逻辑聚合。

本次推荐（也是我落地最多的组合）：

• TeamingMode：SwitchIndependent
• LoadBalancingAlgorithm：Dynamic

理由：

• 我们的两口分别去 TOR-A / TOR-B，即使堆叠中断也不相互牵连；
• Dynamic 在 2016 上对出向有更智能的流量分担，入向仍由对端哈希决定，但对多并发连接很友好；
• 不依赖交换机侧 LACP 配置，变更最小、收敛快。

如果你的两口都在同一台/同一堆叠交换机，且网络团队乐意配合，LACP + Dynamic 也很好——但记得两侧配置必须完全一致，否则容易“半聚合半单通”。

上线前检查清单（别急着动手）

动手：PowerShell 全流程（现场实操）

所有命令在 提升权限的 PowerShell 中执行。

1) 识别网卡并重命名（让后续不迷路）

Get-NetAdapter | Where-Object {$_.Status -eq "Up"} | ft -Auto
# 假设识别到两个物理口：
#   Ethernet1 - Intel(R) X710-DA2
#   Ethernet2 - Broadcom BCM57412

Rename-NetAdapter -Name "Ethernet1" -NewName "NIC1-X710"
Rename-NetAdapter -Name "Ethernet2" -NewName "NIC2-BCM"

2) 清理历史 Team（如果有）

Get-NetLbfoTeam
# 若存在旧团队：
# Remove-NetLbfoTeam -Name "OldTeam" -Confirm:$false

3) 创建 Team：Switch Independent + Dynamic

New-NetLbfoTeam -Name "HK-PROD-TEAM" `
  -TeamMembers "NIC1-X710","NIC2-BCM" `
  -TeamingMode SwitchIndependent `
  -LoadBalancingAlgorithm Dynamic

查看状态：

Get-NetLbfoTeam | fl *
Get-NetLbfoTeamMember -Team "HK-PROD-TEAM" | ft Name,InterfaceDescription,Status,LinkSpeed

4) 创建 VLAN 子接口并配置 IP

# 以业务 VLAN 200 为例：
Add-NetLbfoTeamNic -Team "HK-PROD-TEAM" -VlanID 200 -Name "Team200"

# 配置 IP（示例）
New-NetIPAddress -InterfaceAlias "Team200" `
  -IPAddress 10.200.10.11 -PrefixLength 24 -DefaultGateway 10.200.10.1

Set-DnsClientServerAddress -InterfaceAlias "Team200" -ServerAddresses 10.200.10.2,10.200.10.3

5) 打开 RSS、调 MTU、合理的 Offload

# 启用 RSS
Enable-NetAdapterRss -Name "NIC1-X710","NIC2-BCM"

# （可选）Jumbo MTU：注意全链路一致
netsh interface ipv4 set subinterface "Team200" mtu=9000 store=persistent
netsh interface ipv6 set subinterface "Team200" mtu=9000 store=persistent

# （视情况）保留 LSO/Checksum Offload，若遇到古老防火墙/硬件兼容问题再做回退
# 示例关闭 LSO（仅在明确遇到问题时）
# Set-NetAdapterAdvancedProperty -Name "NIC1-X710" -DisplayName "Large Send Offload v2 (IPv4)" -DisplayValue "Disabled"
# Set-NetAdapterAdvancedProperty -Name "NIC2-BCM" -DisplayName "Large Send Offload v2 (IPv4)" -DisplayValue "Disabled"

6) 验证与基准测试

# 连通性
Test-NetConnection -ComputerName 10.200.10.1 -Port 443

# 团队状态
Get-NetAdapter -Name "HK-PROD-TEAM","Team200" | fl Name,Status,LinkSpeed,MacAddress

# 模拟单口故障，观察连续 ping 丢包（应在 1～3 个包内收敛）
ping 10.200.10.1 -t
# 另一个窗口
Disable-NetAdapter -Name "NIC1-X710" -Confirm:$false
Start-Sleep -Seconds 5
Enable-NetAdapter -Name "NIC1-X710"

实测手感：在我们的环境里，Disable-NetAdapter 触发后，ping 里通常掉 1～2 个包就恢复，API 请求在客户端侧几乎无感（偶有 1 次重试）。

上线前后指标对比（现场记录）

注：吞吐用 iperf3（多并发）+ 实际 API 压测综合，路径已开通 Jumbo。

运维细节与那些“坑”

1) LACP 并不是万能解药

你可能想：聚合就上 LACP！

但如果你的两口分到两台非堆叠交换机（或 MLAG 没配好），LACP 会直接失灵。

我就处理过一次：网线对到了 A/B 两台独立交换机，交换机侧误配了 LACP，服务器侧也开了 LACP，结果一半流量黑洞。

解决：双 ToR 且不保证 MLAG 一致时，用 Switch Independent。

2) 驱动版本与“神秘”丢包

X710 老驱动与部分 Broadcom 版本在 RSS/LSO 组合下，会出现低比例随机丢包。

现场症状：压力一上来 p99 尖刺。

解决：升级到厂商建议的稳定组合；必要时暂时关闭 LSOv2 验证对比。

3) Jumbo 只设一端=等于没设

很多人只在服务器把 MTU 调到 9000，对端交换机 VLAN 接口没跟上，或者跨境专线某一段仍是 1500。

结果：大量分片/丢弃，得不偿失。

操作：与网络团队逐段确认 MTU，一路打通再开。

4) RSS 没开，Dynamic 也难发挥

Dynamic 的分担需要多队列收包支撑。

检查：

Get-NetAdapterRss -Name "NIC1-X710","NIC2-BCM"

若未启用，先开 RSS，再观察 CPU core 分布。

5) Team NIC 上 VLAN 的命名与监控

我喜欢把 Team200 这种接口单独纳管到监控系统（Zabbix/Prometheus Node Exporter for Windows）。

这样在丢包、错误帧、吞吐突变时，能迅速判断是Team 层还是物理口层的问题。

6) Hyper-V 宿主别用 LBFO（尽量用 SET）

如果这台 2016 是 Hyper-V 宿主机，官方更推荐 SET（Switch Embedded Teaming） 配合 vSwitch，而不是 LBFO。

应用型裸机（无虚拟化）用 LBFO 则完全 OK。

进阶优化（可选）

• QoS/DSCP 标记：对跨境关键 API 标 DSCP（和对端协商），在运营商侧获得更稳定的转发。
• ECN（显式拥塞通告）：部分链路可开启，减少队列丢包对 TCP 的冲击。
• 多出口路由分担：Team 解决的是主机到 ToR 的冗余与带宽；跨境路径本身仍建议做多运营商智能路由（SD-WAN/BGP 选路）。
• 连接并发模型：客户端/网关层面提升并发连接数，才能更好“吃满”Team 带宽。

变更/回滚预案（别让凌晨变救火）

变更窗口：选在低谷，宣告 30 分钟维护窗口。

回滚：

• 预先导出 IP/VLAN 配置；
• 保留一条管理口不入 Team；
• 若业务异常，Remove-NetLbfoTeam -Name "HK-PROD-TEAM"，将 IP 还原到单口。

常用排障指令备忘

# Team 总览
Get-NetLbfoTeam | ft Name,TeamingMode,LoadBalancingAlgorithm,Status

# 成员状态
Get-NetLbfoTeamMember -Team "HK-PROD-TEAM" | ft Name,Status,LinkSpeed,TeamNicName

# 统计（错误帧/丢包）
Get-NetAdapterStatistics -Name "NIC1-X710","NIC2-BCM","Team200"

# 查看队列/RSS
Get-NetAdapterRss -Name "NIC1-X710","NIC2-BCM" | fl *

# 快速抓包（Windows 10/2016+）
netsh trace start capture=yes report=no persistent=no
# 复现后
netsh trace stop

交付清单（我都会在变更单里附上）

尾声：机房门外的凌晨三点

做完最后一次 Disable-NetAdapter/Enable-NetAdapter 的切换测试，Ping 的窗口里不再出现长串的超时。我把耳机摘下，值班同事递来一杯微温的咖啡。那晚三点，我们看着两条光纤在图表上像心电波一样平稳，跨境调用的 p95 曲线回落到熟悉的水平。
运维的成就感，有时候就是这么朴素：把复杂的事，做得稳稳当当。

如果你也在香港的机房里为跨境业务守夜，不妨试试这套 Switch Independent + Dynamic 的 NIC Teaming 实操清单——它不会改变海底的洋流，但足以让你的船更稳、更快。

附：完整示例脚本（可直接执行，按需替换参数）

# === 参数区 ===
$TeamName   = "HK-PROD-TEAM"
$Members    = @("NIC1-X710","NIC2-BCM")
$VlanId     = 200
$TeamVlanIf = "Team200"
$Ip         = "10.200.10.11"
$MaskLen    = 24
$Gw         = "10.200.10.1"
$Dns        = @("10.200.10.2","10.200.10.3")
$EnableJumbo= $true
$Mtu        = 9000

# === 准备 ===
$Members | ForEach-Object { Rename-NetAdapter -Name $_ -NewName $_ -ErrorAction SilentlyContinue }
Enable-NetAdapterRss -Name $Members -ErrorAction Continue

# === 创建 Team ===
if (Get-NetLbfoTeam -Name $TeamName -ErrorAction SilentlyContinue) {
  Remove-NetLbfoTeam -Name $TeamName -Confirm:$false
}
New-NetLbfoTeam -Name $TeamName -TeamMembers $Members -TeamingMode SwitchIndependent -LoadBalancingAlgorithm Dynamic

# === VLAN 子接口 + IP ===
if (Get-NetAdapter -Name $TeamVlanIf -ErrorAction SilentlyContinue) {
  Remove-NetIPAddress -InterfaceAlias $TeamVlanIf -Confirm:$false -ErrorAction SilentlyContinue
  Remove-NetLbfoTeamNic -Name $TeamVlanIf -Team $TeamName -Confirm:$false
}
Add-NetLbfoTeamNic -Team $TeamName -VlanID $VlanId -Name $TeamVlanIf
New-NetIPAddress -InterfaceAlias $TeamVlanIf -IPAddress $Ip -PrefixLength $MaskLen -DefaultGateway $Gw
Set-DnsClientServerAddress -InterfaceAlias $TeamVlanIf -ServerAddresses $Dns

# === MTU ===
if ($EnableJumbo) {
  netsh interface ipv4 set subinterface $TeamVlanIf mtu=$Mtu store=persistent | Out-Null
  netsh interface ipv6 set subinterface $TeamVlanIf mtu=$Mtu store=persistent | Out-Null
}

# === 验证输出 ===
Get-NetLbfoTeam
Get-NetLbfoTeamMember -Team $TeamName
Get-NetAdapter -Name $TeamVlanIf | fl Name,Status,LinkSpeed,MacAddress