凌晨1:40，我在香港葵涌的机房过道里蹲着给新上的 25G 扩展网卡做标签，微信群里，雅加达的运营又在问：“结算页偶发 200ms+，能不能再稳一点？”我看了下昨晚抓的 pcap，重传和队首阻塞（HoL）都在 04:xx 峰值时放大。那一刻我决定，不只是“修补”，而是把整条“华南→香港→东南亚”的链路做一次能抗峰值的重构：香港承载、合规专线、双路由、端到端调优与演练，一步到位。

1. 目标与边界

主目标：

• 华南仓配、风控、支付网关到香港主集群：P95 < 20ms（城域+跨境专线）
• 香港到东南亚五地（SG/MY/TH/VN/ID）动态请求：P95 < 80ms（以新加坡为 45ms 左右为锚点）
• 高峰 3 倍容量冗余，RPO ≤ 5 分钟，RTO ≤ 15 分钟。

合规边界：

• 华南↔香港采用持牌运营商的跨境专线（不自建、不转售），境内侧仅接入仓配与风控所需的“必要业务数据”。
• 跨境数据分类分级，敏感字段端到端加密、落地脱敏，留痕与访问审计。

成本与可运维性：

• IDC 内全部走“标准化货架 + 可替换件”，网络设备尽可能同厂两代机混部（降单点风险）。
• 所有配置可声明化（Ansible + Git 版本化）。

2. 硬件与机柜布局（BOM）

2.1 服务器与网络设备清单

机柜布线：25G 服务器上联到 Arista，Arista 下行 10G 到 FortiGate；FortiGate 两路上联到不同运营商的交割面（Demarc）。

2.2 机柜与链路容量规划

• 计算节点：峰值 CPU < 60%、内存 < 70%、NVMe 利用 < 50%、P99 I/O < 1ms
• 南北向：香港核心交换到防火墙 2×10G，防火墙到运营商各 10G（可热升级至 2×10G）
• 可用性：N+1 服务器、网络全链路双活、设备可同位热插拔

3. 网络拓扑与地址规划

3.1 逻辑拓扑（简化）

[华南仓配VPC/IDC]
      |  (合规专线 MPLS/IEPL，BGP)
   [CE-1/2]
      |      \
      |       \                 (DIA 备)
   =======[香港边界FG-HA]=======[CCR 备接入]
      |             |
   [Arista 核心]    |
      |             |
 [LB/HAProxy集群]  [运维出入口]
      |
   [应用/数据库集群]
      |
   [到SG/MY/TH/VN/ID 用户侧：骨干->本地ISP]

3.2 地址与 VRF

BGP：

• 自治域（私有）：AS64512（HK）、AS64513（华南 CE）
• 与运营商邻居：EBGP，Hold 30s / Keepalive 10s，Graceful-Restart 开启
• 前缀策略：默认仅发布 /24 或更粗，接收黑洞社区

4. 链路方案评估与落地

4.1 方案比选

我们的落地：

• 主干：华南↔香港 IEPL 10G + MPLS L3VPN 10G（双活）
• 备份：香港↔SG DIA 1G + IPsec 隧道（用于应急导流、演练）

4.2 交付与验收（关键节点）

• 运营商现场勘测 → LOA/CFA → 光纤拉通 → Demarc 呈现
• RFC 2544/Y.1564 测试（吞吐、时延、抖动、丢包）
• BGP/VRF/ACL 灰度开路由，黑洞社区演练
• 业务窗口期切换（逐服务权重迁移）

5. 路由与安全：配置要点

5.1 FortiGate（示例片段）

# BGP 会话（与 MPLS PE）
config router bgp
  set as 64512
  config neighbor
    edit 172.16.0.1
      set remote-as 65010
      set ebgp-enforce-multihop enable
      set soft-reconfiguration enable
      set keepalive-timers 10
      set holdtime-timer 30
    next
  end
  config network
    edit 10.10.0.0/16
    next
  end
  config redistribute "connected"
  end
end

# IPsec 备隧道（到 SG DIA）
config vpn ipsec phase1-interface
  edit "hk-sg-ipsec"
    set interface "wan2"
    set remote-gw 203.0.113.10
    set ike-version 2
    set proposal aes256-sha256
    set dpd on-idle
  next
end

config vpn ipsec phase2-interface
  edit "hk-sg-p2"
    set phase1name "hk-sg-ipsec"
    set proposal aes256gcm
    set pfs enable
    set dhgrp 14
  next
end

5.2 FRR（CentOS 7）侧 BGP（灰度边界主机）

router bgp 64512
 bgp graceful-restart
 neighbor 172.16.0.1 remote-as 65010
 neighbor 172.16.0.1 timers 10 30
 address-family ipv4 unicast
  network 10.10.0.0/16
  neighbor 172.16.0.1 route-map IN in
  neighbor 172.16.0.1 route-map OUT out
 exit-address-family
!
route-map OUT permit 10
 set community 65010:666 additive   # 可下发黑洞社区做演练

5.3 QoS/DSCP 策略（示例）

6. 系统与中间件调优（CentOS 7）

6.1 内核网络栈

# /etc/sysctl.d/99-tuning.conf
net.core.rmem_max=134217728
net.core.wmem_max=134217728
net.ipv4.tcp_rmem=4096 87380 134217728
net.ipv4.tcp_wmem=4096 65536 134217728
net.ipv4.tcp_fastopen=3
net.ipv4.tcp_mtu_probing=1
net.ipv4.tcp_congestion_control=bbr
net.core.netdev_max_backlog=250000
net.ipv4.ip_local_port_range=10000 65535

注意：跨 IPsec/IEPL 叠加时务必统一 MTU。IEPL/L2 常见 1500，不走隧道；IPsec/GRE 需降到 1400–1450。我们最终统一 MSS clamp 1360。

6.2 HAProxy（L4 直出）

global
  maxconn 200000
  tune.bufsize 32768
  nbthread 8
  cpu-map auto:1/1-8 0-7

defaults
  mode tcp
  timeout connect 3s
  timeout client  60s
  timeout server  60s

frontend fe_https
  bind :443 tfo
  default_backend be_app

backend be_app
  balance source
  server app1 10.10.10.11:8443 check
  server app2 10.10.10.12:8443 check

6.3 NGINX（静态与回源）

keepalive_timeout  65;
keepalive_requests 10000;
tcp_nodelay        on;
gzip on;
gzip_types text/plain application/json application/javascript text/css;

6.4 MySQL 复制（异步 + 延迟从）

• 主（HK）→ 从（SG）异步，sync_binlog=1，innodb_flush_log_at_trx_commit=1
• 额外一台“延迟从”MASTER_DELAY = 300，用于误删回滚
• 订单号/支付流水由 消息队列 落盘去重（确保幂等）

7. 可观测性与告警

• Blackbox：对 SG/MY/TH/VN/ID 五地的 L7 探针，采集 P50/P95/P99
• NetFlow/sFlow：识别异常方向（DDoS/异常重传）
• BGP 会话监控：会话 flap、前缀数量阈值、黑洞社区生效校验
• 业务 SLI/SLO：下单成功率、支付回调延迟、库存锁冲突率

示例告警（PromQL）：

histogram_quantile(0.95, sum(rate(http_request_duration_seconds_bucket{region="SEA"}[5m])) by (le)) > 0.08

8. 压测与结果

8.1 链路层测试（Y.1564/RFC2544 摘要）

8.2 业务侧时延（P95，单位：ms）

9. 风控与演练清单（可直接照抄执行）

9.1 变更前 Checklist

•  运营商工单与 NOC 值班电话打通（含升级路径）
•  变更窗口审批、回退方案（5 分钟内可回滚）
•  BGP 前缀发布名单、社区策略回放
•  NetFlow/sFlow 抓包位置校验、时间同步（NTP）

9.2 故障演练（每月）

• 链路失效演练：拔掉 IEPL 次路 → 观察收敛（<5s）
• 黑洞社区注入：对某异常前缀注入 NO_EXPORT/BLACKHOLE，验证清洗
• IPsec MTU 降级：强制走隧道，检查应用端 MSS clamp 是否生效
• 数据库主故障：触发从库提升 + 延迟从回滚流程
• DDoS 压测：对污点 IP 限速 + WAF 规则生效率
• 回程不对称：模拟上游路由策略变更，验证 ECMP/哈希一致性

9.3 应急通讯录与分工

• 网络：边界设备、BGP、QoS（负责人 A，备份 B）
• 系统：内核参数、LB、容器编排（负责人 C，备份 D）
• 数据库：主从、备份恢复（负责人 E，备份 F）
• 运营商：MPLS/IEPL/DIA（NOC 值班 + 客户经理）
• SRE 值班群：单点升级权限与审批人名单

10. 现场“坑”与解决

MTU/ MSS 不统一：
现象：结算页偶发 2xxms，tcpdump 见 DF 位、重传上升。
处置：IEPL L2 保持 1500，IPsec 降至 1400，边界启用 iptables -t mangle --clamp-mss-to-pmtu，统一到 1360。

回程不对称：
现象：雅加达回源绕新加坡，导致 RTT 飙升。
处置：与上游运营商协同，设置社区 prepend，同时我方对该段前缀做优先级提升。

硬件 offload 异常（NIC LRO/GRO）：
现象：抓包与实际不一致，应用端延迟抖动。
处置：对关键节点关闭 LRO/GRO，仅在边缘做合适的 GRO，保持分析一致性。

ECMP 哈希冲突：
现象：个别源段走“差路”，抖动集中。
处置：切到 5 元组哈希并引入 consistent hashing，同时限流“恶劣五元组”。

运营商社区误用：
现象：某夜邻居下发误社区导致路由优先级异常。
处置：我们侧加入向 route-map 白名单，所有“敏感社区”必须显式允许。

11. 交付后的自动化

• Ansible：边界设备与服务器模板化推送（dry-run + 差异审计）
• GitOps：网络策略（BGP、ACL、QoS）与系统参数版本化，变更必须走 PR + Code Review
• Runbook：每个演练输出可复用 Runbook，附带时序、截图与指标

12. 图线拉平之后

凌晨 2:55，P95 的曲线终于“趴”了下来，SG 均值 41ms、MY 50ms、TH 39ms、VN 52ms、ID 72ms。运营群里安静了，只有自动化的日报在刷屏。我把最后一根光纤理进理线环，关了台车边上的工作灯。
走出机房，海风从货柜码头吹过来，手机里 Slack 又蹦出一条消息：“支付失败率恢复正常。”——这就是我想要的结尾：从链路到系统，从合规到演练，所有复杂度最后都体现在一条平稳的曲线。

13. 附：可直接复用的表与脚本

13.1 变更回退脚本（示意）

#!/bin/bash
set -euo pipefail
TS=$(date +%F_%H%M%S)
backup_conf(){
  scp -q fg-ha:/conf/syscfg /backup/fg_${TS}.conf
}
rollout_bgp(){
  ansible-playbook -i inv edge-bgp.yml --check
  ansible-playbook -i inv edge-bgp.yml
}
rollback_bgp(){
  ansible-playbook -i inv edge-bgp-rollback.yml
}
# 使用示例
# backup_conf && rollout_bgp || rollback_bgp

13.2 ACL 基线（FortiGate）

config firewall policy
  edit 100
    set name "SEA-APP"
    set srcintf "vrf-wan-sea"
    set dstintf "vrf-core"
    set srcaddr "all"
    set dstaddr "app_cidr"
    set action accept
    set schedule always
    set service "HTTPS" "HTTP"
    set logtraffic all
  next
end

13.3 观测指标表（片段）

这套架构不是“华丽的词藻”，而是我在冷通道里一根根网线、一条条会话搭出来的路子：香港承载 + 合规专线 + 双活路由 + 端到端调优 + 常态化演练。如果你也正被跨境商城的高峰期压得喘不过气，不妨从统一 MTU/MSS、IEPL+MPLS 双路由、BGP 社区安全白名单这三个动作入手。等你把最后一条曲线“按”下来，你就会知道，这条路是值得的。