周二晚上 23:40，海外团队的销售群里炸锅：“登录国内 CRM 需要 30 秒+，列表一翻页就转菊花。”

那一刻，我的脑内反射性地把路径画出来：海外员工 → 国际链路 → 国内 IDC（CRM/ERP/BI）。这条路径的瓶颈很明显——跨境回国方向经常被绕路/拥塞。与其指望海外 ISP 的“人品”，不如 把流量就近拉回香港，再走 CN2 回国。我握紧了刚泡好的咖啡，打开了我们的

香港节点面板，开始实施一套我反复验证过、但每次上线仍然需要打满十二分精神的方案：香港物理机（或独服）+ CN2（优先 GIA）专线承载回国路径 + OpenVPN 做企业级分流。

一、目标与架构

目标：让海外员工具备“访问国内业务像人在国内”的体验，同时不劫持他们访问海外网站的日常流量（即只把访问国内业务的段走回国优化路径，其他走本地互联网），保障体验与合规。

架构思路（文字拓扑）：

[Overseas Clients]
      |  OpenVPN (UDP/1194, fallback TCP/443)
      v
[HK Server - CN2 GIA]
  ├── tun0: 10.8.0.1/24  ← OpenVPN 虚拟网
  ├── eth0: 国际口（默认路由）
  └── eth1: CN2 口（国内回程优先）
          \
           +-- Policy Routing （国内网段 via eth1）
               +-- NAT/MSS 调优
                  \
                   +-- Mainland Biz (IDC, SaaS in CN)

单口场景（只有 CN2 口）更简单：默认路由即走 CN2；双口（国际 + CN2）需要策略路由把“去国内资源”的流量固定走 CN2。

二、硬件与线路选型（我用过、跑过）

注：如果你的供应商把“CN2”当口号，现场拿 mtr 到国内目标测 10 分钟，看抖动、丢包、AS 路由，即时识别“伪 CN2”。

三、IP 规划与环境清单

四、实施步骤（逐条可落地）

1）基础与内核升级（启用 BBR）

BBR 对拥塞控制的改善非常明显，尤其是跨境“高时延 + 小丢包”的场景。CentOS 7 默认 3.10 没有 BBR，需要 ELRepo。

# 增加 ELRepo 并安装新内核
yum install -y https://www.elrepo.org/elrepo-release-7.el7.elrepo.noarch.rpm
yum --enablerepo=elrepo-kernel install -y kernel-ml

# 设新内核为默认并重启
grub2-set-default 0
reboot

重启后：

uname -r   # 应 ≥ 4.9（我用 5.15+）
sysctl net.ipv4.tcp_congestion_control=fair  # 临时查看不是重点

启用 BBR 与队列调度：

cat >/etc/sysctl.d/99-bbr.conf <<'EOF'
net.core.default_qdisc=fq
net.ipv4.tcp_congestion_control=bbr
net.core.rmem_max=134217728
net.core.wmem_max=134217728
net.ipv4.tcp_rmem=4096 87380 134217728
net.ipv4.tcp_wmem=4096 65536 134217728
net.ipv4.ip_forward=1
EOF

sysctl --system

2）安装 OpenVPN 与 Easy-RSA

yum install -y epel-release
yum install -y openvpn easy-rsa policycoreutils-python

3）PKI 与证书

make-cadir /etc/openvpn/pki
cd /etc/openvpn/pki
./easyrsa init-pki
./easyrsa build-ca nopass
./easyrsa build-server-full server nopass
./easyrsa build-client-full alice nopass
openvpn --genkey --secret ta.key  # 或使用 --tls-crypt

生产建议：客户端证书 + tls-crypt + 账号口令（PAM），并启用 CRL 撤销。

生成 crl.pem：

./easyrsa gen-crl

4）server.conf（含我在生产中验证的最佳实践）

/etc/openvpn/server.conf：

port 1194
proto udp
dev tun
user nobody
group nobody
topology subnet
server 10.8.0.0 255.255.255.0

# PKI
ca /etc/openvpn/pki/ca.crt
cert /etc/openvpn/pki/issued/server.crt
key /etc/openvpn/pki/private/server.key
dh none
tls-crypt /etc/openvpn/pki/ta.key
tls-version-min 1.2
remote-cert-tls client

# 密码学（AEAD）
data-ciphers AES-256-GCM:AES-128-GCM
cipher AES-256-GCM
ncp-ciphers AES-256-GCM:AES-128-GCM
auth SHA256

# MTU/性能
tun-mtu 1400
mssfix 1360
sndbuf 0
rcvbuf 0
push "sndbuf 0"
push "rcvbuf 0"

# 只分流“国内业务”与“指定域/网段”
# 示例：推送国内 IDC 网段与内网 DNS
push "route 10.20.0.0 255.255.0.0"
push "route 172.16.50.0 255.255.255.0"
push "dhcp-option DNS 10.20.0.53"
push "dhcp-option DOMAIN-SEARCH corp.local"

# Windows 客户端防 DNS 泄露（可选）
push "block-outside-dns"

# 客户端管理
client-config-dir /etc/openvpn/ccd
ccd-exclusive

# 日志
keepalive 10 60
persist-key
persist-tun
verb 3
status /var/log/openvpn-status.log
log-append /var/log/openvpn.log

tun-mtu 1400 / mssfix 1360 是我在 CN2 + 海外 UDP 下多次 A/B 后的稳妥起点；若出现碎片/重传，先降到 tun-mtu 1380 / mssfix 1340。

启用并自启动：

systemctl enable openvpn@server
systemctl start openvpn@server

5）转发与 NAT（firewalld 做法）

# 允许 1194/udp
firewall-cmd --permanent --add-port=1194/udp

# 允许 tun0
firewall-cmd --permanent --add-interface=tun0

# 启用转发 + NAT（将 10.8.0.0/24 出 CN2 口做源 NAT）
# 假设 CN2 口名为 eth1
firewall-cmd --permanent --direct --add-rule ipv4 nat POSTROUTING 0 -s 10.8.0.0/24 -o eth1 -j MASQUERADE

# MSS Clamping，避免 Path MTU 问题
firewall-cmd --permanent --direct --add-rule ipv4 mangle FORWARD 0 -o eth1 -p tcp --tcp-flags SYN,RST SYN -j TCPMSS --clamp-mss-to-pmtu

firewall-cmd --reload

iptables 党等价规则请自换；关键点是 对经 CN2 的转发做 MSS 限制。

6）双口策略路由（只把“去国内”走 CN2）

当服务器有 eth0（国际）和 eth1（CN2）两个出口时，我会通过 ipset + policy routing 维护中国大陆前缀，所有目的在此集合内的流量一律从 eth1 走：

# 1) 准备路由表
echo "200 cn2" >> /etc/iproute2/rt_tables

# 2) CN2 出口的网关
CN2_GW=xxx.xxx.xxx.xxx
ip route add default via $CN2_GW dev eth1 table cn2

# 3) ipset 维护大陆网段（示例）
ipset create CN prefix hash:net

# 导入前缀（从 APNIC CN 列表生成，日更）
# 例：把 /root/china_prefixes.txt 每行一个网段导入
while read net; do ipset add CN $net; done < /root/china_prefixes.txt

# 4) mangle 标记
iptables -t mangle -A PREROUTING -s 10.8.0.0/24 -m set --match-set CN dst -j MARK --set-mark 20

# 5) policy rule
ip rule add fwmark 20 table cn2

我把 china_prefixes.txt 的更新做成了 cron：每天 3:05 抓取 APNIC 并生成，避免“新网段不走 CN2”的诡异问题。

7）客户端分发与分组

生成 alice.ovpn：

cat > /tmp/alice.ovpn <<'EOF'
client
dev tun
proto udp
remote hk-vpn.example.com 1194
resolv-retry infinite
nobind
persist-key
persist-tun
remote-cert-tls server
key-direction 1
auth SHA256
cipher AES-256-GCM
verb 3
<ca>
...CA...
</ca>
<cert>
...client...
</cert>
<key>
...clientkey...
</key>
<tls-crypt>
...ta.key...
</tls-crypt>
EOF

分组与静态 IP（便于 ACL）：

mkdir -p /etc/openvpn/ccd
echo "ifconfig-push 10.8.0.10 255.255.255.0" > /etc/openvpn/ccd/alice

8）账号口令（PAM）与双因子（可选）

# PAM 插件
yum install -y openvpn-auth-pam
# server.conf 中增加：
plugin /usr/lib64/openvpn/plugins/openvpn-plugin-auth-pam.so login
verify-client-cert require
username-as-common-name

双因子可以接 Google Authenticator（pam_google_authenticator），或企业 IdP（OpenVPN Access Server/反向代理），生产中要控制“证书被拷走也进不来”。

五、优化：我在生产里反复 A/B 的“关键三件事”

MTU/MSS：从 tun-mtu 1400 + mssfix 1360 起步，观察 openvpn.log 与 ss -i 的 retrans，必要时降到 1380/1340。

UDP/1194 → TCP/443 回退：部分酒店/机场 Wi-Fi 会封 UDP，客户端准备一个 TCP/443 的备用 profile。

BBR + fq：跨境“小丢包”的吞吐显著受益；同时把 sndbuf/rcvbuf 设为 0（让内核自调）。

六、我们上线前后的“真数据”

采样点：洛杉矶同事 → 上海 IDC（CRM），时间 10:00–11:00（业务峰值前夕）

mtr（节选）对比（优化后链路抖动明显收敛）：

HOST: LA-User                  Loss%   Snt   Last   Avg  Best  Wrst StDev
  1.|-- HK-GW (tun)            0.0%    100   32.1  33.0  30.8  41.2   2.1
  2.|-- HK CN2 Edge            0.0%    100   42.8  44.2  41.5  52.7   2.6
  3.|-- China Telecom Core     0.0%    100   94.6  96.1  91.7 108.3   3.1
  4.|-- Shanghai IDC           0.0%    100  149.3 150.9 146.1 165.0   3.8

七、现场踩坑与排障笔记（真遇到过）

1. TLS 握手莫名失败：原因是 NTP 偏差 5 分钟。修复：yum install -y chrony && systemctl enable --now chronyd，并把 HK 节点作为 OpenVPN 客户端时间源。
2. Windows 客户端能连但不通：忘了 topology subnet；另一次是用户侧有“公司代理”，路由优先级被修改。处理：在客户端加 block-outside-dns，并检查 metrics。
3. UDP 被酒店 Wi-Fi 封了：切换备用 TCP/443 profile，或者将 proto udp 改 proto tcp 临时救火（性能会差些）。
4. 国内 SaaS 的公网段变更：ipset 未及时更新，某些请求绕国际口走慢。处理：APNIC CN 列表每日自动更新 + 钉钉通知差异。
5. 碎片导致应用超时：抓包看到 ICMP Frag Needed 丢失。上 --clamp-mss-to-pmtu 后即刻稳定。
6. 证书泄露风险：实地巡检发现同事把 .ovpn 发群里。立即开启 证书 + 口令 双验、开启 CRL 撤销，并在 ccd-exclusive 下做最小权限路由。
7. 发版日性能波动：发现是 BI 同步高峰共用 CN2，带宽打满。拆分 多实例 OpenVPN（按部门分端口）+ 带宽独立配额。

八、安全加固 checklist（我上线后当天就补齐）

• firewalld 仅放行 1194/udp（和 443/tcp 备用），其余白名单。
• tls-version-min 1.2，AEAD（AES-256-GCM），弃用 BF-CBC 等老算法。
• chroot/非 root（可选），user nobody/group nobody。
• CRL 撤销与证书有效期短配合自动化更新。
• fail2ban 盯 /var/log/openvpn.log 的暴力尝试。
• 日志分级与轮转：logrotate 防止磁盘被撑爆。
• 关键变更前后跑 配置备份（/etc/openvpn、/etc/sysctl.d、/etc/firewalld、/etc/iproute2）。

九、扩展与弹性

• 横向扩展：OpenVPN 单实例单核吃满即瓶颈，按部门/地区 多实例多端口 扛住并发；DNS 轮询或入口网关按地区下发不同 profile。
• HA：Keepalived + 浮动 IP（同一机房）或双机房热备（切 profile）。
• 协议备选：我也做过 WireGuard 的 PoC，性能更强，但企业侧账号体系/ACL 生态不如 OpenVPN 成熟；先把 OpenVPN 跑稳，再考虑替换。

十、运维清单（上线当天我做了这些验证）

•  ping、iperf3：LA、SG、DE 三地到上海与北京的基准测。
•  CRM、ERP 首屏/关键报表计时（Chrome devtools）。
•  大文件上传/下载（50MB/500MB 各一次）。
•  客户端 UDP 封禁场景 切换 TCP/443 验证。
•  断网/重拨稳定性（keepalive 10 60 生效）。
•  证书撤销/口令错误的告警链路。
•  ipset 自动更新 + 签名校验。

十一、成本核算（我们的量级供参考）

十二、回滚与故障预案（我是真的写在 runbook 里）

• 变更前：保留原“直连路径”可切回（客户端保留直连入口）。
• 观察窗：上线后前 2 小时专人盯 CRM/ERP 告警与 OpenVPN status。
• 快速回滚：一键 systemctl stop openvpn@server + DNS 切回/入口 profile 置灰。
• 事故“预置解释稿”：遇到酒店/机场封 UDP，告诉同事换 TCP/443 profile，不要无头苍蝇式乱试。

十三、凌晨两点半的“已读”

方案上线后半小时，洛杉矶的同事在群里回了个动图：“点开就出来，终于像在公司网里了。” 我关掉了 mtr 和抓包窗口，给香港那台机器做了最后一次 logrotate，把 china_prefixes.txt 的自动更新结果推给了运维群。
这不是“某某神奇黑科技”，只是把网络的每一处容易出错的细节都按在地上摩擦：链路质量、分流策略、MTU/MSS、拥塞控制、证书与权限、可回滚。
第二天早会，我把这份 checklist 贴到了部门 Wiki 的首页。再遇到“海外访问国内卡顿”，我们不需要焦虑，只需要复制这套流程，稳稳地把体验拉起来。

附：我常用的小脚本（APNIC CN 列表日更）

#!/bin/bash
set -e
TMP=/tmp/cn.txt
DST=/root/china_prefixes.txt

curl -s https://ftp.apnic.net/apnic/stats/apnic/delegated-apnic-latest \
| awk -F'|' '$2=="CN" && $3=="ipv4" {print $4"/"32-log($5)/log(2)}' \
| awk '{printf "%s/%d\n",$1,int($2)}' > $TMP

mv $TMP $DST
ipset flush CN
while read net; do ipset add CN $net; done < $DST

crontab：

5 3 * * * /usr/local/sbin/update_cn_ipset.sh >/var/log/update_cn_ipset.log 2>&1