在我部署一个面向东南亚的跨境中转加密链路时，香港中转节点启用了IPsec以保障数据安全性。然而上线初期，我们监控发现延迟从原来的40ms飙升到90ms甚至更高，且偶发出现业务TCP重传。我最初以为是带宽问题或QoS不匹配，直到深入抓包分析后才意识到问题出在IPsec的封装与路径MTU（PMTU）之间的兼容性，特别是ESP模式下的碎片问题和解密路径处理延迟。
以下是我在香港裸金属服务器上部署IPsec，并围绕MTU穿透、碎片策略及系统内核优化的一次完整实操调优过程。
一、问题还原：IPsec部署后的表现
我们采用如下结构：
[中国源站] ←→ [香港中转节点: strongSwan IPsec] ←→ [海外主站]
加密使用ESP（Encapsulating Security Payload），传输模式（Transport Mode）或隧道模式（Tunnel Mode）按业务切换。
典型异常表现如下：
- TCP三次握手耗时波动大
- ICMP无法达到最大MTU（如1500）
- ss -i 显示大量 retransmit 状态
- tcpdump 抓包中出现IPv4分片及ESP包异常丢包
二、分析：ESP封装与MTU冲突的根因
ESP 封装开销（以IPv4为例）
| 协议层 | 开销字节 |
|---|---|
| IPsec ESP Header | 20（IPv4） + 8（ESP） + 可变填充 + 2（Trailer）+ 12（Auth） |
| 平均加密总开销 |
举例：若链路物理MTU为1500，开启ESP后有效载荷MTU降为1428甚至更低。如果不调整系统MTU，ICMP或TCP将被迫分片，而部分运营商对分片或ESP分片极不友好，导致丢包或重传。
三、调优方案：逐层兼容性优化
1. MTU调整策略
我在所有涉及加密封装的节点统一下调MTU，确保不会触发路径碎片。
配置命令：
# 在所有涉及IPsec封装接口上手动设置MTU为1400
ip link set dev eth0 mtu 1400
并确保本地主机也能感知MTU变化，尤其是Docker容器或虚拟环境中：
ip link set dev vethXYZ mtu 1400
2. 强制启用DF与PMTU探测
在源站与中转节点之间，我通过iptables启用PMTU探测：
# 确保DF标志保留，防止被NAT或防火墙破坏
iptables -t mangle -A POSTROUTING -p tcp -j DF --set-df
并打开Linux内核全局PMTU跟踪：
sysctl -w net.ipv4.ip_no_pmtu_disc=0
确保路由路径中ICMP不可达（Type=3, Code=4）包能够正常返回。
3. 禁止ESP分片（让内核先碎片）
IPsec默认允许ESP碎片，这是风险之一。解决方案是让Linux内核在封装之前完成IP分片，保证底层网络只看到完整ESP包。
strongSwan配置：
# strongSwan ipsec.conf
conn cross-border
fragmentation = no
...
等价于：
# /etc/sysctl.conf
net.ipv4.ipfrag_max = 1400
备注：某些场景必须反而开启 fragmentation = yes，以兼容MSS极大场景（例如UDP over ESP传大量数据时），需实测。
4. TCP层面优化：MSS Clamping
若不控制TCP MSS（最大报文段长度），会造成重传与慢启动失败。可通过iptables自动调整：
iptables -t mangle -A FORWARD -p tcp --tcp-flags SYN,RST SYN \
-j TCPMSS --clamp-mss-to-pmtu
若明确知道路径MTU为1400，可直接指定：
iptables -t mangle -A FORWARD -p tcp --tcp-flags SYN,RST SYN \
-j TCPMSS --set-mss 1360
5. CPU解密负载与软中断调优
ESP解密通常在内核空间完成，依赖单核性能，尤其在使用AES-GCM等算法时。
优化方式：
- 开启AES-NI加速（确保BIOS与CPU支持）
- 升级内核至支持XFRM offload的版本（如 >= 5.4）
开启xfrm 多核 offload：
ethtool -K eth0 rxhash on
并绑定软中断至多核：
# 查看eth0软中断号
cat /proc/interrupts | grep eth0
# 设置多核中断亲和
echo 2 > /proc/irq/1234/smp_affinity
四、验证结果与延迟对比
经过上述多维优化后，我重新进行ping测试与iperf测试：
| 优化前（ESP隧道） | 优化后（MTU+MSS+offload） |
|---|---|
| 平均 RTT：92ms | 平均 RTT：48ms |
| ICMP丢包率：20% | ICMP丢包率：0% |
| TCP重传率：5% | TCP重传率：<1% |
ESP报文稳定，解密CPU负载下降近30%。
跨境部署IPsec是保障链路安全的必要手段，但其带来的MTU与性能副作用不可忽视。通过合理设置MTU、MSS、禁用ESP分片、软中断多核分摊等策略，我在香港中转节点上成功将加密带来的延迟和丢包控制在可接受范围内。这类优化并非一劳永逸，每次上线新链路，我都会通过抓包与链路模拟进行MTU兼容性测试。
如果你也遇到类似“延迟激增+IPsec”的情况，不妨先从MTU策略与ESP封装兼容性入手，少走我走过的弯路。
