在我负责的跨境电商加速项目中，用户不断反馈部分页面加载缓慢、偶发性资源404。排查后发现问题出在CDN回源链路，尤其是中国大陆访问某些海外源站时，回源速度极不稳定，甚至被运营商劣路劫持。传统CDN提供商的默认回源调度策略对跨境链路并不友好，因此我决定自建一套“香港中转节点 + 自定义DNS权重 + 健康探测”的源站调度系统，从源头上解决回源效率低、容灾能力差的问题。
一、整体架构设计
核心思路是：将香港高质量网络节点作为回源中转层，由边缘CDN先回源至香港节点，再由香港节点智能路由至真实源站。整个系统由三部分组成：
- 自建智能权重DNS服务（如CoreDNS）
- 香港中转反代集群（Nginx + LVS）
- 实时健康探测和权重调整服务（Python/Go脚本+Prometheus）
架构如下图所示：
[CDN边缘节点]
|
| 回源请求
↓
[香港回源调度DNS] ——> 根据地域与健康状态响应最优香港节点IP
↓
[香港Nginx反代集群]
↓
[真实源站池：新加坡/东京/硅谷等]
二、香港节点部署与反代配置
我选择在香港部署三台物理机，分别位于不同运营商线路上（CMI、NTT、PCCW），确保在国际链路出现故障时仍可高可用。
Nginx反代配置核心如下：
upstream origin_backend {
server origin1.example.com weight=5 max_fails=2 fail_timeout=10s;
server origin2.example.com weight=3 max_fails=2 fail_timeout=10s;
server origin3.example.com weight=2 max_fails=2 fail_timeout=10s;
}
server {
listen 80;
server_name backproxy.hk.example.com;
location / {
proxy_pass http://origin_backend;
proxy_set_header Host $host;
proxy_set_header X-Forwarded-For $remote_addr;
}
}
为了防止跨境回源阻断，我配置了多路由IP出站（通过策略路由绑定不同ISP网卡）并开启 proxy_next_upstream 策略提升容错能力。
三、权重型DNS调度实现（基于CoreDNS）
香港中转节点虽然能承载回源，但CDN访问哪个香港节点，需要通过DNS解析策略来控制。为此，我采用CoreDNS作为自定义权重DNS服务器，结合地域、健康状态和权重值动态分配解析结果。
示例 CoreDNS 配置（基于 Geo + 自定义插件）：
. {
bind 0.0.0.0
forward . 8.8.8.8
geoip /etc/GeoIP.dat
my_weighted_dns {
hk-cmi.hk.example.com 1.2.3.4 weight=5
hk-pccw.hk.example.com 2.3.4.5 weight=3
hk-ntt.hk.example.com 3.4.5.6 weight=2
}
}
自定义插件 my_weighted_dns 实现逻辑大致如下：
- 根据DNS请求的客户端IP判断其国家/地区；
- 判断节点的当前健康状态（来自Prometheus指标）；
- 基于每个节点的权重动态计算加权随机值，返回最优IP。
- DNS解析结果可以设置TTL=60s，控制切换频率。
四、健康探测与权重动态调整
任何调度策略如果没有实时健康探测机制，都无法有效应对突发性链路抖动。我在香港反代节点上部署了自定义健康探测脚本，定期对下游真实源站进行 HTTP/HTTPS 探活：
#!/bin/bash
for host in origin1 origin2 origin3; do
code=$(curl -s -o /dev/null -w "%{http_code}" http://$host/health)
if [ "$code" -ne "200" ]; then
# 推送至Prometheus Pushgateway或写入Redis做故障标记
echo "$host failed"
fi
done
此外，我实现了一个小型Go程序服务，定期读取这些探测数据并更新CoreDNS的配置或权重文件，使得不健康的节点权重下降甚至从DNS解析结果中移除，确保高可用。
五、容灾与回源链路优化细节
为了保障系统稳定性，我还做了以下优化：
Nginx层开启连接池与缓存：
proxy_cache_path /var/cache/nginx levels=1:2 keys_zone=STATIC:10m max_size=1g;
proxy_cache STATIC;
TCP多路复用与超时设置：
proxy_http_version 1.1;
proxy_set_header Connection "";
proxy_connect_timeout 3s;
proxy_read_timeout 5s;
出站路由多链路绑定：
通过 Linux ip rule + ip route 绑定不同出口接口提升链路冗余。
Prometheus 监控全链路指标：
包括DNS响应延迟、香港节点响应时间、各源站请求成功率，用 Grafana 可视化呈现。
六、部署后的效果评估
系统上线后，平均CDN回源耗时从原来的 >600ms 降低至 150ms 以下，回源失败率下降了约 93%。更重要的是，不再依赖单一CDN厂商的调度算法，我们可以完全掌控回源路径、容灾策略和全链路健康状态。
跨境CDN回源慢的问题，本质上是“链路不可控”和“调度不智能”的结合。通过将香港服务器打造成中转回源节点，并引入自定义DNS调度与健康权重控制机制，我不仅解决了性能瓶颈，也为今后的全球业务扩展打下了基础。这套架构也适用于其他跨境SaaS、视频回源、API聚合等场景，具备很强的通用性和可复制性。
