我在接手某跨境电商项目优化任务时，用户首次访问商品页普遍存在图片加载慢、首屏卡顿的问题。经过分析，瓶颈主要集中在静态图片资源未缓存、跨境链路回源慢两个维度上。虽然已有CDN服务，但大量长尾图仍需回源，而且回源节点设在国内，延迟高、丢包多。
为此，我决定在香港NVMe高性能服务器上搭建一套Nginx反向代理 + 本地磁盘缓存 + 优化CDN配置的加速结构，兼顾跨境访问延迟和回源负载。
一、整体架构设计思路
目标是：将香港节点打造成CDN与源站之间的中转缓存加速层，处理跨境回源请求，并利用NVMe高IO能力缓存热点图片，提升首次加载速度。
架构如下：
用户（海外）
↓
CDN加速域名
↓ 回源
[香港Nginx缓存节点] ←→ [国内源站]
│
本地NVMe磁盘缓存
关键技术点包括：
- Nginx反向代理启用磁盘缓存；
- 针对图片类请求设置合理的缓存规则与Header；
- 回源优化：连接复用、低延迟DNS；
- CDN配置回源至香港节点，避免频繁跨境。
二、Nginx部署与缓存参数配置
2.1 安装环境与基础设定
服务器规格（香港A5节点）：
- CPU：Intel Xeon 4310（10C）
- 内存：64GB DDR4
- 磁盘：1TB NVMe（PCIe 4.0）
- 网络：双线路BGP，国际出口20Gbps
Nginx安装采用自编译优化版本，开启aio、sendfile、tcp_nopush等性能参数：
./configure --with-http_ssl_module --with-http_v2_module \
--with-http_stub_status_module --with-http_realip_module \
--with-threads --with-file-aio
make && make install
2.2 Nginx缓存配置结构
我将缓存分区挂载到NVMe盘的/data/nginx_cache，并设置如下缓存规则：
proxy_cache_path /data/nginx_cache levels=1:2 keys_zone=imgcache:10g max_size=200g
inactive=3d use_temp_path=off;
proxy_cache_key "$host$request_uri";
proxy_cache_valid 200 302 304 30d;
proxy_cache_valid 404 10m;
2.3 反代规则实现
通过location匹配拦截所有图片类资源，设定代理和缓存逻辑：
location ~* \.(jpg|jpeg|png|gif|webp|svg)$ {
proxy_pass https://origin.example.com;
proxy_set_header Host origin.example.com;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_cache imgcache;
proxy_cache_use_stale error timeout updating;
proxy_cache_background_update on;
proxy_cache_lock on;
expires max;
add_header X-Cache-Status $upstream_cache_status;
}
缓存命中状态会在响应头返回X-Cache-Status: HIT|MISS|EXPIRED便于后期CDN观察调优。
三、回源链路与DNS优化
为了保证从香港节点到源站的链路稳定，我做了如下优化：
3.1 源站DNS解析加速
香港节点使用独立的dnsmasq本地缓存，并通过阿里香港、Cloudflare DNS双路解析，确保最低时延：
server=223.5.5.5
server=1.1.1.1
cache-size=10000
no-resolv
3.2 回源TCP参数调优
启用如下内核参数，提升跨境长连接性能：
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_fin_timeout = 15
net.core.somaxconn = 65535
并确保Nginx长连接复用开启：
proxy_http_version 1.1;
proxy_set_header Connection "";
keepalive_timeout 65;
四、CDN配置调整与回源验证
在接入层CDN（如Cloudflare、QUANTIL）中，将图片请求回源地址设置为香港节点IP，并配置Host回源透传。
我设置了以下优化：
- 图片类路径 /images/* 指定香港缓存节点；
- 开启CDN缓存预热机制；
- 调整TTL匹配Nginx的缓存时长（30天）；
- 配合Nginx返回的 Cache-Control、Expires Header 控制CDN行为。
五、效果评估与优化空间
5.1 加载速度对比
我用Lighthouse、curl测试对比以下场景下的首图加载时间（TTFB）：
| 场景 | 平均TTFB（海外） |
|---|---|
| 未缓存回源国内 | 1.8s |
| CDN直连国内源站（无缓存） | 1.2s |
| CDN回源香港缓存节点（HIT状态） | 240ms |
| CDN回源香港节点（MISS状态） | 620ms |
图片加载命中缓存后，提升接近8倍+，完全达到了目标。
5.2 优化方向
后续我还在考虑加入以下机制：
- 定期缓存预热任务，防止热点图MISS；
- Zabbix+Nginx log采集命中率统计；
- 图片压缩转WebP节省带宽；
- 限速与并发控制防止CC攻击缓存穿透。
这次在香港NVMe节点上部署的图片缓存结构，不仅显著加快了Web商城的加载速度，也缓解了源站的跨境回源压力。Nginx原生的磁盘缓存结合CDN合理的调度策略，形成了一个灵活、高效、可扩展的加速体系。对未来在其他地区节点推广也有很强的借鉴意义。
