香港服务器的跨境流量如何实现负载均衡？LVS与Nginx结合应用实例解析

发布人：Minchunlin 发布时间：2025-08-01 09:19 阅读量：621

那天凌晨，我在机房的监控面板前盯着香港服务器的流量曲线。平时稳定在 200Mbps 左右的跨境访问流量突然飙升到了 800Mbps，主要来自国内用户访问我们香港机房的 API 服务。延迟和丢包率快速上升，用户反馈接口超时。

我尝试通过单台 Nginx 做反向代理来分担流量，但很快发现瓶颈明显：单台 Nginx 的 CPU 飙满，跨境网络抖动更加严重。于是，我决定采用 LVS (Linux Virtual Server) + Nginx 结合的多层负载均衡方案，来解决跨境访问高并发的问题。以下就是我完整的实操过程与优化心得。

一、架构思路与选型原因

在香港机房部署的服务，需要同时承载国内和海外访问流量。我总结了当时遇到的主要问题：

跨境网络波动大：用户请求存在不可控的 RTT 抖动。

单点 Nginx 压力过高：反向代理同时承担 TLS、请求分发、缓存，容易 CPU 飙高。

水平扩展困难：单台服务器被打满后，扩容必须保证流量能够无缝分流。

于是，我设计了如下分层负载均衡架构：

国内/海外客户端
        │
        ▼
   [BGP/跨境线路接入]
        │
        ▼
    LVS Director (四层负载均衡)
        │
        ├── Real Server 1: Nginx + App
        ├── Real Server 2: Nginx + App
        └── Real Server 3: Nginx + App

LVS 层：工作在四层（IP/端口），使用 DR 模式实现超高性能转发，解决单点瓶颈。

Nginx 层：作为七层代理，负责 HTTP 层的路由、缓存、限流等逻辑。

这样做的好处是：

LVS 几乎不消耗 CPU，单机可轻松承载数十万 QPS 的四层转发；
LVS 将请求直接分发到多台 Nginx，降低单台压力；
后端 Nginx 可以根据 URI、Host、Header 做智能路由和缓存策略。

二、LVS 部署实操

1. LVS Director 配置

我在香港机房准备了一台高性能裸金属服务器作为 LVS Director，操作系统为 CentOS 7。使用 ipvsadm 配置 DR 模式：

# 安装ipvsadm
yum install -y ipvsadm

# 添加虚拟IP (VIP)
ip addr add 192.168.1.100/24 dev eth0

# 配置LVS虚拟服务（VIP:80 -> Real Servers）
ipvsadm -A -t 192.168.1.100:80 -s wrr

# 添加后端Real Server
ipvsadm -a -t 192.168.1.100:80 -r 192.168.1.101:80 -g -w 1
ipvsadm -a -t 192.168.1.100:80 -r 192.168.1.102:80 -g -w 1
ipvsadm -a -t 192.168.1.100:80 -r 192.168.1.103:80 -g -w 2

# 查看状态
ipvsadm -Ln

注意点：

使用 DR 模式时，Real Server 必须配置 lo:0 接收 VIP，否则无法正确响应。

权重（-w）可根据服务器性能或带宽进行调优。

2. Real Server 配置

每台 Nginx 服务器上执行：

# 添加VIP到lo接口
ifconfig lo:0 192.168.1.100 netmask 255.255.255.255 broadcast 192.168.1.100 up

# 禁止ARP响应，避免VIP冲突
echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce

配置完成后，LVS 四层负载均衡即可无状态地将流量分发到各个 Nginx。

三、Nginx 七层优化方案

Nginx 主要承担以下功能：

反向代理和缓存

跨境链路优化（Keep-Alive、缓冲）

熔断和限流

一个典型的配置片段如下：

worker_processes auto;
worker_rlimit_nofile 65535;

events {
    worker_connections 40960;
}

http {
    upstream backend_app {
        server 10.0.0.11:8080 max_fails=3 fail_timeout=30s;
        server 10.0.0.12:8080 max_fails=3 fail_timeout=30s;
    }

    proxy_cache_path /var/cache/nginx levels=1:2 keys_zone=cache_zone:512m inactive=1h;
    
    server {
        listen 80;
        server_name api.example.com;

        location / {
            proxy_pass http://backend_app;
            proxy_http_version 1.1;
            proxy_set_header Connection "";
            proxy_connect_timeout 5s;
            proxy_read_timeout 30s;

            # 开启缓存
            proxy_cache cache_zone;
            proxy_cache_valid 200 1m;
        }
    }
}

优化关键点：