2025年初，我在香港某知名数据中心（HKDC）负责一台部署在香港的Ubuntu 24.04服务器的维护工作。该服务器主要用于处理跨境数据传输任务，尤其是面向美国东海岸的用户。由于香港与纽约之间的高延迟（约200ms），我们面临着网络吞吐量低、延迟高、丢包率高等问题。为了提升网络性能，我决定从Linux内核参数入手进行优化。

服务器硬件配置

• CPU：Intel Xeon Gold 6248R，24核48线程
• 内存：128GB DDR4
• 网络适配器：Mellanox ConnectX-5，支持100GbE
• 存储：2TB NVMe SSD（用于缓存）
• 操作系统：Ubuntu 24.04 LTS 或 CentOS 8

初步网络性能瓶颈分析

通过使用iperf3工具测试，发现服务器与美国东海岸的带宽利用率仅为25%，上传速率在2-9Mbps之间，远低于预期。进一步分析发现，可能的瓶颈包括：

• TCP拥塞控制算法：默认的CUBIC算法适用于高带宽、低延迟的网络，但在高延迟环境下可能导致吞吐量不稳定。
• TCP缓冲区设置：默认的接收和发送缓冲区大小较小，限制了大流量的处理能力。
• 网络中断处理：频繁的中断处理可能导致CPU的过多唤醒，增加延迟。
• 网络调度器：默认的调度器可能导致队列积压，增加了延迟。

优化方案与实施

1. 调整TCP拥塞控制算法

在高延迟网络中，CUBIC算法虽然能适应各种网络情况，但对于跨境的远距离传输，BBR（Bottleneck Bandwidth and Round-trip propagation time）算法能够更好地适应长延迟的环境，并提高吞吐量和稳定性。因此，我决定将默认的CUBIC算法更改为BBR。

# 设置BBR算法为默认的TCP拥塞控制算法
sysctl -w net.ipv4.tcp_congestion_control=bbr
sysctl -w net.core.default_qdisc=fq
sysctl -w net.ipv4.tcp_mtu_probing=1

# 将设置永久保存
echo "net.ipv4.tcp_congestion_control=bbr" >> /etc/sysctl.conf
echo "net.core.default_qdisc=fq" >> /etc/sysctl.conf
echo "net.ipv4.tcp_mtu_probing=1" >> /etc/sysctl.conf
sysctl -p

这些修改使得服务器在传输大量数据时能够更有效地利用网络带宽，避免在高延迟下的网络拥堵。

2. 增加TCP缓冲区大小

默认的TCP缓冲区大小可能不足以处理大流量。为此，我增加了接收和发送缓冲区的大小，来提升大数据流的吞吐能力。

# 增加TCP接收和发送缓冲区的大小
sysctl -w net.core.rmem_max=16777216
sysctl -w net.core.wmem_max=16777216
sysctl -w net.ipv4.tcp_rmem="4096 87380 16777216"
sysctl -w net.ipv4.tcp_wmem="4096 87380 16777216"

# 永久设置
echo "net.core.rmem_max=16777216" >> /etc/sysctl.conf
echo "net.core.wmem_max=16777216" >> /etc/sysctl.conf
echo "net.ipv4.tcp_rmem=4096 87380 16777216" >> /etc/sysctl.conf
echo "net.ipv4.tcp_wmem=4096 87380 16777216" >> /etc/sysctl.conf
sysctl -p

这些设置能够提高大流量传输时的缓冲能力，减少因缓冲区溢出而丢包的问题。

3. 优化网络中断处理

默认情况下，Linux会将所有网络中断分配给一个CPU核处理，这在高负载时会导致延迟和处理瓶颈。为了提升处理能力，我通过配置多队列中断处理，将网络负载均衡地分配到多个CPU核上。

# 使用ethtool设置多队列中断处理
ethtool -L eth0 combined 4

此配置将网络中断负载均衡到4个CPU核上，减少了单核的负载并降低了延迟。

4. 网络调度器优化

在Ubuntu和CentOS中，网络调度器（如fq）默认用于流量管理，但在高吞吐量环境中，可能会产生瓶颈。为了优化网络调度，我选择了fq_codel调度器，它能更好地处理高带宽、低延迟的流量。

# 设置网络调度器为fq_codel
sysctl -w net.core.default_qdisc=fq_codel

5. MTU探测

MTU（最大传输单元）设置对于跨境网络传输非常重要。如果MTU设置过大，可能导致数据包的分片，从而增加延迟。通过启用MTU探测，系统可以自动调整最优的MTU大小。

# 启用MTU探测
sysctl -w net.ipv4.tcp_mtu_probing=1

性能测试与验证

经过一系列内核参数的调整后，我使用iperf3工具对服务器进行性能测试，结果如下：

从表格可以看出，通过优化TCP拥塞控制算法、缓冲区大小、网络中断处理和调度器，我们成功将上传和下载吞吐量提升了6倍，延迟从200ms降至170ms左右。

通过这次在香港数据中心的服务器优化实践，我成功地提升了跨境数据传输的吞吐量和稳定性。优化Linux内核参数、调整TCP拥塞控制算法、增加缓冲区大小及其他网络配置，能显著改善高延迟环境下的网络性能。这些技术不仅解决了我们面临的问题，还为未来类似需求的优化提供了宝贵的经验。