在我的工作中，我管理着位于伦敦和纽约的两台服务器。它们分别位于两座全球金融和技术中心，并且每台服务器都配备了10GB的网络连接。我的目标是确保这两台服务器能够稳定、高效地传输数据，无论是上传还是下载。可当我用 `wget` 命令进行文件传输时，传输速度总是让人感到不尽如人意。具体来说，文件传输速度在24.8MB/s到36.2MB/s之间浮动，这远远低于预期的速度。即便是使用相同的公司提供的10GB网络连接，这种速度仍然让我感到困惑。MTR（Traceroute的现代版本）显示网络路径看起来没有问题，丢包率也为零。那么，究竟是什么原因导致了这种现象呢？接下来，我将对这一问题进行精细化分析，并分享一些我根据经验采取的解决方法和技术细节。
硬件配置：
首先，来回顾一下这两台服务器的硬件配置，确保它们的规格足以支撑高效的数据传输。
伦敦服务器：
- CPU：AMD EPYC 7452（24核48线程）
- 内存：256GB DDR4
- 存储：2TB NVMe SSD
- 网络接口：10Gbps Ethernet
- 操作系统：Ubuntu 20.04
纽约服务器：
- CPU：Intel Xeon Gold 6248R（24核48线程）
- 内存：256GB DDR4
- 存储：2TB NVMe SSD
- 网络接口：10Gbps Ethernet
- 操作系统：Ubuntu 20.04
这些配置基本可以满足大多数需要高带宽的数据传输任务。然而，尽管硬件本身并无明显问题，实际的传输速度却远远低于预期。
网络问题分析：
1. 数据中心的网络拥塞：
虽然两台服务器都使用10GB的网络接口，但网络带宽的实际可用性并不仅仅取决于接口本身。在数据中心中，网络带宽通常是共享的。即使网络接口支持10GB，若数据中心的网络资源被多个用户争用，或者某些时段存在大量流量（例如高峰期），实际可用的带宽会受到限制。
- 解决方法： 我联系了我的服务提供商，确认了数据中心是否存在网络拥塞问题。在大多数情况下，问题并不是硬件或连接本身，而是资源在高负载时的共享情况。通过选择专线或更高优先级的网络资源，能够有效提高带宽的可用性。
2. TCP窗口大小和延迟：
TCP协议的性能在长距离传输中受到很多因素的影响，尤其是TCP窗口大小的设置。伦敦和纽约之间的距离很远，导致传输延迟较高，TCP窗口大小的配置对于传输效率至关重要。
- TCP窗口大小： 如果TCP窗口大小设置得不合适，传输的带宽可能会受到限制。根据伦敦和纽约的物理距离，我调整了TCP窗口大小，增加了每次TCP连接能够承载的数据量。这项调整可以减少传输中的延迟影响，尤其是在大文件传输时显得尤为重要。
解决方法： 我使用了 `sysctl` 命令来调整TCP缓冲区设置，并将窗口大小增大到适应大带宽、高延迟的情况。通过修改 `/etc/sysctl.conf` 文件中的以下参数：
net.core.rmem_max = 16777216
net.core.wmem_max = 16777216
net.ipv4.tcp_rmem = 4096 87380 16777216
net.ipv4.tcp_wmem = 4096 87380 16777216
这些配置帮助提高了TCP连接的吞吐量，特别是在长距离传输中。
3. 路由和网络优化：
使用 `MTR` 命令检查网络路径时，我并未发现明显的丢包现象，但这并不意味着路由是最优的。通过分析 `MTR` 输出结果，我发现虽然路径没有丢包，某些中间跳数的延迟较高，这可能会影响整体传输速度。
- 解决方法： 我联系了我的网络提供商，要求他们检查是否可以优化路由路径。通过选择更高效的路由协议，减少不必要的中间跳数，我能够改善传输性能。此外，还可以使用一些基于BGP的优化方法，选择不同的出站路径来减少延迟。
4. 文件传输协议的选择：
尽管 `wget` 是一个常见的命令行下载工具，但它并不是为大规模文件传输而优化的。在传输大文件时，`wget` 的单线程传输可能会成为瓶颈。与其使用 `wget`，我决定尝试使用更适合高带宽的协议，如 `rsync` 或 `scp`，这些协议能够利用多线程或并行传输来提高速度。
解决方法： 通过使用 `rsync` 命令，我启用了多线程传输，极大地提升了文件的传输速度。例如，以下命令启用了最大10个并行线程的文件传输：
rsync -avz --progress --bwlimit=0 -e "ssh -T -c aes128-ctr" /path/to/source/ user@remote:/path/to/destination/
这种方式显著提升了文件传输的速度，尤其是在高延迟环境下。
通过对网络速度问题的精细化分析，我发现虽然硬件和网络配置看似无问题，但在长距离传输中，网络拥塞、TCP配置、路由优化以及传输协议的选择都可能对性能产生显著影响。具体来说，我通过以下措施改善了速度：
- 联系数据中心确认网络是否存在拥塞。
- 调整TCP窗口大小以适应长距离高延迟的传输。
- 优化路由路径，减少传输中的跳数和延迟。
- 使用更高效的传输协议（如 `rsync`），提高文件传输的并行度。
经过这些调整，文件传输速度得到了显著提高，尽管不能完全达到10Gbps的理论上限，但性能已大幅改善。在进行跨洋数据传输时，考虑到各种网络层面的问题，以上优化策略是非常有效的。
