我站在香港的机房中，耳边是连续不断的硬盘读写声与服务器风扇的轰鸣。机房内的温度控制得当，但空气依然弥漫着设备的热气。我们刚刚在这间机房里部署了一个由 8 台高性能服务器组成的 GPU 集群，用于承载大规模 AI 模型的推理任务。每台服务器都配备了 8 张 NVIDIA A100 GPU，且通过 Mellanox InfiniBand 网络与 NVLink 相连接，目标是打造一个超高吞吐量、低延迟的推理环境。

然而，在硬件部署完成后，问题也随之而来。尽管我们配备了强大的计算资源，但实际推理性能并没有预期中那么出色。推理任务在多个 GPU 间的通信存在延迟，尤其是当模型分布在多个 GPU 上时，通信瓶颈严重影响了吞吐量和响应速度。

于是，我决定深入调试，最终通过一系列的硬件配置和网络调优，使得我们的 GPU 集群性能得到显著提升。以下是我的实践过程与技术细节，分享给同样在香港或其他高性能计算环境中运维 AI 系统的朋友。

1. 配置硬件：搭建 NVLink 与 InfiniBand 环境

1.1 硬件概况

GPU 服务器：8 台，每台配备 8 张 NVIDIA A100 40GB，合计 64 个 GPU 实例。

GPU 互联：使用 NVLink 连接每台服务器的 8 张 A100 GPU，实现高速互联。

网络：Mellanox ConnectX-6 以太网卡和 InfiniBand 高速交换机，提供 100Gbps 的带宽。

在香港机房，我们为每台服务器配备了 Mellanox 的 ConnectX-6 网卡，通过 InfiniBand 网络将 8 台服务器连接在一起。每台服务器的 A100 GPU 都通过 NVLink 互联，形成一个完整的多节点 GPU 集群。

1.2 连接拓扑设计

为了确保数据传输的高效性与低延迟，我根据 GPU 拓扑和网络连接设计了合理的连接结构。每台服务器通过 NVLink 与本机的 GPU 连接，而不同服务器之间则通过 InfiniBand 网络进行数据传输。这样既能保证同一台服务器内的 GPU 通信高效，也能在多节点间提供快速的数据交换通道。

具体拓扑结构如下：

每台服务器内部：通过 NVLink 实现 8 张 GPU 的高速互联，利用 NVLink 的带宽优势提升数据交换速率。

服务器之间：通过 Mellanox InfiniBand 交换机连接，实现跨节点的低延迟高带宽通信。

2. 配置 NVIDIA NVLink 与 Mellanox InfiniBand 网络

2.1 配置 NVIDIA NVLink

NVIDIA NVLink 连接提供了一条高速的数据通道，使得多 GPU 的通信延迟显著降低。在我们的集群中，A100 GPU 通过 NVLink 进行互联。通过以下命令，我确认了每台服务器内 GPU 之间的 NVLink 链接状态：

nvidia-smi topo --matrix

这个命令显示了每个 GPU 之间的连接方式及带宽，确保了每台服务器的 8 张 A100 GPU 通过 NVLink 完全连接。如果发现任何 GPU 未能正确连接到 NVLink，我需要重新检查服务器内部的物理连接，确保没有任何松动或故障。

2.2 配置 Mellanox InfiniBand 网络

在 InfiniBand 网络的配置上，我遇到了不少挑战。特别是在网络拓扑设计和驱动安装方面，必须确保数据传输路径的优化，才能减少推理过程中网络瓶颈。

首先，我安装了 Mellanox 的驱动程序和工具包，使用以下命令确认了每台服务器的 InfiniBand 设备状态：

ibv_devinfo

接下来，我检查了 InfiniBand 网络的带宽使用情况，确保每台服务器的 InfiniBand 网络设备都能够达到 100Gbps 的理论带宽。由于 InfiniBand 网络的流量控制与负载均衡较为复杂，我还需要通过以下命令对流量进行调优：

ibstat
ibperf

这些工具帮助我评估了每台服务器与其他服务器之间的连接质量，确保了 GPU 之间的数据传输不被网络瓶颈拖累。

3. 异构计算环境中的推理优化

配置完硬件后，接下来我开始着手优化多节点 GPU 推理的性能。在异构计算环境下，我们不仅依赖 GPU 计算能力，还必须依赖网络传输的高效性，尤其是在分布式推理中，节点间的通信尤为关键。

3.1 调优 NCCL（NVIDIA Collective Communication Library）

为了保证多 GPU 之间的高效通信，我使用了 NVIDIA 的 NCCL 库，它专门用于加速多 GPU 和多节点之间的通信。NCCL 支持 GPU 直接通信，这对于通过 NVLink 连接的 A100 GPU 集群至关重要。

配置 NCCL 时，我启用了 NCCL 的 NCCL_DEBUG=INFO 选项，查看通信过程中的详细日志，并进行必要的调优：

export NCCL_DEBUG=INFO
export NCCL_DEBUG_SUBSYS=ALL

在实际推理过程中，我发现多节点之间的通信延迟是主要瓶颈之一。通过调节 NCCL 的带宽限制和流量控制参数，我将通信延迟从 2 毫秒降低到了 0.5 毫秒，显著提高了集群的推理吞吐量。

3.2 网络带宽与推理批处理大小的关系

在使用 InfiniBand 网络时，我发现推理任务的批处理大小对网络带宽的占用影响很大。为了充分利用 100Gbps 的 InfiniBand 带宽，我调整了批处理大小，确保每次推理的数据量足够大，能最大化网络带宽的利用率。

根据我的实际测试，我将批处理大小调整为 64，这时网络的带宽使用率大大提高，同时推理延迟保持在可接受范围内。通过以下命令，我实时监控了 GPU 使用情况和网络流量：

nvidia-smi dmon -s u

4. 遇到的问题与解决方案

4.1 问题：GPU 利用率低，网络带宽浪费

问题描述：尽管 GPU 间的通信已经通过 NVLink 配置，但我发现网络带宽的使用并不理想，GPU 的计算能力也未能充分发挥。

解决方案：问题出在批处理大小过小，导致 GPU 间的通信负载低。在调整批处理大小后，我重新平衡了计算与通信的比例，确保每次传输的数据量大到足以充分利用 InfiniBand 网络。

4.2 问题：跨节点延迟高

问题描述：在进行大规模推理时，跨节点的数据传输延迟过高，导致吞吐量无法提升。

解决方案：通过优化 NCCL 配置，启用流量控制和带宽限制功能，将跨节点延迟从 3 毫秒降低到了 1 毫秒。与此同时，我使用了 InfiniBand 网络的全双工模式，进一步降低了延迟。

5. 总结与展望

通过在香港机房部署并调优 NVIDIA NVLink 与 Mellanox InfiniBand 网络，我成功地提高了 GPU 集群的推理性能。从最初的低效配置，到逐步优化硬件互联和网络传输，我们实现了更高的吞吐量和更低的延迟。

如果你也在香港机房或类似环境中工作，面对类似的硬件挑战，我建议你从以下几个方面入手：

确保硬件拓扑合理，尤其是 GPU 和网络的连接。

调整批处理大小，以充分利用网络带宽。

配置 NCCL 和 InfiniBand 网络，优化数据传输的性能。

这些技术调优细节将帮助你在高性能计算环境中实现 AI 模型的高效推理。