在香港数据中心的一个异构计算节点中，我们遇到了FPGAs加速卡通信链路故障导致服务器性能显著下降的问题。该问题在初期并未引起足够的关注，直到性能严重下降时才被发现。本文将详细描述故障的排查过程、解决方案以及实现方法。
在故障发生的初期，香港服务器的计算性能突然出现显著下降，尤其是在使用FPGAs加速卡进行数据处理时，任务的执行时间明显增加。系统监控数据显示，CPU的利用率和内存使用情况保持正常，但FPGAs加速卡的使用率却急剧下降。A5数据通过对任务日志的分析，发现加速卡的通信链路频繁出现数据传输超时和丢包现象。
这款香港服务器配置如下：
- CPU：Intel Xeon Gold 6248R（24核，3.0 GHz）
- 内存：256 GB DDR4 ECC
- 加速卡：Xilinx Alveo U50 FPGA加速卡
- 存储：2 TB NVMe SSD
- 网络接口：Mellanox ConnectX-6 100GbE网络接口卡
- 操作系统：Ubuntu 20.04
加速卡与服务器主板通过PCIe 4.0 x16接口连接，并使用基于标准的Ethernet网络进行数据通信。
故障排查步骤
1.初步诊断
根据故障现象和硬件配置，我们首先怀疑可能是FPGAs加速卡与服务器之间的通信链路存在问题。于是，我们进行了以下几项检查：
硬件连接检查：首先检查了加速卡和主板之间的物理连接，包括PCIe插槽、接触点以及电缆连接等。所有连接均正常。
加速卡状态检查：使用lspci命令检查加速卡的状态，并通过dmesg命令查看内核日志。发现日志中频繁出现了PCIe总线错误和超时警告，提示加速卡可能无法稳定地接收数据。
带宽测试：使用iperf3工具在服务器之间进行网络带宽测试。测试结果显示，加速卡的网络带宽远低于预期，仅为正常带宽的30%。
2.更进一步的检查
通过排查，最终确定通信链路的瓶颈出现在了FPGAs加速卡与服务器主板之间的PCIe连接上。进一步检查发现，FPGAs加速卡与Mellanox网络接口卡共享同一个PCIe通道，这导致带宽竞争和数据传输的延迟。
确认故障原因
经过详细分析，我们确定故障的根本原因是FPGAs加速卡和网络接口卡的PCIe链路竞争导致数据传输延迟。该服务器的硬件配置并未考虑到这两个组件在高负载情况下对PCIe带宽的共同需求，造成了通信链路的拥堵和加速卡性能下降。
故障解决方案
1.硬件优化
为了避免PCIe带宽的竞争，我们首先提出了硬件配置优化方案：
- 分离PCIe通道：将FPGAs加速卡和网络接口卡分配到不同的PCIe总线上。通过更改服务器主板的PCIe插槽配置，确保每个设备拥有独立的带宽资源，从而避免带宽竞争。
- 增加带宽：考虑到数据传输量较大，可以考虑升级到更高带宽的PCIe 4.0 x16接口，或在条件允许的情况下，将FPGAs加速卡替换为支持更高带宽的版本（如Xilinx Alveo U250）。
- 优化散热设计：FPGAs加速卡的高负载运行会产生较高的热量，导致性能下降。通过改进服务器机箱的散热设计，如增加风扇或优化空气流通，可以有效降低硬件故障率和温度影响。
2.软件优化
在硬件优化的基础上，我们还进行了软件层面的优化：
- 优化数据传输协议：通过修改加速卡的驱动程序和通信协议，减少数据传输中的冗余和延迟。具体方法为调整FPGA与CPU之间的传输协议，使用低延迟、带宽优化的通讯协议（如RDMA）。
- 性能监控与动态调节：实现自动化的性能监控系统，实时检测FPGAs加速卡的运行状态，并根据负载情况动态调节网络带宽和计算任务的分配策略。例如，在高负载时，优先保证FPGAs加速卡的带宽资源。
3.硬件与软件结合的调试与验证
我们通过以下步骤验证了优化方案的有效性：
- 在新的硬件配置下，使用iperf3再次测试了网络带宽。结果显示，FPGAs加速卡的带宽得到了显著提升，达到了预期值。
- 使用基准测试工具（如fio和benchmark）对系统进行了多次性能评估，确保在新配置下，计算任务的执行时间得到了有效缩短。
在实施了上述硬件和软件优化方案之后，服务器的性能得到了显著恢复。FPGAs加速卡的使用率回升至正常水平，数据传输的延迟和超时现象完全消失。最终，任务的执行时间缩短了约45%，计算效率得到了有效提升。
这个案例展示了FPGAs加速卡通信链路故障导致香港服务器性能下降的排查与解决过程。通过对硬件配置的调整和软件优化，我们有效地解决了PCIe带宽竞争的问题，恢复了系统的高效运行。这一故障排查案例不仅为类似问题提供了宝贵的经验，也为未来在异构计算环境中的硬件配置与性能优化提供了参考。
