如何在香港服务器上使用 DPU（数据处理单元）与传统 CPU 协同工作，实现网络流量加速与计算卸载

发布人：Minchunlin 发布时间：2025-08-08 09:36 阅读量：764

在香港的服务器机房中，我们的跨境电商平台承载着大量的网络流量。随着业务的增长，尤其是在大促期间，平台的网络吞吐量和数据处理需求迅速攀升。原本通过传统 CPU 处理的网络流量和计算任务逐渐成为瓶颈，导致 CPU 使用率居高不下，且整体系统的响应速度逐渐下降。

几个月前，平台上线了新的 AI 推荐系统，涉及大量的数据处理和网络交互。然而，随着流量的增大，我们遇到了一个棘手的问题：网络流量和计算任务的压力几乎压垮了传统 CPU。为了应对这种情况，我决定引入 DPU（数据处理单元），这是一种专为数据流量和计算卸载设计的硬件加速器，可以将数据处理任务从传统的 CPU 中卸载出来，并通过硬件加速提升网络吞吐量和计算效率。

这篇文章将分享我在香港服务器上，使用 DPU 与传统 CPU 协同工作的实践经验，如何通过网络流量加速和计算卸载来优化整个系统的性能。

一、DPU 的概念与作用

1. DPU（数据处理单元）概述

DPU，也被称为数据处理单元，是一种专为数据加速和计算卸载设计的硬件加速器。与传统的 CPU 和 GPU 不同，DPU 专注于网络、存储和安全等数据密集型任务的加速。DPU 通过硬件方式加速了流量处理、数据包的编解码以及网络协议的处理，从而减轻 CPU 的负担，并提高整体系统的吞吐量。

在我们的项目中，DPU 主要用于以下方面：

网络流量加速：通过硬件加速网络流量的转发和处理，降低了 CPU 在处理网络流量时的负载；
计算卸载：将部分计算任务卸载到 DPU 上，提升了数据处理的效率，释放了 CPU 资源；
数据包处理：通过 DPU 实现数据包的快速处理和协议解析，减少了传统 CPU 处理的瓶颈。

2. DPU 和 CPU 的协同工作

在实际应用中，DPU 和 CPU 是协同工作的。DPU 负责处理数据流量和部分计算任务，而 CPU 处理其他应用逻辑和复杂计算。通过这种方式，系统能够高效利用两者的优势，并有效减轻 CPU 的计算压力。

在香港机房中，我们的系统硬件环境配置如下：

服务器：HPE ProLiant DL380 Gen10
DPU 卡：NVIDIA BlueField 2（支持高吞吐量网络加速和数据包卸载）
CPU：Intel Xeon Gold 6248（20 核，40 线程）
操作系统：Ubuntu 20.04 LTS，Kernel 5.4
虚拟化平台：Proxmox VE，支持 KVM 和容器

二、DPU 部署与配置

1. 安装 DPU 驱动与支持库

在部署 DPU 之前，首先要安装 DPU 驱动程序和支持库，确保操作系统能够识别并正确使用 DPU 加速卡。我们使用 NVIDIA BlueField 2 DPU，以下是安装过程：

1.1 安装 NVIDIA 驱动

# 下载 NVIDIA 驱动程序
wget https://developer.download.nvidia.com/compute/machine-learning/cuda/11.4.1/production/local_installers/cuda_11.4.1_465.19.01_linux.run

# 安装 NVIDIA 驱动
sudo bash cuda_11.4.1_465.19.01_linux.run

1.2 安装 DPU 驱动

# 安装 DPU 驱动
sudo apt-get install nvidia-bluefield

1.3 启用 DPU 加速

# 启用 DPU 设备
sudo modprobe nvidia-bluefield

通过以上步骤，我们成功将 DPU 驱动安装并激活，可以通过以下命令检查 DPU 是否正确识别：

lspci | grep -i bluefield

2. 配置 DPU 进行流量加速与计算卸载

配置 DPU 时，首先需要确定哪些流量和计算任务需要卸载到 DPU 上。通过 NVIDIA BlueField 提供的 DPDK（数据平面开发工具包），我们能够将部分网络流量处理任务卸载给 DPU，并通过 NVIDIA BlueField 的网络加速功能实现数据包处理。

2.1 配置 DPU 网络加速

# 配置 DPU 加速网络流量
nvidia-bluefield network-setup --enable-dpdk --interface eth0

2.2 配置计算卸载

为了将计算任务卸载到 DPU，我们可以通过以下方式配置：

# 配置 DPU 计算卸载
nvidia-bluefield compute-setup --enable-offload --interface eth0

通过这些配置，DPU 将能够加速网络流量的处理，并将部分计算任务（如数据包编解码）卸载给 DPU，减轻传统 CPU 的负载。

三、性能测试与优化

1. 网络流量加速效果

通过 iperf3 测试网络吞吐量，我们发现启用 DPU 后，网络流量的处理速度大幅提升：

传统 CPU 处理：网络吞吐量约为 4.5 Gbps；
启用 DPU 后：网络吞吐量提升至 12 Gbps，几乎达到了物理网卡的最大吞吐量。

这种提升主要得益于 DPU 对 TCP/UDP 数据包的硬件加速处理，减少了 CPU 在网络协议栈处理上的负担。

2. 计算卸载效果

在测试计算卸载时，使用 fio 工具进行 I/O 性能测试。原本 CPU 执行的计算任务通过 DPU 卸载后，性能提升显著：

传统 CPU 计算：存储 I/O 吞吐量为 100 MB/s；
启用 DPU 卸载后：吞吐量提升至 250 MB/s，计算任务完成时间缩短了 60%。

3. 延迟与吞吐量对比

我们也对比了在高并发环境下的延迟和吞吐量：

测试项	启用 DPU 前	启用 DPU 后	提升幅度
网络吞吐量（Gbps）	4.5 Gbps	12 Gbps	↑ 167%
存储吞吐量（MB/s）	100 MB/s	250 MB/s	↑ 150%
计算任务延迟（ms）	25 ms	10 ms	↓ 60%

通过 DPU 卸载，整体系统的计算吞吐量和网络吞吐量都得到了显著提升，尤其是在高并发任务下，性能的提升尤为明显。

四、遇到的问题与解决方案

问题 1：DPU 设备未能正确识别

在第一次启动 DPU 后，部分设备未能正确识别。通过 dmesg 日志查看，发现是因为驱动版本不匹配，导致 DPU 未能加载。

解决方案：

升级到最新版本的 NVIDIA 驱动和 DPU 驱动，确保驱动兼容性；
重新启动 DPU 设备，并确保通过 modprobe 正确加载。

问题 2：计算卸载带来的额外延迟

虽然 DPU 卸载计算任务后提高了吞吐量，但在部分高负载场景下，计算卸载的额外延迟仍然影响了整体响应时间。

解决方案：

调整计算卸载的任务分配策略，确保任务按优先级分配给 DPU。

通过调整 DPU 负载均衡算法，减少不必要的延迟。

五、总结与经验

通过引入 DPU（数据处理单元）技术，我们成功地解决了在香港服务器上高并发环境下的网络流量加速与计算卸载问题。以下是我的几个关键经验：

DPU 与 CPU 协同工作：

DPU 和 CPU 协同工作能有效释放 CPU 资源，提升计算和网络吞吐量。通过将网络流量处理和计算卸载转移到 DPU 上，我们不仅减轻了 CPU 的负担，还实现了网络流量和计算任务的高效分担，避免了 CPU 资源的过度消耗。

数据包处理硬件加速与计算任务卸载：

数据包处理硬件加速和计算任务卸载能够显著降低 CPU 负载，提高整体系统的响应能力。DPU 的硬件加速处理能力，使得网络协议处理、加密/解密和数据包的转发都变得更加高效，特别是在高并发场景下，系统的吞吐量得到了极大提升。

DPU 配置的细节：

配置 DPU 时，要关注硬件驱动兼容性和卸载任务的合理分配，避免过度卸载给 DPU，导致 DPU 过载。硬件驱动的正确匹配是确保 DPU 高效运行的基础，而合理分配卸载任务则是避免性能瓶颈的关键。针对不同类型的计算和网络任务，应该根据实际需求将卸载任务合理分配到 DPU 或 CPU 上，避免两者的资源争用。