AI加速器是指专门设计用于支持人工智能工作负载的硬件设备。这些设备通常价格昂贵，自行购买和运营可能成本高昂。
因此，基于云的 AI 加速器似乎是一个完美的解决方案。与其购买自己的 AI 硬件，不如通过 AI 基础设施即服务（IaaS）模式从云提供商那里“租用”它？
在许多情况下，这种方法确实更可取，但它也存在一些缺点。以下内容将帮助您判断基于云的 AI 硬件是否适合您的需求。
什么是 AI 加速器和 AI 硬件？
“AI 加速器”和“AI 硬件”是指那些在处理 AI 任务（例如模型训练和推理）方面表现出色的硬件设备。换句话说，它们不同于通用的中央处理单元（CPU）。尽管 CPU 可以处理多种类型的 AI 工作负载，但在处理 AI 时往往效率不高、速度较慢。
图形处理单元（GPU）是 AI 硬件的一个例子。由于 GPU 拥有大量核心，能够并行处理大量数据，因此适合处理许多 AI 工作负载。
然而，GPU 并不是唯一的 AI 加速器。其他选择包括：
– 神经处理单元（NPU）： 专为大规模并行计算的 AI 应用而设计（而 GPU 主要用于视频渲染，但也适合某些 AI 任务）。
– 应用专用集成芯片（ASIC）： 适用于快速处理数据的特定 AI 工作负载。
– 现场可编程门阵列（FPGA）： 某些 AI 应用的优秀选择，可实现灵活配置。
本地 vs 云端 AI 硬件
与大多数硬件类型一样，AI 加速器可以部署在本地（on-prem）或云端。
– 本地 AI 加速器：
指您在自主管理的服务器中安装的加速器。这需要您购买硬件、配置服务器并进行持续管理。
– 云端 AI 加速器：
云供应商通过互联网以 IaaS 模式提供的硬件。通常，您可以选择专为 AI 设计的云服务器实例。例如，Amazon 提供搭载其 Trainium AI 加速器芯片的 EC2 云服务器实例，而 Google Cloud 提供一种名为张量处理单元（TPU）的 AI 加速器。
云端 AI 加速器的优势
选择云端加速器而非本地部署有以下主要优势：
1. 无需前期投入：
AI 加速器通常价格昂贵，从基础 GPU 的几百美元到高端 GPU 和 NPU 的数万美元不等。通过云服务，公司可以无需预付设备费用，而是通过 IaaS 服务按需“租用”这些设备。
2. 按需付费：
云端 AI 硬件允许用户仅为实际使用的硬件容量付费。这对仅需临时运行 AI 任务（例如模型训练）的用户尤为有利。
3. 访问专用 AI 硬件：
某些 AI 加速器只能通过云服务使用。例如，Amazon 和 Google 开发的 AI 芯片无法直接购买，只能通过其云服务访问。
4. 可扩展性：
与大多数云解决方案一样，云端 AI 硬件具有高度的可扩展性。您可以轻松增加 AI 服务器实例以满足更大的计算需求，而本地 AI 硬件的扩展通常成本高昂且复杂。
云端 AI 硬件的缺点
另一方面，云端 AI 硬件也存在一些显著的挑战：
1. 性能限制：
由于云服务器的硬件可能会与其他客户共享，以及在云端和本地之间传输数据可能存在网络延迟，云端 AI 工作负载的性能有时不如本地部署。
2. 数据隐私：
如果您需要处理高度敏感的数据（例如使用私人信息训练模型），基于云的 AI 可能会增加数据暴露给第三方的风险，因为数据需要存储在公共云中。
3. 成本问题：
尽管云端 AI 硬件的前期成本较低，但从长远来看，如果使用频率较高，总成本可能会更高。此外，基于云的 AI 可能还需支付数据传出费用，而本地部署无需承担这类费用。
何时选择云端 AI 加速器？
那么，您是否应该使用云端 AI 加速器？
答案取决于您需要的 AI 硬件类型以及预期用途。如果您计划持续部署 AI 工作负载，购买自己的硬件可能更划算。同样，如果您只需要价格较低的设备，本地 AI 可能更可行。
但对于需要高度专业化 AI 硬件的工作负载，或者仅需短期运行的工作负载，云端方案通常比本地部署更优。
