“GPU 风扇转速已经拉到 80%，NVLink 带宽还能再挤一点吗？” 这是 6 月初香港柴湾 A5 数据的一个闷热夜晚。我正替一家视频 AIGC 创企做模型...
如何在边缘AI推理框架下，依据模型计算需求，灵活调配GPU显存与Batch大小，我们通过详细的硬件配置、部署技术细节和方法，将一步步实现这一目标。无论是在高效推...
香港数据中心的某台刀片服务器在进行GPU加速的深度学习训练时，经常出现突然断电重启的现象。通过初步检查，服务器并没有显示明显的硬件故障，也未出现操作系统崩溃的记...
企业将大模型推理服务部署于高性能GPU服务器中是当前的趋势，某团队近期尝试在香港机房的一台新购高配GPU服务器上部署多卡并行的大模型推理服务，模型体积超过30G...
2025年3月初，我们在香港的数据中心上线了一套AI推理服务系统，主要服务于海外客户的图像识别需求。系统基于NVIDIA A100 GPU部署，采用NVIDIA...
我们在深度学习业务落地的过程中，GPU服务器的稳定性和可用性是保障模型高效运行的关键。近期我们在香港节点部署的一批深度学习业务服务器中，遇到了“GPU卡识别失败...
在2025年及以后的数据中心建设项目规划，与十年前相比有了显著变化。然而，在经历了剧烈增长的时期后，成功支持这一行业的规划和建设策略依然可以为未来的发展提供指导...
如何全面准确衡量GPU硬件的真实算力，并非一件简单的事情。本文将从多个维度深入探讨如何评估GPU的算力，并通过典型案例帮助读者更好的理解这一问题和相应的解决方案...
