马来西亚服务器部署GPU容器运行环境,需要配置哪些组件?

发布人:A5数据发布时间:2026-11-13 14:54阅读量:51

首次在马来西亚服务器上运行 GPU 容器,核心不是只在容器内安装 CUDA,而是打通“物理 GPU 或直通 GPU → NVIDIA 驱动 → Docker/containerd → NVIDIA Container Toolkit → CUDA 运行时镜像 → 业务程序”这一条链路。以 Ubuntu Server 22.04 LTS、x86_64 架构、NVIDIA GPU、Docker Engine 和 Docker Compose 为例,完成首次部署通常需要准备主机驱动、容器引擎、GPU 容器运行时、匹配的 CUDA 镜像、模型或数据存储,以及可访问软件仓库和镜像仓库的网络。

文章开篇配图

马来西亚机房不会改变 GPU 容器的基本安装方式,但会影响软件包下载、镜像拉取、DNS 解析、外网出口、时区和数据存储位置。下面的步骤假设服务器具备 sudo 权限,使用 rootful Docker,且不采用 Kubernetes 编排。若服务器已经由云厂商预装 NVIDIA 驱动或 Docker,应先核对现有版本,避免重复安装和混用软件源。

围绕马来西亚地区的GPU容器部署,A5idc数据提供吉隆坡物理服务器资源,可结合不同CPU、内存、磁盘与国际或优化线路,为容器化推理、模型服务及业务接口提供主机与网络基础;同时在香港、美国提供搭载A100 80GB、RTX 4090的GPU服务器,覆盖模型测试、AI推理和图像处理等场景。

需要配置的组件

组件是否必需主要作用首次验证方式
NVIDIA GPU 或 GPU 直通必需提供实际计算设备lspci、nvidia-smi
Ubuntu Server 22.04 LTS示例基础环境提供内核、systemd 和 apt 软件包管理cat /etc/os-release
NVIDIA 主机驱动必需让 Linux 内核和用户态工具识别 GPUnvidia-smi
Docker Engine、containerd必需创建和管理容器docker version
NVIDIA Container Toolkit必需将 GPU 设备和驱动库注入容器docker run --gpus all ...
CUDA Runtime 镜像运行 CUDA 应用时必需提供容器内的 CUDA 用户态运行库容器内执行 nvidia-smi 或应用自检
本地 SSD 或独立数据盘按业务需要存放镜像、模型、缓存和日志df -hT、docker info
Docker Compose 插件推荐固化 GPU 容器配置,便于启动和回滚docker compose version
GPU 监控组件可选观察显存、利用率、温度和进程nvidia-smi 或监控系统

这里有一个容易混淆的边界:只运行容器时,主机通常只需要安装 NVIDIA 驱动和 NVIDIA Container Toolkit,不必再把完整 CUDA Toolkit 安装到主机。CUDA 的用户态运行库可以由容器镜像提供;只有在主机上直接编译 CUDA 程序或执行主机侧开发任务时,才需要额外安装主机开发工具链。

准备条件与部署前检查

确认服务器形态

裸金属服务器应能在 PCI 总线上看到 NVIDIA 设备。云服务器则必须确认实例类型包含 GPU,并且虚拟机已经完成 PCIe GPU 直通或厂商指定的 GPU 挂载。

如果下面的命令完全看不到 NVIDIA 设备,先处理云主机规格、GPU 直通或硬件连接问题,不要直接进入容器配置阶段。

cat /etc/os-release
uname -m
lspci -nn | grep -i -E 'nvidia|3d controller|vga' || true
free -h
df -hT /
lsblk -o NAME,SIZE,TYPE,FSTYPE,MOUNTPOINT

示例中比较理想的结果包括:

  • uname -m 输出 x86_64;
  • 系统为 Ubuntu 22.04;
  • lspci 输出 NVIDIA VGA 或 3D controller;
  • 根分区和 Docker 数据目录仍有足够空间。

镜像、模型和缓存的空间应分开估算。比如,一个采用十进制计量的 10 GB 镜像,在理论带宽 100 Mbps 下,最低传输时间为:

10 GB × 8 × 1000 ÷ 100 Mbps = 800 秒,约 13.3 分钟

实际还要叠加 TLS、仓库响应、磁盘写入和网络波动的时间。GPU 推理镜像和模型通常比普通 Web 镜像更大,建议先确认 docker info 中的 Docker 数据目录所在磁盘容量。

检查软件源和出口网络

马来西亚服务器至少需要能够解析并访问 Ubuntu 软件源、Docker 软件源、NVIDIA 软件源以及业务使用的容器镜像仓库。先检查 DNS 和 HTTPS,不要把镜像拉取失败误判为 GPU 配置错误。

getent hosts archive.ubuntu.com
getent hosts download.docker.com
getent hosts nvidia.github.io

curl -fsSI --max-time 10 https://download.docker.com/ | head
curl -fsSI --max-time 10 https://nvidia.github.io/ | head

如果 DNS 失败,优先检查服务器的 DNS 配置和云网络;如果 DNS 正常但 HTTPS 超时,检查出口安全策略、地域网络质量和仓库访问控制。软件仓库需要更换时,应使用组织认可并保留签名校验的镜像,不要直接使用来源不明的安装脚本。

核对当前是否已经有驱动

command -v nvidia-smi >/dev/null && nvidia-smi || true
command -v docker >/dev/null && docker version || true

如果 nvidia-smi 已经能正常列出 GPU,说明主机驱动可能已经由云厂商或系统镜像安装。此时先记录驱动版本,不要为了统一版本而立即覆盖现有驱动。如果 Docker 已经存在,也先确认其版本、数据目录和是否承载其他业务容器。

第一步:安装或确认 NVIDIA 主机驱动

选择安装方式

本示例使用 Ubuntu 的 apt 驱动包。不要在同一台主机上同时使用 NVIDIA .run 安装包和 apt 驱动包,否则容易出现内核模块、用户态库和包管理记录不一致的问题。

如果服务器由云厂商维护驱动,应优先遵循云厂商的驱动版本和升级方式。只有在确认没有可用驱动,或者厂商明确要求自行安装时,才执行下面的安装步骤。

sudo apt update
sudo apt install -y ubuntu-drivers-common pciutils

ubuntu-drivers devices

ubuntu-drivers devices 会列出当前 GPU 可用的驱动分支及推荐项。确认推荐版本后执行:

sudo ubuntu-drivers install
sudo reboot

重启后检查:

nvidia-smi

正常结果通常会包含 GPU 名称、驱动版本、显存总量、显存使用量和运行进程列表。这里的输出只说明主机驱动已经工作,还不能证明 Docker 容器能够使用 GPU。

驱动安装后的验证

可以补充检查内核模块和 GPU 数量:

lsmod | grep nvidia || true
nvidia-smi -L

nvidia-smi -L 应列出一块或多块 GPU。多卡服务器不要只看第一张卡,后续需要明确容器是使用全部 GPU,还是固定使用某个 GPU。

如果安装驱动后 nvidia-smi 报错,先执行:

dkms status
lsmod | grep nvidia || true
journalctl -k -b | grep -i nvidia | tail -n 50

重点检查以下情况:

  • 虚拟机没有完成 GPU 直通;
  • Secure Boot 阻止未签名内核模块加载;
  • 内核升级后驱动模块没有成功编译;
  • 机器中残留了另一种安装方式的驱动库;
  • 驱动用户态库和内核模块版本不一致。

在驱动层没有恢复前,不要继续修改 Docker 配置,因为容器运行时无法修复主机本身不可见的 GPU。

第二步:安装 Docker Engine 和 Compose

如果 Docker 已经安装且版本满足要求,可直接进入下一步。没有 Docker 时,在 Ubuntu 22.04 上配置 Docker 官方软件源:

sudo apt update
sudo apt install -y ca-certificates curl gnupg

sudo install -m 0755 -d /etc/apt/keyrings

curl -fsSL https://download.docker.com/linux/ubuntu/gpg | \
  sudo gpg --dearmor --yes -o /etc/apt/keyrings/docker.gpg

sudo chmod a+r /etc/apt/keyrings/docker.gpg

source /etc/os-release

echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.gpg] https://download.docker.com/linux/ubuntu ${VERSION_CODENAME} stable" | \
  sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

sudo apt update
sudo apt install -y docker-ce docker-ce-cli containerd.io docker-buildx-plugin docker-compose-plugin

启动 Docker 并设置为开机启动:

sudo systemctl enable --now docker
sudo systemctl is-active docker
sudo docker version
sudo docker compose version

随后执行基础容器验证:

sudo docker run --rm hello-world

预期结果是容器打印欢迎信息并正常退出。这个测试只验证 Docker Engine 能拉取和启动普通容器,不涉及 GPU。

检查 Docker 数据目录和权限边界

sudo docker info --format 'DockerRootDir={{.DockerRootDir}}'
sudo docker info --format 'Driver={{.Driver}}'

GPU 镜像和模型文件可能占用大量磁盘空间。若 Docker 数据目录位于系统盘,部署前应确认容量和 inode 足够。迁移 Docker 数据目录会影响全部容器,不能在首次 GPU 配置中随意修改。

默认使用 sudo docker 可以避免给普通账号授予 Docker Socket 权限。将用户加入 docker 用户组等同于授予较高的主机控制能力,生产环境应根据运维权限模型决定,不要为了省略 sudo 而直接执行。

第三步:安装 NVIDIA Container Toolkit

NVIDIA Container Toolkit 负责把 GPU 设备、驱动库和相关运行时参数传递给容器。它不是 CUDA 镜像,也不会替代主机驱动。

先安装仓库签名工具并添加 NVIDIA 软件源:

sudo apt update
sudo apt install -y ca-certificates curl gnupg

sudo install -m 0755 -d /usr/share/keyrings

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | \
  sudo gpg --dearmor --yes -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg

curl -fsSL https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
  sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
  sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list > /dev/null

sudo apt update
sudo apt install -y nvidia-container-toolkit

如果主机原本存在 /etc/docker/daemon.json,先备份。NVIDIA 配置会修改 Docker 的运行时配置,重启 Docker 会影响当前容器连接,因此应选择业务低峰期执行。

sudo install -d -m 0755 /etc/docker

if [ -f /etc/docker/daemon.json ]; then
  sudo cp -a /etc/docker/daemon.json \
    "/etc/docker/daemon.json.bak.$(date +%Y%m%d%H%M%S)"
fi

sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

确认 Docker 已注册 NVIDIA 运行时:

sudo docker info --format '{{json .Runtimes}}'

输出中应能看到 nvidia。如果只看到 runc,说明 Toolkit 尚未正确接入 Docker,先不要运行 GPU 容器。

第四步:使用匹配的 CUDA 镜像验证 GPU

GPU 容器依赖两个版本关系:

  1. 主机 NVIDIA 驱动必须能够支持所选 CUDA 用户态运行库;
  2. 业务框架版本必须与镜像中的 CUDA、cuDNN 或其他加速库相匹配。

下面使用 CUDA 12.2 的基础镜像作为示例。这个标签是示例版本,不代表所有服务器都必须使用它。若主机驱动较旧,应按照驱动支持范围选择更低版本的 CUDA 镜像;不要为了运行一个镜像而直接覆盖生产驱动。

sudo docker run --rm --gpus all \
  nvidia/cuda:12.2.2-base-ubuntu22.04 \
  nvidia-smi

预期结果是容器内打印出 GPU 名称、驱动版本和显存信息。容器内的 GPU 名称应与宿主机 nvidia-smi 的结果一致。

还可以只查看 GPU 列表:

sudo docker run --rm --gpus all \
  nvidia/cuda:12.2.2-base-ubuntu22.04 \
  nvidia-smi -L

这里的 --gpus all 适合首次验证。多卡正式运行时,应根据业务需要限制 GPU 范围。例如只分配编号为 0 的 GPU:

sudo docker run --rm --gpus '"device=0"' \
  nvidia/cuda:12.2.2-base-ubuntu22.04 \
  nvidia-smi -L

nvidia-smi 能够执行,主要证明设备注入和驱动库挂载正常;它不等同于业务框架已经能够完成推理或训练。正式验收还要使用业务镜像执行一次实际的模型加载、计算或健康检查。

不要误读 nvidia-smi 的 CUDA 字段

nvidia-smi 输出中的 CUDA Version 通常表示当前驱动能够兼容的 CUDA 上限,不代表主机已经安装了完整 CUDA Toolkit,也不代表容器内业务一定使用了这个版本。最终以容器镜像中的 CUDA 用户态库和应用框架版本为准。

如果出现类似 CUDA 版本不兼容的报错,优先选择与当前驱动匹配的镜像标签。升级主机驱动会影响所有 GPU 容器,应先进行兼容性评估和回滚准备。

第五步:用 Compose 固化 GPU 容器配置

单次 docker run 适合验证,正式部署建议使用 Compose 固化镜像版本、GPU 数量、环境变量、模型目录和重启策略。

创建测试目录:

sudo install -d -m 0755 /opt/gpu-runtime-check
sudo install -d -m 0755 /srv/gpu-app/models
sudo install -d -m 0755 /srv/gpu-app/logs

创建 /opt/gpu-runtime-check/compose.yaml:

services:
  gpu-runtime-check:
    image: nvidia/cuda:12.2.2-runtime-ubuntu22.04
    container_name: gpu-runtime-check
    environment:
      NVIDIA_VISIBLE_DEVICES: all
      NVIDIA_DRIVER_CAPABILITIES: compute,utility
    command:
      - bash
      - -lc
      - nvidia-smi --query-gpu=name,driver_version,memory.total --format=csv,noheader && sleep 3600
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities:
                - gpu
    restart: "no"

先检查 YAML 是否能被 Compose 解析:

cd /opt/gpu-runtime-check
sudo docker compose config

配置无误后启动:

sudo docker compose up -d
sudo docker compose ps
sudo docker compose logs --tail=100 gpu-runtime-check

预期状态为容器处于运行状态,日志中能看到 GPU 名称、驱动版本和显存总量。进一步进入容器检查:

sudo docker compose exec gpu-runtime-check nvidia-smi

如果业务只需要一张 GPU,可以把 count: all 改为 device_ids,例如:

    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              device_ids:
                - "0"
              capabilities:
                - gpu

同一个设备声明中不要同时使用 count 和 device_ids。正式应用中还应把镜像替换为经过验证的业务镜像,并尽量固定明确的版本标签;对有供应链要求的环境,可以在验证镜像后固定其 digest。

加入模型目录和应用端口

GPU 运行时验证通过后,才加入业务模型和端口。一个典型业务服务需要考虑以下设置:

  • 模型目录尽量以只读方式挂载;
  • 模型缓存、临时文件和日志使用独立的可写目录;
  • 只暴露业务真正需要的端口;
  • 管理端口不要直接绑定到公网;
  • 密钥、令牌和数据库密码不要直接写入 Compose 文件;
  • 不要使用 --privileged 代替正常的 GPU 设备声明。

例如,业务 Compose 配置中的相关部分可以写成:

services:
  gpu-app:
    image: registry.example.com/team/gpu-app:1.0.0
    environment:
      NVIDIA_VISIBLE_DEVICES: all
      NVIDIA_DRIVER_CAPABILITIES: compute,utility
    volumes:
      - /srv/gpu-app/models:/models:ro
      - /srv/gpu-app/logs:/var/log/gpu-app
    ports:
      - "127.0.0.1:8080:8080"
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: 1
              capabilities:
                - gpu

上面的镜像地址、端口和目录都是示例。应用实际监听端口、模型路径和启动命令必须以业务镜像的说明为准。若需要让外部客户端访问,应先在服务器防火墙和云安全组中只放行指定业务端口,而不是把所有端口绑定到 0.0.0.0。

每一步的结果检查

完成 GPU 运行时后,应按从主机到应用的顺序验证,避免只看到容器启动就认为部署成功。

每一步的结果检查配图

主机层检查

nvidia-smi
nvidia-smi -L

确认 GPU 数量、名称、驱动版本和显存容量符合服务器规格。

Docker 层检查

sudo systemctl is-active docker
sudo docker version
sudo docker compose version
sudo docker info --format '{{json .Runtimes}}'

确认 Docker 服务为 active,Compose 插件可用,并且运行时列表中包含 NVIDIA。

容器层检查

sudo docker run --rm --gpus all \
  nvidia/cuda:12.2.2-base-ubuntu22.04 \
  nvidia-smi -L

确认容器可以看到预期的 GPU 数量。若生产环境只分配一张卡,应使用固定设备参数再次验证,避免开发阶段使用全部 GPU 而上线后产生资源争抢。

业务层检查

进入业务容器执行应用自带的健康检查、模型加载检查或最小推理请求。例如业务镜像存在 /healthz 接口时,可以使用类似命令:

sudo docker exec gpu-app curl -fsS http://127.0.0.1:8080/healthz

实际接口路径由应用定义,不能把 /healthz 当成所有镜像的通用路径。业务层至少应确认:

  • 应用进程启动并持续运行;
  • 模型文件能够读取;
  • 框架报告 CUDA 可用;
  • 一次最小计算或推理可以完成;
  • GPU 显存出现符合预期的使用变化;
  • 日志没有持续出现驱动、CUDA 或显存分配错误。

主机侧可以在测试期间观察:

watch -n 2 nvidia-smi

如果只是容器启动但显存始终为零,可能只是应用尚未加载模型,也可能是应用实际运行在 CPU 上,需要结合应用日志和框架自检结果判断。

常见失败处理

lspci 看不到 NVIDIA 设备

这属于硬件或虚拟化层问题,常见原因包括:

  • 购买的实例规格不包含 GPU;
  • GPU 直通未启用;
  • 云平台需要单独安装厂商驱动;
  • 裸金属服务器中的 GPU 未正确插入或未被 BIOS 识别。

此时继续安装 Toolkit 没有意义。先让服务器在主机层看到设备,再进行驱动安装。

nvidia-smi 命令不存在或无法连接驱动

如果命令不存在,说明驱动工具没有安装或 PATH 不完整。如果提示无法与 NVIDIA 驱动通信,重点检查内核模块、Secure Boot、内核头文件和驱动安装来源。

可以查看:

lsmod | grep nvidia || true
dkms status
journalctl -k -b | grep -i nvidia | tail -n 50

不要直接执行驱动卸载和全量重装。先确认服务器是否还有其他 GPU 业务,以及当前驱动是由 apt、云厂商镜像还是其他方式安装。生产环境优先通过云平台快照或已验证的系统镜像回滚。

apt update 找不到 NVIDIA Toolkit

先检查仓库文件和签名密钥:

apt-cache policy nvidia-container-toolkit
cat /etc/apt/sources.list.d/nvidia-container-toolkit.list
getent hosts nvidia.github.io

如果是 404、TLS 超时或 DNS 失败,应分别处理仓库地址、出口网络和时间同步。不要为了绕过错误而关闭 GPG 校验或安装不明来源的软件包。

Docker 中没有 nvidia 运行时

检查:

sudo docker info --format '{{json .Runtimes}}'
sudo systemctl status docker --no-pager
sudo journalctl -u docker -n 100 --no-pager

确认 nvidia-container-toolkit 已安装,然后重新执行:

sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

如果 Docker 重启失败,先读取日志,不要反复重启。若本次修改前已经存在 daemon.json,按照备份文件恢复,再启动 Docker。恢复配置时要确认原文件中是否包含其他业务需要的 Docker 参数。

容器启动但提示 CUDA 或驱动不兼容

这通常不是端口或 Compose 问题,而是主机驱动和容器用户态 CUDA 的版本边界不匹配。处理顺序建议如下:

  1. 记录主机 nvidia-smi 的驱动版本;
  2. 确认业务镜像中的 CUDA、cuDNN 和框架版本;
  3. 更换到与当前驱动兼容的镜像标签;
  4. 重新执行最小 nvidia-smi 容器测试;
  5. 再启动完整业务容器。

不要为了适配单个业务镜像而立即升级驱动,尤其是同一台服务器上存在多个 GPU 应用时。

镜像拉取慢或超时

马来西亚服务器的出口线路、DNS 和目标仓库位置会影响首次拉取速度。先判断是普通镜像也失败,还是只有某个大镜像失败:

sudo docker pull hello-world
sudo docker pull nvidia/cuda:12.2.2-base-ubuntu22.04

如果普通镜像正常,而 CUDA 或业务镜像超时,检查镜像仓库访问策略、磁盘写入速度和剩余空间。生产环境可以使用经过审核的区域镜像仓库或内部仓库,并固定镜像版本和 digest,避免同一标签内容变化造成重复验证。

容器能看到 GPU,但业务仍使用 CPU

GPU 可见不代表应用一定使用 GPU。常见原因有:

  • 框架安装的是 CPU 版本;
  • 应用环境变量禁用了 CUDA;
  • 模型加载失败后自动降级到 CPU;
  • 容器只注入了 utility 能力,没有注入 compute;
  • GPU 被其他进程占满,业务初始化失败;
  • 多卡选择参数与业务框架的设备编号不一致。

检查容器环境和应用日志:

sudo docker exec gpu-app env | grep -E 'CUDA|NVIDIA' || true
sudo docker logs --tail=200 gpu-app
nvidia-smi

业务镜像应使用与其框架匹配的 GPU 版本,不能只根据主机安装了 NVIDIA 驱动就断定应用具备 CUDA 计算能力。

验收与回滚检查项

验收清单

  • [ ] 服务器为 GPU 实例或已完成 GPU 直通,lspci 能看到 NVIDIA 设备。
  • [ ] nvidia-smi 能在主机上正常运行,并列出正确的 GPU 和显存。
  • [ ] Docker、containerd 和 Compose 插件安装完成,服务状态为 active。
  • [ ] docker info 的运行时列表中包含 nvidia。
  • [ ] docker run --gpus all ... nvidia-smi 能在容器内执行。
  • [ ] 正式业务镜像使用了与主机驱动兼容的 CUDA 和框架版本。
  • [ ] 模型目录、日志目录和 Docker 数据目录有足够空间。
  • [ ] 业务容器只暴露必要端口,模型目录按需设置为只读。
  • [ ] 业务健康检查、最小推理或计算测试通过。
  • [ ] 通过 nvidia-smi 观察到业务进程和显存使用符合预期。
  • [ ] 已记录镜像标签或 digest、驱动版本、Compose 文件和关键目录位置。

回滚清单

首次验证失败时,优先回滚测试容器和本次新增配置,不要直接删除驱动或清空 Docker 数据目录。

cd /opt/gpu-runtime-check
sudo docker compose down

这里不要追加 -v,避免误删命名卷中的业务数据。确认不再需要测试镜像后,才考虑清理镜像:

sudo docker image rm nvidia/cuda:12.2.2-runtime-ubuntu22.04 2>/dev/null || true
sudo docker image rm nvidia/cuda:12.2.2-base-ubuntu22.04 2>/dev/null || true

Docker 配置回滚应按安装前的备份状态恢复,并在恢复后检查:

sudo systemctl restart docker
sudo systemctl is-active docker
sudo docker info --format '{{json .Runtimes}}'

如果服务器上还有其他 GPU 容器,不要直接卸载 NVIDIA Container Toolkit。驱动回滚也不建议通过盲目执行 apt purge 完成,应使用云平台快照、系统镜像或已验证的驱动版本恢复。完成回滚后,重新执行普通 Docker 容器检查和主机 nvidia-smi,确认原有业务没有受到影响。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/9269.html

相关推荐