KVM中的GPU直通依赖哪些硬件与系统条件,如何验证设备已分配?

发布人:A5数据发布时间:2026-10-26 17:11阅读量:104

很多人看到虚拟机里出现了显卡名称,就认为 GPU 已经完成直通。实际上,虚拟机可能只看到了 QEMU 模拟的 VGA 设备,或者虽然识别到了物理 GPU,但图形程序仍在使用软件渲染。真正的 KVM GPU 直通,需要主机硬件支持 IOMMU,Linux 主机启用 VFIO 隔离设备,再由 QEMU/libvirt 将 PCI 设备映射给虚拟机,最后还要在虚拟机内部确认驱动和图形任务确实使用了该设备。

判断设备是否“已分配”不能只看虚拟机管理器中的配置项。较完整的验证链路应当同时满足:主机的 IOMMU 已启用、GPU 所在 IOMMU 分组可独立隔离、主机使用 vfio-pci 而不是宿主机显卡驱动、虚拟机 XML 存在对应的 PCI 设备、客户机能看到相同的 PCI 设备,并且图形 API 或计算任务返回的渲染器确实是这块 GPU。

概念边界:GPU 直通不等于虚拟机看到了显卡

三类常见 GPU 使用方式

KVM 环境中的“显卡可见”可能对应不同机制,不能把它们混为一谈。

方式设备实际归属虚拟机看到的设备典型用途是否属于完整 GPU 直通
模拟 VGA 或 QXL由 QEMU 模拟虚拟显卡安装系统、基础桌面、远程控制台否
VirtIO-GPU 等半虚拟化设备主机提供虚拟图形接口VirtIO 或其他虚拟设备普通桌面、轻量图形否
PCI GPU 直通物理 GPU 交给单个虚拟机物理 GPU 的 PCI 设备及厂商信息CUDA、OpenCL、3D、视频处理、专业图形是
vGPU、SR-IOV、MIG 等切分方式物理 GPU 被划分为多个逻辑实例虚拟功能或逻辑实例多虚拟机共享 GPU不完全等同于整卡直通

完整直通的核心特征是:客户机驱动直接控制被分配的物理 GPU,GPU 的显存、PCI BAR、命令队列和中断等资源不再由主机的普通图形驱动代为处理。虚拟机仍然由 KVM 管理 CPU 和内存,但 GPU 的主要工作路径绕过了软件模拟层。

“分配成功”和“正在使用”是两个判断

例如,虚拟机的 lspci 能列出一块 NVIDIA 或 AMD 显卡,只能说明 PCI 设备已经暴露给客户机;如果客户机驱动没有加载,或者桌面仍使用 VirtIO 显卡,GPU 可能处于可见但未使用的状态。

因此应区分三个层级:

概念边界:GPU直通不等于虚拟机看到了显卡配图

  1. 主机隔离成功:主机不再用自身的图形驱动占用该 GPU,设备绑定到 vfio-pci。
  2. 虚拟机分配成功:QEMU/libvirt 的配置中存在该 GPU 的 PCI 地址,客户机能够枚举到它。
  3. 业务使用成功:客户机驱动正常工作,glxinfo、vulkaninfo、nvidia-smi 或实际计算程序返回的是直通 GPU,而不是 llvmpipe、VirtIO 或其他虚拟渲染器。

只有第三层才能证明“应用已经用上了 GPU”。

工作机制:KVM、IOMMU、VFIO 和 QEMU如何配合

IOMMU负责限制设备的 DMA 范围

GPU 不只通过 CPU 访问内存,还会直接发起 DMA 操作。如果没有 IOMMU,设备可能访问主机中不属于该虚拟机的内存区域,设备直通会带来严重的隔离风险。

IOMMU 位于 PCIe 设备和物理内存之间,负责把设备发出的 DMA 地址转换到允许的物理内存范围。虚拟机运行时,QEMU 为 GPU 建立属于该虚拟机的 IOMMU 映射,GPU 只能访问被授权的内存区域。

常见平台名称如下:

平台CPU 虚拟化扩展IOMMU 名称Linux 启动参数示例
IntelVT-xVT-dintel_iommu=on
AMDAMD-VAMD-Viamd_iommu=on

VT-x 或 AMD-V 主要解决 CPU 虚拟化问题,不能单独证明 PCI 设备可以安全直通。GPU 直通同时需要 CPU 虚拟化、IOMMU、主板固件以及内核驱动链路配合。

VFIO负责把设备从主机驱动中隔离出来

Linux 中,VFIO 是向用户空间安全暴露硬件设备的框架,QEMU 通常通过 vfio-pci 访问被分配的 PCI 设备。

工作顺序可以简化为:

  1. 主机内核发现 GPU 及其相关 PCI 功能。
  2. IOMMU 将设备放入一个或多个隔离分组。
  3. vfio-pci 接管该设备,主机的 NVIDIA、AMD 或 Nouveau 等图形驱动不再占用它。
  4. QEMU 通过 VFIO 获取设备访问权限。
  5. KVM 为虚拟机提供 CPU 虚拟化,QEMU 将 GPU 的 PCI 配置空间和设备资源呈现给客户机。
  6. 客户机加载厂商驱动,直接向该 PCI 设备提交图形或计算任务。

这里的“接管”不是把 GPU 复制一份,而是改变设备控制权。一个完整的物理 GPU 通常不能在同一时间既由主机普通图形驱动控制,又由虚拟机独占控制。

GPU通常包含多个PCI功能

一块显卡可能不只有一个 PCI 功能。常见情况包括:

工作机制:KVM、IOMMU、VFIO 和 QEMU如何配合配图

  • 0000:65:00.0:VGA、3D 或显示控制器;
  • 0000:65:00.1:HDMI/DisplayPort 音频;
  • 其他功能:USB-C 控制器、USB 控制器或特殊管理功能。

实际设备以主机的 lspci 和 IOMMU 分组结果为准。只分配 .0 可能导致客户机没有显卡音频,某些 GPU 还可能因为关联功能未处理而无法正常初始化。也不能简单地把同一分组中的所有设备都交给虚拟机,必须先确认其中是否有主机存储控制器、网卡或其他关键设备。

影响直通结果的硬件与系统条件

CPU和主板必须同时支持虚拟化与IOMMU

硬件层面至少要核对以下项目:

条件需要确认的内容不满足时的表现
CPU 虚拟化Intel VT-x 或 AMD-V 已启用KVM 无法正常创建或运行虚拟机
IOMMUIntel VT-d 或 AMD-Vi 已启用GPU 无法安全建立 DMA 隔离
主板固件启用 IOMMU、虚拟化相关选项内核参数存在但系统没有有效 IOMMU
PCIe 插槽GPU 插槽与主板拓扑稳定,带宽满足业务设备降速、枚举异常或启动不稳定
Above 4G Decoding多数新 GPU 直通环境建议启用BAR 资源不足、设备初始化失败
GPU 重置能力设备能够在虚拟机停止后正确复位首次启动正常,第二次启动失败
电源与散热GPU 在持续负载下供电、散热充足驱动重置、掉卡或虚拟机异常

Above 4G Decoding 常用于为大尺寸 PCI BAR 分配地址,尤其是新款 GPU 或多设备环境。它不是所有平台上都绝对必需,但出现 BAR 分配失败、Code 12 或设备初始化异常时,应优先核对。

GPU 的复位能力则经常被忽略。某些消费级显卡在虚拟机关闭后无法彻底回到初始状态,导致下一次启动失败。这通常不是 IOMMU 没有启用,而是设备自身或主板固件的 FLR、总线复位支持不完整。更新固件有时能够改善,但不能把它视为通用保证。

IOMMU分组决定设备能否安全独立分配

IOMMU 不是按“用户想分配的设备”自动隔离,而是按照硬件拓扑形成 IOMMU group。若 GPU 与其他设备位于同一分组中,系统无法证明只隔离其中一个设备就足够安全。

可以把它理解为一个带门的房间:如果 GPU 和某个网卡共用同一扇门,系统不能只把 GPU 锁在房间里,而把网卡留给主机。只有硬件和 ACS 能够提供更细的隔离,设备才可能被单独分配。

常见处理顺序是:

  1. 更换 PCIe 插槽,观察分组是否改变;
  2. 检查主板 BIOS 中的 ACS、IOMMU 或相关 PCIe 选项;
  3. 选择拓扑更适合直通的主板或服务器平台;
  4. 谨慎评估 ACS override。

ACS override 可能让系统显示出更细的逻辑分组,但它并不会凭空增加硬件隔离能力。对于承载敏感数据或多租户虚拟机的环境,不应仅依赖这种方式判断隔离已经成立。

主机图形输出会影响绑定策略

如果主机只有一块 GPU,且本地控制台依赖它,绑定到 vfio-pci 后主机可能失去本地图形输出。主机本身仍可能运行,但显示器黑屏,远程管理也可能受到启动阶段配置影响。

在修改内核参数、显卡绑定规则或 initramfs 前,应当:

  • 保留远程 SSH 或带外管理通道;
  • 备份引导配置和相关绑定文件;
  • 确认主机有第二块显卡、串口控制台或远程管理方式;
  • 记录原来的驱动绑定状态;
  • 提前准备回滚方案。

回滚通常是移除 IOMMU 或 VFIO 绑定参数、恢复原显卡驱动配置并重建 initramfs,然后重启主机。绑定主 GPU 的操作不适合在没有远程控制台的生产服务器上直接尝试。

系统软件要形成完整链路

主机通常需要具备以下软件条件:

  • Linux 内核启用 KVM、IOMMU 和 VFIO;
  • kvm_intel 或 kvm_amd 模块正常加载;
  • vfio、vfio_pci、vfio_iommu_type1 等模块可用;
  • QEMU 支持 PCI host device;
  • libvirt 配置使用正确的 PCI 地址;
  • 客户机安装与 GPU 型号匹配的驱动;
  • 客户机中的图形程序或计算程序选择了直通 GPU。

内核启动参数可以通过以下命令查看:

cat /proc/cmdline

Intel 平台的示例结果可能包含:

BOOT_IMAGE=/vmlinuz ... intel_iommu=on iommu=pt

AMD 平台可能包含:

BOOT_IMAGE=/vmlinuz ... amd_iommu=on iommu=pt

iommu=pt 常用于让未直通设备采用直通映射模式,但它不能替代 intel_iommu=on 或 amd_iommu=on。不同发行版的引导配置文件和重建命令可能不同,不能只复制另一套系统的修改命令。修改前应备份 /etc/default/grub、引导项和 initramfs 配置,并确认重启后的远程恢复路径。

验证方法:从主机到客户机逐层确认

第一步:确认主机识别到了正确的GPU

先列出显示控制器和相关音频功能:

lspci -nn | grep -Ei 'vga|3d|display|audio'

示例结果:

65:00.0 VGA compatible controller [0300]: Example GPU [1234:5678]
65:00.1 Audio device [0403]: Example HDMI Audio [1234:5679]

方括号中的厂商 ID 和设备 ID 是后续确认设备身份的重要依据。再查看当前驱动:

lspci -nnk -s 0000:65:00.0
lspci -nnk -s 0000:65:00.1

直通前或虚拟机运行期间,理想的关键字段类似:

Kernel driver in use: vfio-pci

如果显示:

Kernel driver in use: nvidia

或:

Kernel driver in use: amdgpu

说明该功能仍由主机厂商驱动使用,不能直接据此认定它已经被虚拟机接管。某些发行版可能只显示 Kernel modules 而没有 Kernel driver in use,这时应结合 VFIO 设备节点和虚拟机运行状态继续确认。

检查 KVM、VFIO 模块:

lsmod | grep -E '^(kvm|kvm_intel|kvm_amd|vfio|vfio_pci|vfio_iommu_type1)'

检查 IOMMU 内核日志:

sudo dmesg | grep -Ei 'DMAR|IOMMU|AMD-Vi|interrupt remapping|vfio'

Intel 平台常见有效迹象包括 DMAR: IOMMU enabled;AMD 平台可能出现 AMD-Vi: Enabled 或类似的 IOMMU 初始化信息。不同内核版本的日志文字会变化,不能只用一条固定字符串判断。

第二步:确认GPU所在的IOMMU分组

可以用下面的命令查看 GPU 所在分组及同组设备:

GPU_BDF=0000:65:00.0
GROUP=$(basename "$(readlink /sys/bus/pci/devices/$GPU_BDF/iommu_group)")
echo "IOMMU group: $GROUP"

for dev in /sys/kernel/iommu_groups/"$GROUP"/devices/*; do
    lspci -nn -s "${dev##*/}"
done

示例输出:

IOMMU group: 18
65:00.0 VGA compatible controller [0300]: Example GPU [1234:5678]
65:00.1 Audio device [0403]: Example HDMI Audio [1234:5679]

这种结果通常比较容易处理,因为图形功能和音频功能处于同一组,可以一起规划。

如果输出还包括如下设备:

65:00.0 VGA compatible controller [0300]: Example GPU [1234:5678]
65:00.1 Audio device [0403]: Example HDMI Audio [1234:5679]
65:00.2 USB controller [0c03]: Example USB Controller [1234:5680]
65:00.3 Serial bus controller [0c80]: Example Controller [1234:5681]

需要根据用途决定是否全部分配。若同组中出现主机根文件系统使用的 NVMe 控制器、主网卡或其他关键设备,就不应贸然绑定整个分组。

第三步:确认libvirt或QEMU确实配置了PCI设备

使用 libvirt 管理虚拟机时,可以查看虚拟机 XML:

virsh dumpxml vm-gpu | grep -E -A12 -B2 '<hostdev|<source|<address type=.pci'

完整配置中的关键部分通常类似:

<hostdev mode='subsystem' type='pci' managed='yes'>
  <driver name='vfio'/>
  <source>
    <address domain='0x0000' bus='0x65' slot='0x00' function='0x0'/>
  </source>
</hostdev>

<hostdev mode='subsystem' type='pci' managed='yes'>
  <driver name='vfio'/>
  <source>
    <address domain='0x0000' bus='0x65' slot='0x00' function='0x1'/>
  </source>
</hostdev>

其中:

  • bus='0x65' slot='0x00' function='0x0' 对应主机的 0000:65:00.0;
  • function='0x1' 对应同一 GPU 的音频功能;
  • managed='yes' 表示由 libvirt 在虚拟机启动和关闭时负责设备解绑、绑定和恢复。

配置地址必须和主机当前 PCI 地址一致。更换插槽、BIOS 重新枚举或设备拓扑变化后,地址可能改变。不要只按设备名称匹配,例如“Example GPU”,应核对域、总线、插槽、功能号以及设备 ID。

也可以检查 libvirt 能否读取该 PCI 设备:

virsh nodedev-list | grep -E 'pci_0000_65_00_0|pci_0000_65_00_1'

虚拟机启动后,再次在主机执行:

lspci -nnk -s 0000:65:00.0

如果 libvirt 使用 managed='yes',设备在虚拟机运行期间通常应由 vfio-pci 接管;虚拟机关机后,libvirt 可能把它重新绑定到原来的主机驱动。也就是说,检查时必须记录虚拟机处于运行还是关闭状态。

第四步:在Linux客户机确认设备和驱动

进入虚拟机后,先查看 PCI 设备:

lspci -nnk | grep -A3 -Ei 'VGA compatible controller|3D controller|Display controller|Audio device'

示例结果:

00:05.0 3D controller [0302]: Example GPU [1234:5678]
        Subsystem: Example Board [1234:1111]
        Kernel driver in use: example_gpu
        Kernel modules: example_gpu

00:06.0 Audio device [0403]: Example HDMI Audio [1234:5679]
        Kernel driver in use: snd_hda_intel

这里应重点核对三项:

  1. 厂商和设备 ID 与主机侧的直通设备一致;
  2. 客户机加载了匹配的厂商驱动;
  3. 设备不是只有名称而没有 Kernel driver in use。

如果是 NVIDIA 驱动环境,可以执行:

nvidia-smi --query-gpu=name,driver_version,pci.bus_id --format=csv

如果驱动正常,通常能够返回 GPU 名称、驱动版本和 PCI 总线地址。对于其他 GPU 或通用图形环境,可以查看 OpenGL 和 Vulkan 的实际渲染器:

glxinfo -B
vulkaninfo --summary

这些工具可能并未预装。重点不是命令本身是否存在,而是结果中的渲染器字段。若出现:

OpenGL renderer string: llvmpipe

通常表示当前 OpenGL 程序在使用 CPU 软件渲染。若结果显示 VirtIO GPU,而不是被直通的物理 GPU,也说明该程序没有走直通设备。

还可以查看 DRM 设备:

ls -l /dev/dri/by-path/

对于同时存在 VirtIO 显卡和直通 GPU 的虚拟机,桌面环境可能默认选错设备。此时即使 lspci 已经确认 GPU 存在,仍需指定渲染器或让实际业务程序选择正确的设备。

第五步:Windows客户机需要检查驱动和实际渲染器

Windows 客户机可以通过设备管理器确认“显示适配器”下出现了直通 GPU,并检查设备状态是否正常。PowerShell 中也可以执行:

Get-PnpDevice -Class Display | Format-Table -AutoSize

再通过“运行”窗口执行:

dxdiag

在“显示”或“渲染”相关页面核对显卡名称、驱动状态和 Direct3D 功能。设备管理器中存在显卡名称并不代表所有功能都可用;如果出现驱动错误、代码 12、代码 43 或 Direct3D 功能不可用,还需要区分是 PCI 设备已经分配但客户机驱动初始化失败,还是设备根本没有分配成功。

一组结果如何得出结论

可以按下面的对应关系判断:

验证方法:从主机到客户机逐层确认配图

检查位置关键证据可得出的结论
主机内核IOMMU 初始化日志正常DMA 隔离基础已建立
主机 PCIGPU 和相关功能使用 vfio-pci设备没有被主机普通显卡驱动占用
IOMMU 分组GPU 所在分组可独立处理设备具备独立分配条件
虚拟机 XMLhostdev 地址与主机 BDF 一致QEMU/libvirt 已配置该设备
Linux 客户机lspci 看到相同 ID,驱动已加载GPU 已呈现并可由客户机控制
图形或计算程序返回物理 GPU,而非 llvmpipe 或 VirtIO业务负载正在使用直通 GPU

例如,主机显示 vfio-pci,XML 中有 0000:65:00.0,客户机也能看到对应设备,但 glxinfo -B 返回 llvmpipe,结论应是“设备已分配,图形加速尚未生效”,而不是“GPU 直通完全成功”。

面向需要独占GPU资源的虚拟化计算场景,A5数据提供香港、美国等地区的物理GPU服务器,配置覆盖A100 80GB、RTX 4090等显卡,并搭配服务器级CPU、内存与NVMe存储,可为AI推理、模型测试、图像处理及图形加速任务提供硬件基础。结合不同地区的网络线路与带宽方案,A5数据也支持围绕业务访问范围和工作负载进行部署。

适用限制与判断边界

单GPU主机的维护风险更高

把主机唯一的 GPU 直通给虚拟机后,主机可能没有本地显示输出。若引导阶段或虚拟机启动配置出错,远程网络也可能尚未建立,维护难度会明显增加。生产环境更适合使用带外管理、第二块管理显卡或独立的主机控制台。

直通通常会限制迁移和硬件抽象

完整 PCI 直通依赖具体 GPU、PCI 地址、IOMMU 拓扑和客户机驱动。虚拟机迁移到另一台主机时,对端必须具有兼容的 GPU、相近的设备能力和匹配的驱动环境。许多依赖物理 PCI 设备的迁移、挂起、快照和恢复能力也会受到限制,不能按普通虚拟磁盘或虚拟网卡的方式理解。

设备复位问题可能在第二次启动才出现

某些 GPU 第一次启动可以正常工作,但虚拟机关闭后再次启动失败。这通常与 GPU 的 FLR、总线复位、显卡固件或主板实现有关。验证时应至少执行一次“启动虚拟机—运行图形或计算任务—正常关机—再次启动”的循环,不能只根据首次启动结果下结论。

适用限制与判断边界配图

GPU直通不会自动解决客户机驱动和应用选卡问题

客户机仍然需要正确安装厂商驱动,应用也可能在多显卡环境中选择错误的渲染器。桌面、远程桌面、容器、OpenGL、Vulkan、CUDA 或其他计算框架的选卡规则并不完全相同。lspci 证明的是设备存在,nvidia-smi 或图形 API 结果才更接近“业务正在使用”。

直通、vGPU和共享GPU的能力边界不同

整卡直通通常将一块物理 GPU 分配给一个虚拟机,不能同时让多个普通虚拟机独占同一块卡。如果业务需要多台虚拟机共享 GPU,应评估厂商提供的 vGPU、SR-IOV、MIG 或其他切分技术,并分别核对硬件型号、驱动、许可、调度和客户机支持情况。不能用整卡直通的验证方法直接替代这些模式的验收方法。

最终,最可靠的判断不是“虚拟机配置中有一行 GPU”,而是完成一条闭环证据链:主机 IOMMU 已启用,GPU 分组可隔离,主机侧由 vfio-pci 接管,libvirt 的 PCI 地址匹配,客户机加载了对应驱动,实际图形或计算程序返回了这块物理 GPU。只满足前几项时,应称为“设备已配置或已呈现”;只有业务层也确认使用,才可以判断 GPU 直通已经在目标工作负载中生效。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/5902.html

相关推荐