KVM GPU直通后来宾无法使用显卡,如何对照宿主绑定与来宾驱动状态定位问题?

发布人:A5数据发布时间:2026-11-17 11:00阅读量:1

来宾无法使用直通显卡时,先不要把“黑屏”“设备管理器报错”“应用找不到 GPU”视为同一种故障。最有效的定位方法,是同时对照宿主机在虚拟机运行期间的 PCI 绑定状态、虚拟机 XML 中的设备分配情况,以及来宾系统是否枚举到显卡并成功加载驱动。

判断链可以压缩为三步:宿主是否把目标显卡交给 vfio-pci,虚拟机是否确实拿到了目标显卡的全部必要功能,来宾驱动是否已经绑定并完成初始化。宿主绑定异常,重点查 IOMMU、驱动抢占和设备分组;来宾能看到设备但驱动不起,重点查来宾驱动、固件、BAR 资源和复位状态;驱动正常而应用或显示异常,则应转向显示输出、运行时权限和 PCIe 性能指标,而不是继续反复修改宿主绑定。

先确定故障发生在哪一层

GPU 直通故障通常可以分成“设备不可见”“设备可见但驱动未初始化”“驱动可用但业务无法使用”三层。不同层级对应的证据不同,不能用一个现象覆盖全部原因。

观察结果更可能的层级优先检查内容
宿主仍显示 nvidia、nouveau、amdgpu 或 i915 正在使用目标 GPU宿主绑定层IOMMU 是否启用、GPU 是否被宿主图形栈占用、是否完成早期绑定
宿主运行时为 vfio-pci,但来宾 lspci 看不到显卡设备分配层虚拟机 XML、IOMMU 分组、Q35/UEFI、虚拟机启动日志
来宾能看到显卡,但没有 Kernel driver in use来宾驱动层驱动包、内核模块、设备 ID、驱动冲突
来宾驱动已绑定,但 nvidia-smi、图形 API 或计算程序失败驱动初始化或运行时层驱动日志、BAR 资源、复位、固件、权限和应用环境
显卡工具正常,但显示器无画面或桌面程序不使用直通 GPU显示路径或应用层主显示适配器、显示器连接、虚拟显示设备、应用选择的渲染器

还要区分虚拟机的不同生命周期。使用 libvirt 的 managed='yes' 时,虚拟机启动前,libvirt 可能先把设备从宿主驱动解绑;虚拟机关闭后,又可能把设备交还给宿主驱动。因此,宿主机在虚拟机关闭时看到原生驱动,并不一定代表直通失败。应分别记录“虚拟机关闭”“启动失败后”“虚拟机正常运行”三个时刻的状态。

先确定故障发生在哪一层配图

建立可复用的正常基线

记录 GPU 的 PCI 地址和全部功能

宿主机上的显卡通常不只有一个 PCI 功能,例如:

  • 0000:65:00.0:VGA、3D 或显示控制器;
  • 0000:65:00.1:HDMI/DisplayPort 音频;
  • 某些型号还可能存在 USB 控制器、USB Type-C 或其他附属功能。

不要只记录显卡名称。多个同型号 GPU 的名称可能完全相同,而 BDF 地址和 PCI ID 才能帮助确认虚拟机拿到的是哪一块卡。

以下命令只读取宿主状态,示例中的地址需要替换为实际 BDF:

GPU_BDF=0000:65:00.0

lspci -Dnn -s "$GPU_BDF"
lspci -Dnnk -s "$GPU_BDF"
readlink -f "/sys/bus/pci/devices/$GPU_BDF/driver" 2>/dev/null || echo "no host driver"

重点看两行:

Kernel driver in use: vfio-pci
Kernel modules: nouveau, nvidia_drm, nvidia

Kernel driver in use 表示当前真正绑定的驱动;Kernel modules 只表示内核发现了哪些可用模块,不能据此认定这些模块正在使用。比如输出中同时出现 Kernel driver in use: vfio-pci 和 Kernel modules: nouveau,并不表示 nouveau 已经抢占显卡。

如果显卡带有音频功能,还应分别检查 .1 等其他功能:

lspci -Dnnk -s 0000:65:00.0
lspci -Dnnk -s 0000:65:00.1

图形功能已经绑定到 vfio-pci,但音频功能仍被 snd_hda_intel 使用时,可能出现音频缺失、设备分组无法独立隔离,或者某些来宾驱动初始化不完整。是否必须传递全部功能,要以该显卡的 PCI 结构、IOMMU 分组和实际使用目标为准,不能只凭设备名称判断。

确认 IOMMU 和设备分组

GPU 直通依赖 IOMMU 对 DMA 访问进行隔离。先查看内核启动参数和相关日志:

cat /proc/cmdline

sudo dmesg -T | grep -Ei 'DMAR|AMD-Vi|IOMMU|VFIO'

Intel 平台常见日志中会出现 DMAR,AMD 平台常见 AMD-Vi。不同发行版和内核版本的日志文字可能不同,不能只因为没有出现某一条固定字符串就断定 IOMMU 没有启用。

再查看目标设备所在的 IOMMU group:

GPU_BDF=0000:65:00.0

readlink -f "/sys/bus/pci/devices/$GPU_BDF/iommu_group" 2>/dev/null
ls -l "/sys/bus/pci/devices/$GPU_BDF/iommu_group/devices" 2>/dev/null

如果同一分组中包含目标 GPU 的其他功能,通常需要结合分配计划一起处理。如果分组还包含主板上的其他设备,而这些设备无法安全地交给同一个虚拟机,直通可能无法获得可靠隔离。此时应优先检查主板 PCIe 插槽、BIOS 中的 IOMMU 设置和硬件拓扑,不要为了绕过分组限制就直接启用未经评估的 ACS 覆盖方案。

对照虚拟机的实际 XML

先分别保存运行时 XML 和持久化 XML:

VM=your-vm-name

virsh domstate "$VM"
virsh dumpxml "$VM" > "/tmp/${VM}-runtime.xml"
virsh dumpxml --inactive "$VM" > "/tmp/${VM}-inactive.xml"

筛出 PCI 直通设备:

virsh dumpxml "$VM" | sed -n '/<hostdev/,/<\/hostdev>/p'

典型配置片段类似下面这样:

建立可复用的正常基线|对照虚拟机的实际 XML配图

<devices>
  <hostdev mode='subsystem' type='pci' managed='yes'>
    <source>
      <address domain='0x0000' bus='0x65' slot='0x00' function='0x0'/>
    </source>
  </hostdev>

  <hostdev mode='subsystem' type='pci' managed='yes'>
    <source>
      <address domain='0x0000' bus='0x65' slot='0x00' function='0x1'/>
    </source>
  </hostdev>
</devices>

这里的 domain、bus、slot 和 function 必须与宿主实际 PCI 地址相符。不要把示例地址直接套用到其他主机。

需要特别留意以下差异:

  • 只配置了 .0,却遗漏了需要一起使用的 .1 音频功能;
  • 虚拟机使用的是旧的持久化 XML,但当前运行时 XML 已被临时修改;
  • managed='yes' 与 managed='no' 的行为不同;
  • GPU 直通设备已经添加,但虚拟机仍将另一块虚拟显示设备设为主显示适配器;
  • 虚拟机机器类型、UEFI/BIOS 启动方式或 PCIe 拓扑在近期被修改。

managed='yes' 通常由 libvirt 在虚拟机启动和停止时负责解绑、重新绑定;managed='no' 则要求管理员提前把设备准备好。两种方式都可以使用,但检查宿主绑定时必须知道当前采用哪一种。

按问题树排除候选原因

可以把故障抽象成下面的判断树:

按问题树排除候选原因配图

来宾无法使用 GPU
├─ 来宾是否枚举到目标 PCI 设备?
│  ├─ 否:检查宿主绑定、IOMMU 分组、XML、固件与 PCI 资源
│  └─ 是
├─ 来宾是否有正确驱动绑定?
│  ├─ 否:检查来宾驱动包、内核模块和设备 ID
│  └─ 是
├─ 驱动是否完成初始化?
│  ├─ 否:检查 BAR、复位、固件、AER 和驱动兼容性
│  └─ 是
└─ 应用或显示是否实际使用该 GPU?
   ├─ 否:检查显示路径、主适配器、权限和应用运行时
   └─ 是:直通链路基本成立,转向性能或业务自身问题

分支一:宿主没有把 GPU 交给 vfio-pci

在虚拟机运行期间执行:

lspci -Dnnk -s 0000:65:00.0
lspci -Dnnk -s 0000:65:00.1

如果看到以下任意情况,就不能把问题归因于来宾驱动:

Kernel driver in use: nouveau

或:

Kernel driver in use: amdgpu

又或者:

Kernel driver in use: nvidia

这说明宿主仍然持有设备。常见原因包括:

  • GPU 是宿主机唯一的显示卡,启动阶段已经被图形界面或控制台占用;
  • vfio-pci 只绑定了 VGA 功能,没有覆盖其他必要功能;
  • 内核启动参数或 modprobe 配置没有在本次启动中生效;
  • 修改了配置文件,但没有按当前发行版重建 initramfs;
  • 内核升级后,早期模块加载顺序发生变化;
  • 多块 GPU 使用相同 PCI ID,基于 ID 的绑定规则匹配到了非预期设备;
  • libvirt 尝试解绑失败,导致虚拟机启动时设备仍被宿主驱动占用。

查看绑定来源时,可以先做只读检查:

cat /proc/cmdline
grep -R "vfio\|ids=" /etc/modprobe.d /etc/default/grub /etc/kernel/cmdline 2>/dev/null

如果目标 GPU 还承担宿主显示输出,不应在生产环境直接执行手工解绑或删除驱动。错误操作可能导致宿主黑屏、远程管理中断,甚至影响其他 PCI 设备。应先确认宿主有独立显卡、串口、带外管理或其他恢复路径,再安排维护窗口修改早期绑定配置,并按照所用发行版的方式重建 initramfs 和重启验证。

分支二:宿主绑定正确,但虚拟机没有枚举显卡

如果虚拟机运行期间宿主对应的每个目标功能都显示 vfio-pci,而来宾完全看不到显卡,则重点从宿主驱动转向虚拟机设备分配。

先确认虚拟机 XML 是否包含实际 BDF,并查看启动日志:

virsh dumpxml "$VM" | sed -n '/<hostdev/,/<\/hostdev>/p'

sudo journalctl -b | grep -Ei "$VM|vfio|qemu|kvm|IOMMU|BAR|PCI"

不同发行版的 libvirt 服务拆分方式可能不同,必要时还可以查看:

sudo journalctl -u virtqemud -u libvirtd --since "30 min ago"

以下日志方向具有较强的区分度:

  • device is in use:通常是宿主驱动仍占用设备,或其他进程持有设备文件;
  • group ... is not viable:通常与 IOMMU group 中仍有未处理设备有关;
  • BAR ... can't reserve、failed to setup container:更接近 PCI 资源、固件或地址空间问题;
  • 虚拟机启动后立即退出:优先检查 XML、QEMU 参数和设备分配,而不是先重装来宾驱动;
  • 宿主绑定正常、虚拟机启动正常、来宾仍无设备:需要检查机器类型、UEFI/BIOS、PCIe 拓扑及来宾是否扫描到对应总线。

部分较新的 GPU 需要较大的 PCI BAR 地址空间,或者更适合在 UEFI、Q35 和 PCIe 拓扑下运行。但这些选项不是所有显卡和所有虚拟机都必须统一使用,应以启动日志和设备枚举结果为依据逐项调整。

分支三:来宾能看到显卡,但驱动没有绑定

Linux 来宾中,可以执行:

lspci -nnk | grep -A3 -Ei 'VGA compatible controller|3D controller|Display controller|Audio device'

如果看到设备,但没有:

Kernel driver in use: nvidia

或:

Kernel driver in use: amdgpu

说明 PCI 设备已经传到来宾,问题已经越过宿主绑定阶段,应该检查来宾内部:

sudo dmesg -T | grep -Ei 'nvidia|nouveau|amdgpu|i915|firmware|bar|aer|reset'
lsmod | grep -Ei 'nvidia|nouveau|amdgpu|i915'

常见情况包括:

  • 驱动包没有安装,或者安装的版本不包含当前内核模块;
  • 旧驱动残留,与新驱动同时注册同一个设备;
  • 来宾内核升级后,DKMS 模块没有重新构建;
  • 设备 ID 不在驱动支持范围内;
  • 驱动模块加载了,但因为固件缺失、BAR 映射失败或设备初始化超时而退出;
  • 来宾中同时存在虚拟显示设备和直通 GPU,应用实际选择了另一块适配器。

NVIDIA 来宾可以在驱动加载后使用:

nvidia-smi

AMD 来宾则应根据实际用途使用对应的图形或计算工具;并非所有 AMD GPU 都安装了相同的用户态工具。Intel、AMD 和 NVIDIA 的内核模块名称、用户态库和错误日志不同,不能看到一个厂商的命令失败,就套用到其他厂商的判断上。

Windows 来宾中,设备管理器可以确认显卡是否出现、驱动是否安装以及错误代码。若显示为 Microsoft 基本显示适配器,通常说明厂商驱动尚未正确接管;若出现 Code 28、Code 31、Code 43 等,也只能作为线索,不能单独证明根因。还应结合 dxdiag、事件查看器和厂商工具判断驱动是在加载前失败,还是加载后初始化失败。

分支四:驱动已经绑定,但初始化仍然失败

这是最容易被误判为“驱动安装错误”的阶段。来宾中可能已经显示:

Kernel driver in use: nvidia

但 nvidia-smi 仍然报错,或者日志中出现 BAR、AER、reset、firmware 等信息。

此时重点检查四类差异:

  1. 资源映射差异

来宾可能枚举到 PCI 设备,但无法分配完整的 BAR 空间。宿主和来宾的启动模式、机器类型、PCIe 拓扑、Above 4G Decoding 设置都可能影响结果。

  1. GPU 复位差异

如果虚拟机第一次启动正常,关闭后再次启动失败,而宿主重启后又恢复,问题更像是设备没有完成干净复位。可对比“宿主冷启动后第一次启动”和“同一宿主连续重启虚拟机”的结果,并检查宿主内核日志中的 reset、AER 和 VFIO 信息。

  1. 驱动与来宾内核差异

宿主绑定正确并不能保证来宾驱动版本合适。来宾内核更新、驱动分支变化或用户态库残留,都可能导致驱动模块存在但用户态工具无法连接。

  1. 固件与电源状态差异

GPU 从宿主休眠、热重启或异常退出中恢复时,设备状态可能与冷启动不同。若故障只在某一种重启路径发生,应记录电源状态、虚拟机退出方式和宿主日志,而不是只重复安装驱动。

通过时间线识别真正的偏差

故障首次出现的时间,通常比单个错误码更有价值。可以把最近一次正常运行作为基线,逐项对照以下变化:

故障出现时机优先怀疑的偏差验证方向
宿主内核或 BIOS 更新后IOMMU、早期绑定、PCIe 资源或启动模式变化对照 /proc/cmdline、内核版本、BIOS 选项和启动日志
修改虚拟机 XML 后BDF、功能数量、机器类型或 managed 行为变化比较 dumpxml 的运行时与持久化配置
来宾系统或 GPU 驱动更新后来宾驱动不兼容、模块未构建或用户态库冲突查看来宾 dmesg、设备管理器和驱动版本
虚拟机第一次启动正常,第二次启动失败GPU 复位、AER 或宿主设备状态未恢复对比冷启动、宿主重启和虚拟机重启日志
计算程序可用,但显示器无画面显示输出路径或主显示适配器配置检查显示器连接、主适配器和应用渲染器
显卡可用,但性能明显下降PCIe 链路、NUMA、CPU 调度或来宾运行时先确认驱动正常,再检查链路状态和资源分配

如果问题发生在宿主重启之后,优先查看早期绑定,而不是先在来宾重装驱动;如果问题紧跟来宾驱动更新,则反过来优先比较来宾状态。这样可以减少同时修改多个层级后无法判断因果的情况。

修复时只改变一个变量

完成取证后,建议按照影响范围从小到大处理。

宿主绑定异常

确认 GPU 不是宿主唯一显示设备后,再调整 vfio-pci 早期绑定、黑名单或 initramfs。修改前保留原始配置,并记录当前内核启动参数。对于多 GPU 主机,要用 BDF 和 PCI ID 交叉确认目标设备,避免把宿主正在使用的另一块同型号显卡一起绑定。

IOMMU 分组或 XML 不一致

先修正 XML 中的 BDF 和功能数量,再检查 managed 行为。若 IOMMU group 不可独立隔离,应优先通过更换插槽、调整 BIOS 或重新规划设备分配解决。不要把“来宾能启动”当成隔离已经安全,设备分组不合理时,数据 DMA 边界仍可能不符合预期。

来宾驱动异常

在来宾内按照操作系统的包管理方式或厂商安装方式处理驱动,避免把宿主机驱动文件复制到来宾。驱动调整前记录当前版本、内核版本和错误日志;Windows 来宾则应先建立还原点或保留可回滚的驱动包。驱动安装完成后,必须重新确认三个状态:PCI 设备仍然存在、驱动已绑定、厂商工具能够访问 GPU。

显示或应用没有使用直通 GPU

如果 nvidia-smi 或其他厂商工具已经能够正常识别 GPU,说明直通链路基本成立。此时应检查显示器是否连接到直通显卡、来宾是否把它设为主显示适配器,以及应用是否选择了正确的图形或计算设备。虚拟显示设备可以用于维护,但它可能让桌面或应用继续使用虚拟适配器,不能仅凭“桌面能显示”判断直通显卡已经参与渲染。

恢复后的验证标准

一次完整的恢复验证应同时覆盖宿主、虚拟机和来宾,而不是只看虚拟机能否开机。

恢复后的验证标准配图

  1. 在虚拟机运行期间,目标 GPU 的全部计划功能显示为 vfio-pci,宿主日志中没有持续的解绑失败或 AER 错误。
  2. 虚拟机 XML 中的 BDF 与实际目标显卡一致,运行时 XML 和持久化 XML 没有互相覆盖的差异。
  3. 来宾能够通过 lspci 或设备管理器枚举显卡,PCI ID 与宿主记录的目标设备相符。来宾内的 BDF 可以与宿主不同,不能要求两边地址完全相同。
  4. 来宾驱动已经绑定,驱动日志没有持续的固件、BAR、复位或初始化错误。
  5. 厂商工具或实际业务程序能够访问 GPU,并且显示输出、计算任务或渲染任务确实使用了直通设备。
  6. 在维护窗口内分别测试一次正常启动、关闭和再次启动,确认问题不是只在首次启动时暂时消失。

若虚拟机承载业务服务,停止、重启或改变 PCI 设备分配前应先确认业务迁移、备份和恢复路径。GPU 设备通常不适合在生产负载运行中随意热解绑,尤其是宿主图形栈或来宾仍在访问设备时。

复发时保留的监控点

GPU 直通问题容易在内核升级、BIOS 调整、来宾驱动更新和虚拟机生命周期变化后复发。建议定期或在变更后保留以下信息:

  • 宿主内核版本、BIOS 中 IOMMU 与 PCIe 相关设置;
  • GPU 每个 PCI 功能的 BDF、PCI ID 和 Kernel driver in use;
  • IOMMU group 中的设备清单;
  • 虚拟机运行时与持久化 XML;
  • 虚拟机启动、关闭期间的 libvirt、QEMU、VFIO 和内核日志;
  • 来宾 lspci -nnk、驱动版本、厂商工具输出;
  • GPU 复位、AER、BAR 和固件错误;
  • PCIe 的链路速率与链路宽度。

性能问题还可以在驱动确认正常后检查链路状态:

lspci -vv -s 0000:65:00.0 | grep -E 'LnkCap|LnkSta'

LnkCap 是设备或链路能力,LnkSta 是当前状态。若当前链路宽度或速率明显低于正常基线,再继续检查插槽、BIOS、拓扑、NUMA 和来宾负载;不要在驱动尚未初始化时直接用性能指标归因。

最终,宿主绑定、虚拟机分配和来宾驱动应形成一条连续证据链:宿主把正确设备交给 vfio-pci,虚拟机 XML 将正确功能传入来宾,来宾能够枚举并绑定匹配驱动,应用再通过正确的显示或计算接口使用它。只要沿这条链逐段对照,通常可以把“GPU 直通不可用”缩小为一个明确的配置偏差,而不必在宿主和来宾之间反复试错。

对于需要在实际业务中运行模型推理、模型测试或图像处理的场景,A5idc数据提供中国香港和美国地区的GPU物理服务器,包含A100 80GB、RTX 4090等显卡选项,并配套相应的CPU、内存与NVMe存储资源,可作为GPU计算节点或应用运行环境,为相关业务提供独立的计算资源。

本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/9942.html

相关推荐