给物理服务器分配虚拟功能VF时,如何确认IOMMU、网卡和虚拟机配置匹配?
实际分配 VF 后,常见现象包括:虚拟机启动时报 PCI 设备不可用、虚拟机能够启动但系统内看不到网卡、网卡可以识别却无法通信,或者重启宿主机后 VF 数量和绑定关系消失。这些问题通常不是单一配置项造成的,而是 IOMMU、物理网卡 PF、VFIO、虚拟机 PCI 配置以及 VLAN 和安全策略之间没有形成完整匹配。
实施前可以按四层确认:固件和内核是否启用 IOMMU,物理网卡及其驱动是否支持并创建 VF,VF 是否处于可分配的 IOMMU 组和 VFIO 权限范围内,虚拟机是否引用了正确的 VF PCI 地址并使用匹配的客户机驱动。四层全部通过后,再进行正式分配,能够减少对宿主机业务网络的影响。

A5idc数据提供香港、美国、日本、韩国、中国台湾、新加坡和马来西亚等地区的物理服务器资源,覆盖Xeon与AMD EPYC平台,并提供NVMe存储、DDR5内存、多IP及不同带宽线路方案。针对需要KVM虚拟化、SR-IOV网络能力或高并发业务的场景,可依托独立硬件资源承载虚拟机、数据库、接口服务与跨区域业务网络,为VF直通相关部署提供服务器、存储和线路基础。
先确认当前现象属于哪一层
以下命令以 Linux 宿主机、KVM/libvirt、常见 PCIe 网卡为例。不同发行版可能使用 libvirtd、virtqemud 或其他管理服务名,遇到服务名不一致时,应先通过 systemctl list-units 或发行版文档核对,不要直接修改服务配置。
先记录虚拟机状态和近期日志:
virsh domstate vm-name
virsh dumpxml vm-name > /var/tmp/vm-name-before-vf.xml
journalctl -b | grep -Ei 'vfio|iommu|pci|libvirt|qemu|sriov' | tail -n 100
这些命令只读取状态并保存虚拟机 XML,适合作为实施前基线。结果可以先按下面的方式分类:
| 观察到的现象 | 优先检查的层次 | 常见含义 |
|---|---|---|
| 虚拟机启动失败,提示 VFIO、IOMMU group 或 device in use | IOMMU 组、VFIO 绑定、宿主机占用 | VF 不可独占、被其他进程使用或权限不足 |
| 虚拟机启动成功,但客户机内没有新网卡 | 虚拟机 XML、VF PCI 地址、客户机驱动 | 引用了错误的 BDF,或客户机没有对应网卡驱动 |
| 客户机能看到网卡,但无法访问网络 | PF/VF VLAN、MAC、spoofchk、交换机端口 | 设备已经直通,数据路径策略不匹配 |
| 一次运行正常,宿主机重启后 VF 消失 | VF 数量持久化、启动顺序、驱动加载 | sriov_numvfs 只在本次运行期间生效 |
| 宿主机原有网络中断 | 误操作 PF、重置 VF、驱动重载 | 修改对象不是 VF,而是承载宿主机网络的 PF |
不要因为 lspci 能够看到一个名为 Virtual Function 的设备,就直接判断分配条件已经满足。lspci 只能证明 PCI 总线枚举到了设备,还不能证明 IOMMU 隔离、VFIO 权限和虚拟机配置都正确。
由外到内检查实施条件
1. 检查固件、CPU 虚拟化和 IOMMU
CPU 虚拟化和 IOMMU 是两个相关但不同的条件。Intel 平台通常分别对应 VT-x 和 VT-d,AMD 平台通常分别对应 AMD-V 和 AMD IOMMU。VF 直通需要 IOMMU,不能只检查 CPU 是否支持虚拟机。
先检查 CPU 虚拟化标志和内核启动参数:
lscpu | grep -Ei 'Virtualization|Flags'
cat /proc/cmdline
再检查本次启动是否初始化了 IOMMU:
journalctl -k -b | grep -Ei 'DMAR|IOMMU|AMD-Vi|remapping|Interrupt remapping'
常见的有效信息可能类似下面的示例。示例仅用于说明判断方式,不代表已经在读者服务器上执行过:
DMAR: IOMMU enabled
AMD-Vi: Initialized for Passthrough Mode
如果只有 Virtualization: VT-x 或 AMD-V,但内核日志中没有 DMAR、IOMMU、AMD-Vi 等初始化信息,说明 CPU 虚拟化可能已开启,但 IOMMU 尚未生效。
此时应进入服务器固件,核对以下项目:
- Intel VT-d 或 AMD IOMMU;
- SR-IOV Support;
- 部分平台需要开启 Above 4G Decoding;
- 网卡自身的 SR-IOV 或虚拟化相关选项。
固件菜单名称会随服务器厂商、网卡型号和 BIOS 版本变化。不要仅依据菜单名称判断,修改后必须重新进入系统检查内核日志和 IOMMU 组。
如果固件已开启但内核仍未启用,需要检查 GRUB 启动参数。Intel 平台常见参数为 intel_iommu=on,AMD 平台常见参数为 amd_iommu=on,iommu=pt 是否使用要结合发行版和平台验证,不能不加判断地复制到所有服务器。
修改启动参数前,应备份 /etc/default/grub,安排维护窗口,并确认能够通过控制台或带外管理进入系统。Debian/Ubuntu 和 RHEL 系发行版生成 GRUB 配置的命令可能不同,不能混用。修改后需要重启,回滚时恢复备份文件并重新生成引导配置,再次重启。不要在承载生产虚拟机的宿主机上直接覆盖引导配置。
2. 检查网卡 PF、驱动和 VF 数量
SR-IOV 中,物理网卡端口通常称为 PF,PF 负责创建和管理 VF。宿主机上的业务接口、网桥和物理链路多数挂在 PF 上,因此必须先准确区分 PF 与 VF,不能对错误的 PCI 设备执行绑定或重置操作。

列出物理网卡和驱动:
lspci -Dnn | grep -Ei 'Ethernet|Network'
ip -br link
ethtool -i ensX
将 ensX 替换为实际 PF 接口名。重点关注:
lspci是否能识别网卡控制器;ethtool -i显示的驱动名称和版本;- 固件版本是否被驱动识别;
ip -br link中的接口是否确实承载宿主机网络。
检查该 PF 是否提供 SR-IOV 能力:
cat /sys/class/net/ensX/device/sriov_totalvfs
cat /sys/class/net/ensX/device/sriov_numvfs
sriv_totalvfs 拼写必须是 sriov_totalvfs。如果文件不存在,通常表示当前设备、驱动或固件没有向系统提供 SR-IOV 能力。sriov_totalvfs 表示该 PF 支持的 VF 上限,sriov_numvfs 表示当前已经创建的数量,两者不能混为一谈。
如果当前数量为零,可以在维护窗口中创建少量 VF 进行验证:
echo 2 | sudo tee /sys/class/net/ensX/device/sriov_numvfs
这不是无影响操作。部分驱动在修改 VF 数量时会重置 VF,已有直通设备可能断开,某些网卡还可能短暂影响 PF 链路。执行前应确认:
- 没有虚拟机正在使用这些 VF;
- 已保存当前 VF 数量和网卡配置;
- 已确认
ensX不是误选的业务接口; - 已准备好通过控制台或带外管理回滚。
如需撤销本次创建,应先关闭或脱离使用 VF 的虚拟机,再执行:
echo 0 | sudo tee /sys/class/net/ensX/device/sriov_numvfs
不能在 VF 仍被虚拟机占用时直接归零。系统重启后,直接写入 sysfs 的 VF 数量通常不会自动保留,正式环境应使用发行版支持的网络配置、启动服务或硬件管理方式持久化,并在重启后重新核验。
创建后检查 PF 是否列出了 VF 参数:
ip link show dev ensX
lspci -Dnn | grep -Ei 'Virtual Function|Ethernet|Network'
典型输出可能包含以下信息:
vf 0 MAC 52:54:00:10:20:30, vlan 120, spoof checking on, link-state auto
vf 1 MAC 52:54:00:10:20:31, vlan 0, spoof checking on, link-state auto
这里的 MAC、VLAN、spoof checking 和 link-state 都是后续网络匹配条件。输出中没有 VF,说明问题还停留在网卡能力、驱动、固件或 VF 创建阶段,不应急着编辑虚拟机 XML。
3. 检查 VF 的 PCI 地址和 IOMMU 组
每个 VF 都有独立的 PCI 地址,也称 BDF,例如 0000:03:10.0。分配给虚拟机时必须使用 VF 的 BDF,不能把 PF 的 BDF 当作 VF 使用。
先列出所有 PCI 网卡及其驱动:
lspci -Dnnk | grep -A 3 -Ei 'Ethernet|Network|Virtual Function'
找到目标 VF 后,单独检查:
lspci -Dnnk -s 0000:03:10.0
重点看 Kernel driver in use 和 Kernel modules。目标 VF 可能暂时由厂商 VF 驱动使用,也可能已经绑定到 vfio-pci。如果使用 libvirt 的 managed='yes',libvirt 可以在虚拟机启动时负责解绑和重新绑定;如果采用手工绑定方式,则必须自行维护设备状态。两种方式应选择一种,不要在虚拟机运行期间反复手工解绑。
检查 IOMMU 组:

for g in /sys/kernel/iommu_groups/*; do
echo "IOMMU Group ${g##*/}"
for d in "$g"/devices/*; do
[ -e "$d" ] && lspci -Dnn -s "${d##*/}"
done
done
目标 VF 所在组至少要能被虚拟化栈识别,并且组内其他设备不能形成无法安全独占的冲突。若输出中同时包含 PF、多个 VF 或其他关键 PCI 设备,libvirt 可能报出类似以下错误:
vfio: group is not viable
这时不要为了让虚拟机启动而关闭 IOMMU 组检查,也不要盲目启用 ACS 覆盖。ACS 覆盖可能改变隔离判断,但不等同于硬件真正具备隔离能力。更稳妥的处理顺序是更换网卡端口或 PCIe 插槽、升级服务器 BIOS 和网卡固件、核对厂商对 VF 直通的支持,再评估是否能接受该平台的隔离边界。
还可以从 libvirt 角度确认 PCI 设备是否可被识别:
virsh nodedev-list --cap pci
virsh nodedev-dumpxml pci_0000_03_10_0
如果 virsh 找不到目标设备,先回到 PCI 枚举、驱动和 IOMMU 组检查,不要直接编辑虚拟机配置。
4. 检查 VFIO 模块、设备占用和权限
确认 VFIO 模块是否可用:
lsmod | grep -E '^vfio|vfio_pci'
ls -l /dev/vfio
必要时可以加载模块:
sudo modprobe vfio
sudo modprobe vfio-pci
加载模块本身通常不会改变网络转发,但仍应确认系统的模块管理方式,避免与发行版的启动策略冲突。
如果目标 VF 需要手工绑定到 vfio-pci,应先确认虚拟机已经关闭,并记录当前驱动:
virsh domstate vm-name
lspci -Dnnk -s 0000:03:10.0
readlink -f /sys/bus/pci/devices/0000:03:10.0/driver
不要对 PF 执行解绑操作,尤其是 PF 承载宿主机管理网络、存储网络或虚拟机网桥时。手工解绑 VF 前应保存当前绑定信息,回滚时使用 virsh nodedev-reattach 或发行版推荐的驱动恢复流程。直接对 /dev/vfio 执行 chmod 666 不是合适的权限修复方式,应检查 libvirt、QEMU、SELinux 或 AppArmor 的策略。
权限异常可以从日志中查找:
journalctl -b | grep -Ei 'permission denied|avc|apparmor|vfio|qemu'
如果是安全策略拒绝,应针对具体设备和服务补充策略或调整虚拟化服务配置,不建议为了绕过问题直接关闭 SELinux、AppArmor 或设备访问控制。
让虚拟机配置与目标 VF 一一对应
1. 核对虚拟机 XML 中的 PCI 地址
先查看当前虚拟机是否已经配置了直通设备:
virsh dumpxml vm-name | sed -n '/<hostdev/,/<\/hostdev>/p'
libvirt 的 PCI 直通配置通常类似下面的片段:
<hostdev mode='subsystem' type='pci' managed='yes'>
<source>
<address domain='0x0000' bus='0x03' slot='0x10' function='0x0'/>
</source>
</hostdev>
其中 domain、bus、slot 和 function 必须对应实际 VF 的 BDF。managed='yes' 表示由 libvirt 在虚拟机启动和关闭时管理设备解绑、重新绑定,适合希望减少手工操作的场景,但仍要确认发行版、libvirt 版本和网卡驱动支持情况。
配置前应核对以下关系:
- XML 中的 PCI 地址是 VF,不是 PF;
- 该 VF 没有同时分配给另一台虚拟机;
- 目标 VF 没有被宿主机上的其他服务占用;
- 虚拟机关闭后再修改持久化 XML;
- 虚拟机的客户机系统已经安装对应网卡驱动。
如果使用 virsh edit 或 virsh attach-device 修改配置,应先保留 XML 备份。对正在运行的虚拟机执行热插拔可能导致客户机网络变化,且并非所有网卡和客户机驱动都支持可靠热拔插。生产环境优先采用关机后修改持久化配置的方式。
2. 检查客户机是否识别 VF
虚拟机启动后,在 Linux 客户机中执行:
lspci -nnk | grep -A 3 -Ei 'Ethernet|Network'
ip -br link
ethtool -i eth1
预期可以看到一块新的 PCI 网卡以及对应的 VF 驱动。接口名不一定是 eth1,也可能是 ensX、enpXsY 等稳定命名名称,应以 ip -br link 的实际输出为准。
如果客户机没有任何新网卡:
- 回宿主机核对虚拟机 XML 的 BDF;
- 检查虚拟机是否真的加载了该
hostdev; - 检查客户机内核是否包含对应厂商的 VF 驱动;
- 检查虚拟机启动日志中是否有 PCI 设备初始化错误。
如果客户机能看到网卡但接口未启用,则属于客户机网络配置问题,不能再通过重建 VF 解决。应检查客户机 NetworkManager、systemd-networkd 或其他网络管理配置,确认接口名、MAC 地址和静态配置没有写错。
3. 匹配 VLAN、MAC、spoofchk 和 MTU
VF 直通后,数据路径不再等同于普通 virtio 网卡接入 Linux 网桥。宿主机网桥上的部分配置不会自动作用于直通 VF,PF 对 VF 的 VLAN、MAC、信任和反欺骗策略需要单独确认。
只读检查可以使用:
ip link show dev ensX
ip -d link show dev ensX
ip -s link show dev ensX
如果业务设计要求由 PF 固定 VF 的 VLAN,配置可能类似下面的命令:
sudo ip link set dev ensX vf 0 vlan 120
这是会改变数据路径的操作,只有在确认 VF 编号、VLAN ID、交换机端口模式和业务割接窗口后才能执行。回滚时通常需要将 VLAN 恢复为平台约定的无标签状态,例如:
sudo ip link set dev ensX vf 0 vlan 0
不同网卡对 trust、spoofchk、VF MAC 和 VLAN 的支持存在差异,不能把某一型号的命令直接套用到其他型号。典型需要核对的关系如下:

| 检查项 | 宿主机或网卡侧 | 客户机及交换机侧 |
|---|---|---|
| VF MAC | 是否固定为预期地址,是否被其他 VF 重复使用 | 客户机接口 MAC 是否一致,交换机是否允许该 MAC |
| VLAN | PF 是否为 VF 固定 VLAN | 客户机是否应发送无标签流量,交换机端口是否允许该 VLAN |
| spoofchk | 是否阻止客户机修改源 MAC | 客户机是否使用了与 VF 不同的源 MAC |
| MTU | PF、VF 和物理端口的 MTU | 客户机接口、业务隧道或上层应用是否需要更大 MTU |
| link-state | VF 是否跟随 PF 链路状态 | 客户机是否能正确感知链路 up/down |
例如,PF 已经把 VF 固定到 VLAN 120 时,客户机通常应发送无标签流量;如果客户机又在该接口上创建 VLAN 120,可能出现双重标签或流量被交换机丢弃。相反,如果方案要求客户机自行打 VLAN 标签,则 PF、VF 和交换机端口必须允许这种模式,不能同时强制固定一个不一致的 VLAN。
按结果选择修复路径
IOMMU 未初始化
如果固件和内核日志都没有 IOMMU 初始化信息,先修复固件选项或内核启动参数,再重启验证。修复前不应进入 VF 绑定和虚拟机配置阶段,因为后面的错误只会掩盖根因。
VF 上限为零或无法创建
如果 sriov_totalvfs 文件不存在,优先检查网卡固件、驱动版本和平台兼容性。如果上限存在但写入 sriov_numvfs 失败,记录内核日志中的错误信息,重点排查驱动不支持动态修改、已有 VF 被占用、固件限制或 PF 状态异常。
不要连续尝试不同数量的 VF。先恢复当前状态,确认没有虚拟机使用该 PF 下的 VF,再进行一次小数量验证。
VF 存在,但虚拟机提示设备占用
检查目标 BDF 是否已经被另一台虚拟机、宿主机网络服务或手工绑定流程使用。若采用 managed='yes',避免同时执行手工解绑;若采用手工 VFIO 绑定,则记录解绑前驱动并准备好重新绑定。涉及 PF 时应停止操作,重新确认目标设备。
虚拟机能启动,客户机看不到网卡
重点检查 XML 中的 PCI 地址、客户机 VF 驱动和虚拟机启动日志。不要先修改 VLAN 或交换机配置,因为客户机连设备都没有识别时,网络策略还不是主要问题。
客户机看到网卡,但没有流量
按顺序检查客户机接口状态、VF MAC、PF 侧 VLAN、spoofchk、交换机端口允许列表、MTU 和物理链路。可以先在同一 VLAN 内进行小流量连通性测试,再进行大包、并发和业务测试。不要一开始关闭所有反欺骗策略;如果确实需要改变 spoofchk 或 trust,应记录旧值并限定在目标 VF 上。
重启后 VF 消失
这是直接写入 sysfs 的常见结果。确认启动阶段是否重新创建 VF,网络管理服务是否覆盖了 VF 配置,libvirt 是否在 VF 创建前启动虚拟机。正式环境应固定启动顺序,并在重启后的验收脚本中检查:
cat /sys/class/net/ensX/device/sriov_numvfs
lspci -Dnn | grep -Ei 'Virtual Function|Ethernet|Network'
virsh domstate vm-name
修复后的验证顺序
完成调整后,不要只验证“虚拟机能启动”。建议使用一台测试虚拟机和一个 VF,按低风险到高风险逐层复测。
- 在宿主机确认 IOMMU 仍然有效,目标 VF 的 BDF 没有变化,IOMMU 组内容符合预期。
- 确认 PF、VF、客户机接口和交换机端口使用了同一套 MAC、VLAN、MTU 设计。
- 启动虚拟机,检查
virsh domstate、宿主机内核日志和客户机lspci。 - 在客户机内确认接口状态、驱动、MAC 和 IP 配置。
- 进行同网段连通性测试,再进行跨网段和实际业务测试。
- 关闭虚拟机,确认 VF 能够被 libvirt 重新交还给宿主机。
- 在维护窗口重启宿主机,验证 VF 数量、PCI 地址、驱动绑定和虚拟机启动顺序。
- 通过重启后的日志和网卡计数器确认没有链路抖动、丢包或 VF 重置。
可以使用以下命令观察基础计数器:
ip -s link show dev ensX
ethtool -S ensX
journalctl -k -b | grep -Ei 'reset|sriov|vfio|iommu|link|firmware'
ethtool -S 的统计项由网卡厂商决定,重点观察错误包、丢包、重置次数和链路变化,不要要求所有型号都出现相同字段。
如果需要回滚,先关闭或脱离使用该 VF 的虚拟机,再恢复虚拟机 XML、VF 数量和驱动绑定。不要直接把仍在使用中的 sriov_numvfs 设为零,也不要在宿主机业务网络仍通过 PF 传输时重载 PF 驱动。引导参数或固件变更则应按照此前的备份恢复,并在重启后重新检查 IOMMU 和网络状态。
复测后持续观察
VF 直通通过首轮验收后,还应观察一段与业务运行周期相匹配的时间,尤其关注宿主机重启、客户机重启、网卡链路抖动和网络配置重新加载等场景。建议同时保留宿主机和客户机的以下信息:
- VF 数量及其 PCI BDF;
- VFIO 或厂商 VF 驱动绑定状态;
- 客户机接口的 MAC、MTU、IP 和 VLAN 配置;
- PF/VF 错误包、丢包和重置计数;
- libvirt、QEMU、内核和客户机网络日志。
只有在冷启动、虚拟机重启、客户机驱动加载、网络连通性和业务流量测试都通过后,才能确认 IOMMU、网卡 VF 与虚拟机配置真正匹配。此后若更换网卡固件、升级内核、调整交换机 VLAN 或修改虚拟机迁移策略,还应重新执行这套核对流程。直接 PCI 设备分配通常会对跨宿主机迁移、自动故障转移和部分快照能力产生约束,这些业务条件也应在上线前明确记录。
本文由A5数据原创发布,转载请注明出处:https://www.a5idc.com/helpcontent/8821.html