凌晨 2:07，香港荃湾机房。空调风像海风一样直往机柜里灌。我正蹲在 23U 的抽拉导轨上，手电光里，一台要同时跑 CentOS 7、Debian 12、Windows Server 2019 的宿主静静地亮着黄色的 BMC 指示灯。客户在微信里不断追问：“明早八点能切流吗？”

这不是第一次在香港做混合 OS 的虚拟化集群，但这次业务叠加了数据库、实时风控与流媒体转码，内核冲突与资源争抢稍有不慎就会把延迟从 5ms 拉到 50ms。

我深吸一口气，合上机柜门，开始最后一轮核对。这篇文章，就是那一夜我从零到一的完整实操，也写给未来每个会在“凌晨机房”里与我擦肩的你。

1. 目标与约束

目标

在一台或一组香港裸金属服务器上，并行承载多种 OS（CentOS 7 / Debian 12 / Windows Server 2019），相互内核隔离且资源有序分配。

满足低延迟（p95 < 10ms）、高吞吐（> 8Gbps 东亚区域出网）、在线滚动升级和故障快速回切。

约束（香港场景特有）

• 跨境链路不可预期（晚高峰抖动），出口 QoS 和队列要做。
• 机房多为双路 10/25GbE，部分可用 Mellanox 卡做 RoCE。
• 合规与备案相对宽松，但机柜功率与散热要严格核算。

2. 参考硬件与网络拓扑（可按需替换）

2.1 服务器与部件（单节点示例）

2.2 机房网络（简图）

• TOR：双上联，BGP 与运营商边界对接，两个不同运营商各一条 10/25G。
• 服务器：bond0（LACP） 绑定双口 → 上联交换机 MLAG，管理网 / 业务网 / 存储网三分。
• 可选：VLAN 10（管理）/ 20（业务）/ 30（存储），vSwitch 中再细分 port group。

3. 架构选型：为什么是 KVM（而不是只用容器）

关键原则：要实现“不同 OS 共存且避免内核冲突”，必须让每个工作负载拥有自己的内核。容器共享宿主内核，版本/模块/特性会绑死在一起，遇到 eBPF、cgroup、io_uring 版本差异时会出坑。

因此选择：KVM/QEMU + libvirt（或 Proxmox/ oVirt 作管控面），在必要场景下再在虚机内跑容器（所谓 VM as a Pod）。

内核冲突的本质：容器 = 共享宿主内核；虚拟机 = 各自拥有内核。

资源竞争的防线：NUMA 亲和、CPU 绑定、HugePages、I/O 线程隔离、SR-IOV/virtio-net 多队列、blkio/TC 限速。

4. 宿主机操作系统与内核准备（以 CentOS 7 宿主为例）

你没看错：宿主用 CentOS 7，满足读者“存量环境多、兼容性强”的诉求；若全新部署，我也会给出 Rocky/Alma 的平滑替代点。

4.1 基础安装与内核参数

# 基础包
yum -y install epel-release
yum -y install qemu-kvm qemu-img libvirt libvirt-daemon libvirt-daemon-kvm \
               virt-install bridge-utils tuned irqbalance numactl \
               vim htop iotop ethtool pciutils lvm2

# 启动与自启
systemctl enable --now libvirtd
systemctl enable --now tuned irqbalance

# HugePages（示例：1G 大页 64 个 = 64G，按需调整）
echo 'vm.nr_hugepages=65536' >> /etc/sysctl.conf
sysctl -p

# KSM 适度开启（内存去重）
echo 1 > /sys/kernel/mm/ksm/run
echo 1000 > /sys/kernel/mm/ksm/sleep_millisecs

4.2 CPU 与 IOMMU

# GRUB 开启 IOMMU（AMD/Intel 二选一）
# /etc/default/grub 追加
GRUB_CMDLINE_LINUX="quiet amd_iommu=on iommu=pt default_hugepagesz=1G hugepagesz=1G hugepages=64"
# Intel: intel_iommu=on iommu=pt

grub2-mkconfig -o /boot/grub2/grub.cfg
reboot

4.3 网卡与中断调优

# 多队列，结合 CPU 亲和
ethtool -L ens3f0 combined 8
# 关闭大包分片以稳定延迟（按业务选择，测试后决定）
ethtool -K ens3f0 tso off gso off gro off
# RSS/中断绑核
for i in /proc/irq/*/smp_affinity_list; do echo 0-11 > $i; done  # 仅示例

5. 存储方案：ZFS Mirror vs. LVM-THIN

我本次选择：ZFS Mirror（两块 NVMe），HDD RAID10 做备份仓。

# ZFS（以 EL7 社区版为例，略去 repo 安装过程）
zpool create -f nvme_mirror mirror /dev/nvme0n1 /dev/nvme1n1
zfs set atime=off compression=lz4 nvme_mirror
zfs create -o mountpoint=/kvm nvme_mirror/kvm

6. 网络与虚拟交换

6.1 Linux Bridge + VLAN（简洁可靠）

# 创建管理桥 br-mgmt、业务桥 br-vm
nmcli con add type bridge ifname br-mgmt
nmcli con add type bridge ifname br-vm
nmcli con add type bridge-slave ifname ens3f0 master br-vm
nmcli con add type bridge-slave ifname ens3f1 master br-mgmt
# VLAN 子接口（视交换机 trunk 配置）
nmcli con add type vlan ifname br-vm.20 dev br-vm id 20

6.2 SR-IOV（低延迟直通）

BIOS/NIC 开启 SR-IOV，创建 VFs（如 echo 8 > /sys/class/net/ens3f0/device/sriov_numvfs）。

虚机 XML 绑定 VF，注意隔离与VF MAC 固定，避免 ARP 混乱。

7. 创建虚机：OS 各自为政，驱动一致化

7.1 通用思路

磁盘/网卡统一使用 virtio（Windows 装 virtio-win 驱动）。

固定 机器类型：q35，CPU 型号 host-passthrough（保留宿主指令集）。

vNUMA 与 HugePages 打开，数据库类虚机启用 iothreads。

7.2 libvirt XML 片段（关键位）

<domain type='kvm'>
  <name>db-centos7</name>
  <memory unit='GiB'>64</memory>
  <currentMemory unit='GiB'>64</currentMemory>
  <vcpu placement='static'>16</vcpu>
  <cpu mode='host-passthrough'>
    <numa>
      <cell id='0' cpus='0-15' memory='64GiB' unit='GiB'/>
    </numa>
  </cpu>

  <memoryBacking>
    <hugepages/>
  </memoryBacking>

  <iothreads>2</iothreads>

  <devices>
    <disk type='file' device='disk'>
      <driver name='qemu' type='qcow2' queues='4' cache='none' io='native'/>
      <source file='/kvm/db-centos7.qcow2'/>
      <target dev='vda' bus='virtio'/>
      <iothread>1</iothread>
    </disk>

    <interface type='bridge'>
      <source bridge='br-vm'/>
      <model type='virtio'/>
      <driver name='vhost'/>
      <link state='up'/>
    </interface>
  </devices>
</domain>

7.3 快速创建命令（以 CentOS 7 / Debian 12 / Win 2019 为例）

# CentOS 7
virt-install --name db-centos7 --vcpus 16 --memory 65536 \
  --cpu host-passthrough --numatune mode=strict,memnodes=0 \
  --hvm --os-variant centos7.0 \
  --disk path=/kvm/db-centos7.qcow2,size=500,bus=virtio,format=qcow2,cache=none \
  --network bridge=br-vm,model=virtio \
  --graphics vnc --location /iso/CentOS-7-x86_64-Minimal.iso \
  --extra-args 'inst.ks=http://10.0.0.10/ks/centos7.cfg console=ttyS0'

# Debian 12
virt-install --name app-debian12 --vcpus 12 --memory 32768 \
  --os-variant debian12 --disk path=/kvm/app-debian12.qcow2,size=200,bus=virtio \
  --network bridge=br-vm,model=virtio --cdrom /iso/debian-12.iso --graphics none

# Windows Server 2019（需 virtio-win ISO）
virt-install --name win2019-ads --vcpus 12 --memory 49152 \
  --os-variant win2k19 --disk path=/kvm/win2019.qcow2,size=300,bus=virtio \
  --disk path=/iso/virtio-win.iso,device=cdrom \
  --cdrom /iso/Windows_Server_2019.iso --network bridge=br-vm,model=virtio

8. 资源隔离：从“能跑”到“跑稳”

8.1 CPU：Pin、并发与超配

原则：数据库/实时类 不超配，批处理/转码 可 1.5~2 倍超配。

绑核（示例）：

# 将 db-centos7 的 vCPU 0-15 绑到宿主 0-15
virsh vcpupin db-centos7 0 0-15
virsh emulatorpin db-centos7 16-17

8.2 内存：HugePages、Balloon 与 KSM

为核心虚机预留 1G HugePages；次要业务可开启 virtio-balloon。

KSM 降低冗余，但数据库类禁用以免抖动。

8.3 I/O：iothreads 与 blkio 限速

# 对某批处理虚机做磁盘吞吐限速，保护数据库
virsh blkdeviotune app-debian12 vda --read-bytes-sec 150000000 --write-bytes-sec 100000000

8.4 网络：TC/QoS

# 按端口/网段做整形：保证 MySQL/Redis 优先
tc qdisc add dev br-vm root handle 1: htb default 30
tc class add dev br-vm parent 1: classid 1:10 htb rate 8gbit ceil 10gbit   # 高优先
tc class add dev br-vm parent 1: classid 1:30 htb rate 2gbit ceil 10gbit   # 普通
tc filter add dev br-vm protocol ip parent 1:0 prio 1 u32 match ip dport 3306 0xffff flowid 1:10

9. 操作系统层面的兼容与“去冲突”

• Windows：务必装 virtio-net/virtio-scsi 驱动，禁用系统还原，设置电源高性能。
• CentOS 7：tuned-adm profile latency-performance，transparent_hugepage=never（对数据库），noop/none 调度。
• Debian 12：强制 systemd-timesyncd 校时，net.core.netdev_max_backlog 合理上调。
• 统一做法：内核模块与文件系统策略分离，各 OS 用各自内核；容器只在虚机内跑（避免容器与宿主内核特性打架）。

10. 自动化：Ansible 示例（节选）

- hosts: kvm_hosts
  become: yes
  vars:
    hugepages: 65536
  tasks:
    - name: Install base packages
      yum: name="{{ item }}" state=present
      loop:
        - qemu-kvm
        - libvirt
        - tuned
        - irqbalance

    - name: Enable services
      systemd:
        name: "{{ item }}"
        state: started
        enabled: yes
      loop:
        - libvirtd
        - tuned
        - irqbalance

    - name: Configure HugePages
      sysctl:
        name: vm.nr_hugepages
        value: "{{ hugepages }}"
        state: present
        reload: yes

11. 基准与验收（现场数据）

11.1 FIO（NVMe ZFS Mirror）

11.2 iPerf3（10GbE）

11.3 延迟（应用 p95）

12. 现场踩坑与解决

vNUMA 配置不匹配导致数据库抖动

症状：CPU 利用低但 p99 飙升。

解决：虚机 numa cell 与宿主 节点对齐，并将 iothreads 单独绑到另一个核组。

Windows virtio-net 驱动版本过旧

症状：偶发断流/蓝屏。

解决：升级到与 QEMU 版本匹配的 virtio-win，关闭 GRO/TSO。

ZFS ARC 抢内存

症状：宿主可用内存下降，虚机抢不到大页。

解决：zfs set primarycache=metadata 给数据库期，或 zfs_arc_max 限制。

链路晚高峰丢包

症状：跨境接口时延抖动明显。

解决：在 出口路由做 FQ/HTB 整形，对 ACK/小包优先；同时 多线路 BGP 选择更稳定链路。

LVM 快照元数据爆满（若选 LVM-THIN）

症状：创建新盘失败。

解决：提前放大 thin_pool 元数据；ZFS 则靠快照清理策略管理。

时间漂移

症状：不同 OS 日志时间错位。

解决：所有宿主/虚机统一 Chrony/NTP，KVM 开启 kvm-clock，Windows 装 qemu-guest-agent。

SR-IOV VF 迁移失败

症状：热迁移中断。

解决：对需要热迁移的虚机避免直通，使用 virtio 多队列 + vhost-net；直通只给极端低延迟需求。

13. 变更与回滚策略

镜像分层：基础镜像（OS + 驱动）→ 云初始化 → 应用层 Ansible。

快照：变更前做 zfs snapshot 或 virsh snapshot-create-as（短时窗口，快照生命周期 ≤72h）。

旁路回切：关键业务双活，Nginx/Haproxy 层灰度 10%→50%→100%，失败自动回切。

备份：zfs send 到 HDD RAID10，关键虚机每日增量、每周全量。

14. 监控与告警（最小可行集）

宿主：node_exporter、zfs_exporter、libvirt_exporter。

虚机：blackbox_exporter 探活，应用侧自定义指标。

重要阈值：CPU steal > 5%、磁盘延迟 p95 > 5ms、丢包 > 0.1%、大页可用 < 10% 告警。

15. FAQ：为什么不直接上 ESXi / Proxmox？

ESXi：商业支持强、体验好，但预算/许可与驱动生态需要评估；跨版本升级窗口需规划。

Proxmox：开箱即用、Web 管控优秀；但我在此场景更偏好**“KVM + Ansible + Grafana”** 这套“可脚本化、可最小化依赖”的栈，尤其在凌晨现场排障时更可控。

若团队以 GUI 运维为主，Proxmox 是极佳选择；本文配置在 Proxmox 里同样可映射（CPU pin、HugePages、iothreads、SR-IOV、限速都有界面项）。

16. 收尾：清晨 6:40 的咖啡

当第一缕阳光从荃湾的建筑缝里钻进机房，我按下最后一次 enter：灰度 50% → 100%。

Grafana 的曲线稳得就像我手里这杯美式。三个 OS 安静地各自运行在自己的内核里，DB 的 p95 从未越过 5ms；批处理在夜间加速跑，白天让路给交易与风控；出口 QoS 把网络抖动磨平成了柔顺的曲线。客户发来三个字：“很稳，谢。”
我把 BMC 的指示灯从琥珀换回绿色，合上机柜门。那一刻我更清楚——虚拟化不是把机器塞满，而是把秩序带进复杂。

17. 可复用清单（便携版）

•  宿主：开启 IOMMU、HugePages、NUMA 对齐、tuned/irqbalance
•  存储：ZFS Mirror（或 LVM-THIN），快照/备份策略落地
•  网络：Linux Bridge + VLAN（或 SR-IOV），TC/QoS 护航
•  虚机：host-passthrough、virtio、iothreads、vNUMA、限速
•  OS：各自内核与驱动，容器仅在 VM 内运行
•  监控：宿主/虚机/exporter + 告警阈值
•  变更：快照→灰度→回切通道→文档化

如果你也要在香港或其他地区落地一套“多 OS 共存、零内核冲突、可管可控”的虚拟化平台，这份笔记可以直接拿去照着做——先让它跑起来，再把它跑“顺”。
下一次你在凌晨的机房里被风吹得发冷时，愿你能想起这些“有温度的步骤”。