• 开启VT-d –硬件直通必须开启
• 开启SRIOV –如有
• 开启Above 4G –如有
• 关闭安全启动 —在security菜单 secure boot 改disabled

更换系统源

国内清华源
编辑sources.list,将原有的源链接在句首加 # 注释掉，更换以下清华源信息
nano /etc/apt/sources.list

• 开启VT-d –硬件直通必须开启
• 开启SRIOV –如有
• 开启Above 4G –如有
• 关闭安全启动 —在security菜单 secure boot 改disabled

更换系统源

国内清华源
编辑sources.list,将原有的源链接在句首加 # 注释掉，更换以下清华源信息
nano /etc/apt/sources.list

deb https://mirrors.tuna.tsinghua.edu.cn/debian/ bookworm main contrib non-free non-free-firmware
deb https://mirrors.tuna.tsinghua.edu.cn/debian/ bookworm-updates main contrib non-free non-free-firmware
deb https://mirrors.tuna.tsinghua.edu.cn/debian/ bookworm-backports main contrib non-free non-free-firmware
deb https://mirrors.tuna.tsinghua.edu.cn/debian-security bookworm-security main contrib non-free non-free-firmware

更换企业源

国内清华源
编辑pve-enterprise.list,将原有的源链接在句首加 # 注释掉，更换以下清华源信息
nano /etc/apt/sources.list.d/pve-enterprise.list

deb https://mirrors.tuna.tsinghua.edu.cn/proxmox/debian bookworm pve-no-subscription

修复源401错误

编辑ceph.list,将原有的源链接在句首加 # 注释掉，添加中科大ceph源
nano /etc/apt/sources.list.d/ceph.list

deb https://mirrors.ustc.edu.cn/proxmox/debian/ceph-quincy bookworm no-subscription

执行更新源

apt update

LXC容器更源

国内清华源

# 备份APLInfo.pm
cp /usr/share/perl5/PVE/APLInfo.pm /usr/share/perl5/PVE/APLInfo.pm_back
# 替换为清华源：
sed -i 's|http://download.proxmox.com|https://mirrors.tuna.tsinghua.edu.cn/proxmox|g' /usr/share/perl5/PVE/APLInfo.pm
# 重启服务后生效
systemctl restart pvedaemon.service

PVE常用优化脚本

可以做下以下优化
1)去掉登录订阅提示；
2)合并local-lvm以最大化利用硬盘空间；
3)添加CPU频率硬盘温度；
4)删掉不用的内核等信息，减少驱动安装不上等问题；

# 下载pve_source二进制文件到/root目录
wget https://yangwenqing.com/files/pve/pve_source.tar.gz && tar zxvf /root/pve_source.tar.gz && /root/./pve_source

开启硬件直通

需要提前在主板BIOS开启虚拟化功能，才能开启硬件直通。在BIOS开启vt-d，AMD平台是iommu，并且开启SRIOV和Above 4G选项

Intel CPU

使用nano命令编辑grub
nano /etc/default/grub

# 开启iommu分组，在里面找到：GRUB_CMDLINE_LINUX_DEFAULT="quiet"项将其修改为
GRUB_CMDLINE_LINUX_DEFAULT="quiet intel_iommu=on iommu=pt pcie_acs_override=downstream,multifunction"
# 更新grub
update-grub

加载内核模块

加载内核模块，使用nano命令加入以下信息
nano /etc/modules

vfio
vfio_iommu_type1
vfio_pci
vfio_virqfd

屏蔽设备

添加设备黑名单,编辑pve-blacklist.conf
nano /etc/modprobe.d/pve-blacklist.conf

# 直通AMD显卡，请使用下面命令
blacklist radeon
blacklist amdgpu 
# 直通NVIDIA显卡，请使用下面命令
blacklist nouveau
blacklist nvidia
blacklist nvidiafb
# 直通INTEL核显，请使用下面命令
blacklist i915
blacklist snd_hda_intel
blacklist snd_hda_codec_hdmi
# 允许不安全的设备中断
options vfio_iommu_type1 allow_unsafe_interrupts=1

执行更新initramfs

# 更新initramfs
update-initramfs -u -k all
# 重启
reboot

验证是否开启直通

# 验证是否开启iommu
dmesg | grep iommu
或者
dmesg | grep -e DMAR -e IOMMU -e AMD-Vi

出现如下例子。则代表成功

[ 1.341100] pci 0000:00:00.0: Adding to iommu group 0
[ 1.341116] pci 0000:00:01.0: Adding to iommu group 1
[ 1.341126] pci 0000:00:02.0: Adding to iommu group 2
[ 1.341137] pci 0000:00:14.0: Adding to iommu group 3
[ 1.341146] pci 0000:00:17.0: Adding to iommu group 4

此时输入命令

find /sys/kernel/iommu_groups/ -type l 
#出现很多直通组，就代表成功了。如果没有任何东西，就是没有开启

lsmod | grep vfio
# 检测模块是否加载

vfio_pci               16384  4
vfio_pci_core          94208  1 vfio_pci
vfio_iommu_type1       49152  2
vfio                   57344  17 vfio_pci_core,vfio_iommu_type1,vfio_pci
iommufd                73728  1 vfio
irqbypass              16384  41 vfio_pci_core,kvm
#出现这类信息，就代表成功了。

配置VGPU_Unlock

# 创建vgpu_unlock文件夹
mkdir /etc/vgpu_unlock
# 创建profile_override.toml文件
touch /etc/vgpu_unlock/profile_override.toml
# 创建nvidia-vgpud.service.d,nvidia-vgpu-mgr.service.d启动服务
mkdir /etc/systemd/system/{nvidia-vgpud.service.d,nvidia-vgpu-mgr.service.d}
# 写入路径信息
echo -e "[Service]\nEnvironment=LD_PRELOAD=/opt/vgpu_unlock-rs/target/release/libvgpu_unlock_rs.so" > /etc/systemd/system/nvidia-vgpud.service.d/vgpu_unlock.conf
echo -e "[Service]\nEnvironment=LD_PRELOAD=/opt/vgpu_unlock-rs/target/release/libvgpu_unlock_rs.so" > /etc/systemd/system/nvidia-vgpu-mgr.service.d/vgpu_unlock.conf
# 重新加载服务
systemctl daemon-reload

执行完成后，cat下查看服务配置是否与下边一致
cat /etc/systemd/system/{nvidia-vgpud.service.d,nvidia-vgpu-mgr.service.d}/*

[Service]
Environment=LD_PRELOAD=/opt/vgpu_unlock-rs/target/release/libvgpu_unlock_rs.so
[Service]
Environment=LD_PRELOAD=/opt/vgpu_unlock-rs/target/release/libvgpu_unlock_rs.so

下载预编译好的libvgpu_unlock_rs.so文件

mkdir -p /opt/vgpu_unlock-rs/target/release
cd /opt/vgpu_unlock-rs/target/release
wget -O libvgpu_unlock_rs.so https://yangwenqing.com/files/pve/vgpu/vgpu_unlock/rust/libvgpu_unlock_rs_20230207_44d5bb3.so

安装VGPU驱动

安装显卡驱动需要用到的依赖

apt install build-essential dkms mdevctl pve-headers-$(uname -r)

# 下载显卡驱动

# 下载显卡驱动
wget "https://yun.yangwenqing.com/ESXI_PVE/vGPU/NVIDIA/16.2/NVIDIA-Linux-x86_64-535.129.03-vgpu-kvm-patched.run"
# 赋予执行权限
chmod +x NVIDIA-Linux-x86_64-535.129.03-vgpu-kvm-patched.run
# 安装驱动(默认回车直至安装完成即可)
./NVIDIA-Linux-x86_64-535.129.03-vgpu-kvm-patched.run
# 重启
reboot

其他补充提示：

1) 如之前安装过了显卡驱动，则需要先卸载，再安装

# 卸载显卡驱动
./NVIDIA-Linux-x86_64-535.129.03-vgpu-kvm-patched.run --uninstall
# 移除显卡相关程序
sudo apt-get remove --purge nvidia-*
# 安装驱动(默认回车直至安装完成即可)
./NVIDIA-Linux-x86_64-535.129.03-vgpu-kvm-patched.run

2) 下载慢？试试aria2吧

# 在pve安装aria2
apt install aria2
# 4线程下载文件
aria2c -s 4 -x 4 -j 10 'https://yun.yangwenqing.com/ESXI_PVE/vGPU/NVIDIA/16.2/NVIDIA-Linux-x86_64-535.129.03-vgpu-kvm-patched.run'

重启完成后查看相关服务状态

# 查看相关服务状态
systemctl status {nvidia-vgpud.service,nvidia-vgpu-mgr.service}
# 重新启动相关服务
systemctl restart {nvidia-vgpud.service,nvidia-vgpu-mgr.service}
# 停止相关服务
systemctl stop {nvidia-vgpud.service,nvidia-vgpu-mgr.service}

随后使用nvidia-smi

以及mdevctl types查看

搭建fastapi-dls授权服务

NVIDIA VGPU并非免费产品，需要对VGPU驱动购买许可才能正常使用VGPU，这里我用fastapi-dls项目来取得90天的试用许可。你可以在内网或者外网部署好Docker环境，然后搭建fastapi-dls授权服务，我这里提供一个pve lxc的Docker容器，部署到内网进行授权。

# 进入pve备份文件夹
cd /var/lib/vz/dump/
# 使用wget命令下载lxc docker 容器备份包
wget https://yun.yangwenqing.com/ESXI_PVE/PVE/LXC/FASTAPI-DLS/vzdump_lxc_docker_root_123123.tar.zst
# 或者使用aria2c命令多线程下载lxc docker 容器备份包
aria2c -s 4 -x 4 -j 10 'https://yun.yangwenqing.com/ESXI_PVE/PVE/LXC/FASTAPI-DLS/vzdump_lxc_docker_root_123123.tar.zst'
# 重命名为vzdump-lxc-100-2023_11_14-15_docker.tar.zst
mv vzdump_lxc_docker_root_123123.tar.zst vzdump-lxc-100-2023_11_14-15_docker.tar.zst

LXC容器信息：

• 默认IP地址：192.168.3.74
• 账号：root
• 密码：123123
• 1）将下载下来的LXC容器进行还原

• 

  2）并将原来的IP改为自己内网的IP，我这里用的就是3网段就不改了。

  

  3）登录LXC容器（账号：root密码：123123）并创建授权服务：

  

  # 删除旧的容器
  docker rm af06b7705582
  # 创建授权服务,注意下边的IP（192.168.3.74）改为刚刚自己修改好的
  docker run --restart always -d -e DLS_URL=192.168.3.74 -e DLS_PORT=443 -p 443:443  makedie/fastapi-dls

  

  创建虚拟机（Win10为例）

   

  创建win10虚拟机（21H2）
  名称：自定义
  光驱挂载：Win安装ISO镜像
  系统中显卡：默认
  机型：q35
  BIOS：OVMF（如果采用SeaBIOS引导，机型q35版本要选7.2及以下，否则无法正常授权驱动）
  EFI分区：UEFI（OVMF）需要
  磁盘：SCSI 大小60G（按需设置，或硬盘直通）
  CPU：host 核心数量4（按需设置）
  内存：4G及以上
  网络：virtIO（半虚拟化或网卡直通）网卡
  建立好虚拟机后
  添加CD/DVD设备1个，挂载virtIO驱动ISO镜像
  添加PCI设备：nvidia显卡（勾选ROM-Bar和PCIE在Mdev类型中选择vgpu设备）

  

  

  其中 GRID P40-1Q 是 mdev 的名字，P40–显卡名，1–1G 显存，Q 代表 vWS
  关于最后一位字母，如下
  A = Virtual Applications (vApps)
  B = Virtual Desktops (vPC)
  C = AI/Machine Learning/Training (vCS or vWS)
  Q = Virtual Workstations (vWS)（性能最佳）
  在配置vgpu的时候，选择正确的型号型号即可。

  资源下载

  # Windows 10 Enterprise LTSC 2021 (x64) - DVD (Chinese-Simplified).ISO
  https://yun.yangwenqing.com/Windows/MSDN/Windows_Desktop/Windows10/Windows%2010%20Enterprise%20LTSC%202021%20(x64)%20-%20DVD%20(Chinese-Simplified).ISO
  # virtIO驱动
  https://yun.yangwenqing.com/ESXI_PVE/PVE/Windows/VirtIO_Drivers/virtio-win-0.1.240.iso
  # NVIDIA Guest驱动 537.70
  https://yun.yangwenqing.com/ESXI_PVE/vGPU/NVIDIA/16.2/Guest_Drivers/537.70_grid_win10_win11_server2019_server2022_dch_64bit_international.exe

  安装NVIDIA Guest驱动

  创建好系统之后，在系统中开启远程功能。如远程桌面，todesk，vnc，向日葵，parsec等然后安装 NVIDIA Guest驱动

  

  启用授权

  1）在浏览器访问fastapi-dls授权服务：https://192.168.3.74/-/client-token会自动下载好授权文件

  

  2）下载后放入C:\Program Files\NVIDIA Corporation\vGPU Licensing\ClientConfigToken\这个目录下

  

  3) 重启NVIDIA Display Container Ls服务，即可获得授权
  也可以在cmd窗口使用nvidia-smi -q命令查看授权情况
  如授权失败，需要检查电脑时间是否对得上授权服务器时间

  

  4）使用Todesk远程工具连接上虚拟机跑个鲁大师测试一下，显卡是否正常工作

  

  想解除60帧？
  编辑nano /etc/vgpu_unlock/profile_override.toml文件，加入以下信息关闭虚拟机重新开机生效。

   

  [profile.nvidia-46]
  num_displays = 1
  display_width = 1920
  display_height = 1080
  max_pixels = 2073600
  cuda_enabled = 1
  frl_enabled = 0
  framebuffer = 1006632960

   

  参数说明：
  [profile.nvidia-46]nvidia-46 为vgpu型号的参数。如选的不是46则改成自己选的那个型号。
  num_displays 最大显示器数量
  display_width = 1920
  display_height = 1080
  max_pixels = 2073600 这3个是虚拟显示器的分辨率，max_pixels是长宽的乘积
  cuda_enabled = 1是否开启cuda
  frl_enabled = 0 是否限制帧数，0为不限制
  framebuffer = 1006632960 1GB显存，设定vgpu的显存

  自定义显卡显存大小
  如要自定义修改显卡的显存大小，只需要修改framebuffer的值就好了,显存不建议低于1GB，官方说低于1GB将会禁用NVENC视频编解码器
  注意：vgpu会默认占用64M，所以如果要改显存，请将结果减去64M再去换算，旧版是减去128M
  例如，你期望显存为1GB，所以就用1024M-64M=960M
  在线大小换算平台：https://www.bejson.com/convert/filesize/

  

  5）在PVE后台查看是否调用成功

  

  PVE去虚拟化检测部分

  做完以上VGPU部分，就可以正常使用VGPU加速。专业设计，云桌面，Al深度学习用户可以不用往下看了。市面上大部分游戏都不支持在虚拟机进行游戏，如你有游戏需求，则还需要对虚拟机做以下去虚拟化操作。

  # 查看你当前安装的pve-qemu-kvm版本
  dpkg -l|grep kvm
  # 我这里是8.1.5-3
  ii  pve-qemu-kvm                         8.1.5-3                             amd64        Full virtualization on x86 hardware

  安装去虚拟化修改后的版本

  # 如果你的版本是9.0.2-2，执行一下命令下载并安装
  wget https://yun.yangwenqing.com/ESXI_PVE/PVE/PVE%E5%8E%BB%E8%99%9A%E6%8B%9F%E5%8C%96%E6%A3%80%E6%B5%8B/PVE8.2/pve-qemu-kvm_9.0.2-2_amd64_anti_detection20240818v1.0.deb
  dpkg -i pve-qemu-kvm_9.0.2-2_amd64_anti_detection20240818v1.0.deb
  # 如果你的版本是8.1.5-3，执行一下命令下载并安装
  wget https://yun.yangwenqing.com/ESXI_PVE/PVE/PVE%E5%8E%BB%E8%99%9A%E6%8B%9F%E5%8C%96%E6%A3%80%E6%B5%8B/PVE7.0-8.1/pve-qemu-kvm_8.1.5-3_amd64_anti_detection20240302.deb
  dpkg -i pve-qemu-kvm_8.1.5-3_amd64_anti_detection20240302.deb
  # 如果你的版本是7.2.0-8，执行一下命令下载并安装
  wget https://yun.yangwenqing.com/ESXI_PVE/PVE/PVE%E5%8E%BB%E8%99%9A%E6%8B%9F%E5%8C%96%E6%A3%80%E6%B5%8B/PVE7.0-8.1/pve-qemu-kvm_7.2.0-8_amd64_anti_detection20230901.deb
  dpkg -i pve-qemu-kvm_7.2.0-8_amd64_anti_detection20230901.deb

  Intel核显直通，在虚拟机配置文件加入以下参数
  nano /etc/pve/qemu-server/虚拟机ID.conf

  args: -set device.hostpci0.addr=02.0 -set device.hostpci0.x-igd-gms=0x2 -set device.hostpci0.x-igd-opregion=on -cpu host,hypervisor=off,vmware-cpuid-freq=false,enforce=false,host-phys-bits=true -smbios type=0,vendor="American Megatrends International LLC.",version=H3.7G,date='02/21/2023',release=3.7 -smbios type=1,manufacturer="Maxsun",product="MS-Terminator B760M",version="VER:H3.7G(2022/11/29)",serial="Default string",sku="Default string",family="Default string" -smbios type=2,manufacturer="Maxsun",product="MS-Terminator B760M",version="VER:H3.7G(2022/11/29)",serial="Default string",asset="Default string",location="Default string" -smbios type=3,manufacturer="Default string",version="Default string",serial="Default string",asset="Default string",sku="Default string" -smbios type=17,loc_pfx="Controller0-ChannelA-DIMM",manufacturer="KINGSTON",speed=3200,serial=DF1EC466,part="SED3200U1888S",bank="BANK 0",asset="9876543210" -smbios type=4,sock_pfx="LGA1700",manufacturer="Intel(R) Corporation",version="12th Gen Intel(R) Core(TM) i7-12700",max-speed=4900,current-speed=3800,serial="To Be Filled By O.E.M.",asset="To Be Filled By O.E.M.",part="To Be Filled By O.E.M." -smbios type=8,internal_reference="CPU FAN",external_reference="Not Specified",connector_type=0xFF,port_type=0xFF -smbios type=8,internal_reference="J3C1 - GMCH FAN",external_reference="Not Specified",connector_type=0xFF,port_type=0xFF -smbios type=8,internal_reference="J2F1 - LAI FAN",external_reference="Not Specified",connector_type=0xFF,port_type=0xFF -smbios type=11,value="Default string"

  AMD核显直通，Intel、AMD、NVIDIA三家独显直通,在虚拟机配置文件加入以下参数
  nano /etc/pve/qemu-server/虚拟机ID.conf

  args: -cpu host,hypervisor=off,vmware-cpuid-freq=false,enforce=false,host-phys-bits=true -smbios type=0,vendor="American Megatrends International LLC.",version=H3.7G,date='02/21/2023',release=3.7 -smbios type=1,manufacturer="Maxsun",product="MS-Terminator B760M",version="VER:H3.7G(2022/11/29)",serial="Default string",sku="Default string",family="Default string" -smbios type=2,manufacturer="Maxsun",product="MS-Terminator B760M",version="VER:H3.7G(2022/11/29)",serial="Default string",asset="Default string",location="Default string" -smbios type=3,manufacturer="Default string",version="Default string",serial="Default string",asset="Default string",sku="Default string" -smbios type=17,loc_pfx="Controller0-ChannelA-DIMM",manufacturer="KINGSTON",speed=3200,serial=DF1EC466,part="SED3200U1888S",bank="BANK 0",asset="9876543210" -smbios type=4,sock_pfx="LGA1700",manufacturer="Intel(R) Corporation",version="12th Gen Intel(R) Core(TM) i7-12700",max-speed=4900,current-speed=3800,serial="To Be Filled By O.E.M.",asset="To Be Filled By O.E.M.",part="To Be Filled By O.E.M." -smbios type=8,internal_reference="CPU FAN",external_reference="Not Specified",connector_type=0xFF,port_type=0xFF -smbios type=8,internal_reference="J3C1 - GMCH FAN",external_reference="Not Specified",connector_type=0xFF,port_type=0xFF -smbios type=8,internal_reference="J2F1 - LAI FAN",external_reference="Not Specified",connector_type=0xFF,port_type=0xFF -smbios type=11,value="Default string"

  如要还原回原来的官方包pve-qemu-kvm可以到清华源去下载安装

  # pve8到这个链接下载
  https://mirrors.tuna.tsinghua.edu.cn/proxmox/debian/dists/bookworm/pve-no-subscription/binary-amd64/
  # pve7到这个链接下载
  https://mirrors.tuna.tsinghua.edu.cn/proxmox/debian/dists/bullseye/pve-no-subscription/binary-amd64/
  # 下载名为pve-qemu-kvm_x.x.x-x_amd64.deb就是了。
  pve-qemu-kvm_8.1.5-3_amd64.deb    27.0 MiB    2024-02-22 03:18
  pve-qemu-kvm_8.1.5-4_amd64.deb    27.0 MiB    2024-03-12 22:52
  pve-qemu-kvm_8.1.5-5_amd64.deb    27.0 MiB    2024-04-12 02:40
  pve-qemu-kvm_8.1.5-6_amd64.deb    27.0 MiB    2024-04-29 22:50
  pve-qemu-kvm_8.2.2-1_amd64.deb    28.1 MiB    2024-04-29 16:50

  去除虚拟化后，大部分游戏其实已经可以正常玩了。[高级]点的游戏对虚拟机检测机制不好过，类似腾讯游戏有ACE这类检测机制就玩不了。