在本篇文章中，模拟如下cluster中的其中一个node因损坏而宕机，由此需要通过其他集群节点强行移除该node的情况。假设cluster如下：

Node 1: 192.168.1.1/24

Node 2: 192.168.1.2/24

Node 3: 192.168.1.3/24

目标：在Node 3无法进行操作的情况下，从该cluster中删除node3。

操作方法：

1. 选择Node 1或者Node 2中任意一个在线节点，打开Shell，并执行：pvecm delnode <离线节点，本例中为Node 3>。请注意，若提示无可用quorum，请执行pvecm expected 1后重新执行该命令
2. 确认Node 3是否在集群中：pvecm status
3. 在GUI上可能会有Node 3残留，为了从GUI移除Node 3，执行：rm -f /etc/pve/nodes/node3
4. 清除可能残留的ssh key-gen：ssh-keygen -R 192.168.1.3
5. 在另一Node上查询是否还残留Node 3文件：ls -l /etc/pve/nodes/

在本篇文章中，假设PVE Cluster有如下节点，并且需要更换其中一个节点的corosync/cluster通讯IP，以讲述更换方法。

假设的Cluster:

Node A: 192.168.1.1/24

Node B: 192.168.1.2/24

Node C: 192.168.1.3/24

目标：在不重建cluster的情况下，将Node C的192.168.1.3更换为192.168.1.4。

请注意：操作前，请先备份相应文件。

1. 在所有节点中检查 /etc/hosts；如果存在 Node C 的静态 hostname 映射，则将其更新为新 IP（在本例中，为192.168.1.4）。
2. 在任意节点中，检查 /etc/pve/corosync.conf，将 Node C 对应的地址从 192.168.1.3 修改为 192.168.1.4。该修改将会通过pmxcfs同步到所有nodes。但是在同步完成后建议手动检查每个node配置是否一致。
3. 为了避免缓存而造成类似于Connection error 595: No route to host的问题，在所有节点中执行以下操作以刷新证书缓存，并重启cluster服务：

pvecm updatecerts –force
systemctl restart pve-cluster
systemctl restart corosync
systemctl restart pvedaemon
systemctl restart pveproxy

*避免使用webgui提供的WebSSH重启服务，以避免因为服务停止而导致webgui断开连接或中断服务。

4. 在每个节点中，查询是否有残留关于Node C的旧entry（即把IP指向192.168.1.3）:

grep “192.168.1.3” /etc/pve/.members
grep “192.168.1.3” /etc/pve/priv/known_hosts

5. 操作完成后，可以通过以下方式验证是否修改成功：

• 刷新浏览器中的 Proxmox Web GUI

• 尝试从任意节点的 Web GUI 查看其它节点信息

• 尝试通过WebGUI SSH 连接到 Node C 的新 IP

• 检查 cluster 状态是否正常

Debian官方近日发布了Debian 13 Trixie操作系统。相应的，Proxmox官方也加入了对Debian 13操作系统的支持。在之前介绍过Debian 12安装Proxmox的方法。本次Debian 13安装的方法与前一代类似。

1. 修改主机名，这一步与前一代一致，可以参考Debian 12安装Proxmox的方法
2. 以DEB822格式加入Proxmox软件库。执行以下代码以加入：

cat > /etc/apt/sources.list.d/pve-install-repo.sources << EOL
Types: deb
URIs: http://download.proxmox.com/debian/pve
Suites: trixie
Components: pve-no-subscription
Signed-By: /usr/share/keyrings/proxmox-archive-keyring.gpg
Architechtures: amd64
EOL

PS: 若需要将传统格式的软件源修改为DEB822格式，您可使用：apt modernize-sources

3. 下载Proxmox的GPG Key： wget https://enterprise.proxmox.com/debian/proxmox-archive-keyring-trixie.gpg -O /usr/share/keyrings/proxmox-archive-keyring.gpg

以下为官方提供的GPG Key的MD5及SHA256：
sha256sum /usr/share/keyrings/proxmox-archive-keyring.gpg
136673be77aba35dcce385b28737689ad64fd785a797e57897589aed08db6e45 /usr/share/keyrings/proxmox-archive-keyring.gpg

md5sum /usr/share/keyrings/proxmox-archive-keyring.gpg
77c8b1166d15ce8350102ab1bca2fcbf /usr/share/keyrings/proxmox-archive-keyring.gpg

4. 升级系统：apt update -y && apt full-upgrade -y

5. 安装Proxmox Kernel及相应软件包：

apt install proxmox-default-kernel

apt install proxmox-ve postfix open-iscsi chrony

6. 确认安装成功后，卸载已有的内核和os-prober软件包：

apt remove linux-image-amd64 'linux-image-6.12*'
apt remove os-prober

7. 刷新grub配置：update-grub

8. 重启系统

在重启完成后，应当可以通过https://<主机IP>:8006访问到Proxmox的GUI。

在部分Proxmox版本中运行LXC虚拟机，可能会遇到以下情况：日志中出现大量Internal error: truncated write to cache，并且实时在滚动更新。

经过搜索和研究，可以通过以下方式进行修复：

1. 编辑/lib/systemd/system/lxcfs.service文件，并修改ExecStart成如下内容：
   /usr/bin/lxcfs -l –enable-cfs –enable-pidfd /var/lib/lxcfs
2. 执行systemctl daemon-reload刷新系统服务
3. 重启lxcfs服务，或者重启宿主机

重启完成后，一般情况下，该问题会得到解决。另外，在对系统服务进行修改前，请注意备份以便出现问题时恢复。

Ref: https://forum.proxmox.com/threads/lxcfs-and-load-average.63254/

Enjoy~

LXC采用.raw格式的虚拟硬盘，在proxmox中也不例外。然而，LXC或Proxmox并没有提供向KVM那样能在CLI中直接挂载.img到虚拟机的方法。但是，可以通过以下方法进行挂载已有磁盘。

• 关闭目标LXC容器
• 将已有的磁盘文件复制到/path/to/vmroot/images/<container-id>，并将文件名修改为vm-<container-id>-disk-0.raw。请将container-id替换为实际的容器ID。另外，若LXC已经拥有一个虚拟磁盘，则还需要将disk-0修改为disk-x。x为添加后的最大磁盘数量-1，如第二块硬盘，则需要修改为disk-1.raw
• 修改/etc/pve/lxc/<container-id>.conf，并向其添加一行：

若无虚拟磁盘，则需添加：rootfs: <存储名称>:<container-id>/<虚拟磁盘文件名>,size=<磁盘大小>

若已有虚拟磁盘，则添加：mpx: <存储名称>:<container-id>/<虚拟磁盘文件名>,mp=<容器内挂载位置>,size=<磁盘大小>

** x为最大磁盘数量-1

• 重新启动LXC容器，并且可以在Resources中查询到已经添加的磁盘

Enjoy~

本文章将以全盘映射的方式挂载整块硬盘到Proxmox KVM虚拟机。LXC虚拟机暂时不支持。

首先，打开SSH或者控制面板上的Shell，并执行以下代码以展示所有硬盘ID：

ls /dev/disk/by-id

Note: 硬盘ID通常没有诸如”-part2″等的后缀

找到需要的硬盘后，执行以下命令以挂载：

qm set <vmid> -sata1 /dev/disk/by-id/<drive_id>

当得到以下返回后，则表示挂载已经成功。

update VM <vmid>: -sata1 /dev/disk/by-id/<drive_id>

Note: 在备份虚拟机时建议取消挂载全盘映射，因为容易导致虚拟机备份文件过大。

在Proxmox 8版本中，官方已经加入了对于剪贴板的初步支持。以下为如何为虚拟机启用这个支持。

Note: 因为为初步支持，因此不能保证能够完美使用。

1. 在宿主机上安装spice-vdagent。

apt-get install spice-vdagent -y

2. 启动spice-vdagent服务

systemctl enable spice-vdagent –now

3. 修改需要启用剪贴板支持的虚拟机

qm set <vmid> -vga std,clipboard=vnc

4. Power off并重新启动目标虚拟机

到这里，VNC处会出现一个剪贴板标志，即为成功的标志。

当该问题发生时，Proxmox会出现如下情况：

1.CPU Usage, Server Load, Memory Usage, Network Traffic图表空白或时间停留在1970年。

2.系统日志中不时出现以下类型的错误：

Jan 20 12:44:10 pve pmxcfs[3488753]: [status] notice: RRDC update error /var/lib/rrdcached/db/pve2-storage/pve/local-lvm: -1
Jan 20 12:44:10 pve pmxcfs[3488753]: [status] notice: RRD update error /var/lib/rrdcached/db/pve2-storage/pve/local-lvm: /var/lib/rrdcached/db/pve2-storage/pve/local-lvm: illegal attempt to update using time 1642754655 when last update time is 1642754655 (minimum one second step)
Jan 20 12:44:10 pve pmxcfs[3488753]: [status] notice: RRDC update error /var/lib/rrdcached/db/pve2-storage/pve/lvm: -1

有以下2种解决方法：

1.先检查系统时间，若系统时间距离现在太久远，可以尝试NTP对时，并将最新时间写入主板，并查看是否解决

2.使用以下命令清空/var/lib/rrdcached/db文件夹后重启系统：

rm -rf /var/lib/rrdcached/db/*

Note: 第二种方法可能会导致损失已有的图表数据。可以先做好备份后再进行删除。

在之前的文章中，介绍了如何在Debian 11上安装Proxmox VE。在这里将介绍如何在Debian 12 Bookworm上安装Proxmox VE。开始之前，请注意使用root用户或者是具有sudo权限的用户。

1. 设置主机名

1. 使用hostnamectl set-hostname Domain –static设置主机名

2. 修改/etc/hosts，并对主机名做相应的解析

成功标志：使用hostname –ip-address能看到正确的主机IP地址

2. 添加并设置相应的软件源

添加Proxmox VE镜像：echo “deb [arch=amd64] http://download.proxmox.com/debian/pve bookworm pve-no-subscription” > /etc/apt/sources.list.d/pve-install-repo.list

下载gpg密钥：wget https://enterprise.proxmox.com/debian/proxmox-release-bookworm.gpg -O /etc/apt/trusted.gpg.d/proxmox-release-bookworm.gpg

3. 执行系统升级操作

apt update -y && apt full-upgrade -y

4. 安装PVE内核

apt install pve-kernel-6.2 -y

systemctl reboot

5. 安装相应的软件包

apt install proxmox-ve postfix open-iscsi -y

6. 卸载旧的系统内核

apt remove linux-image-amd64 ‘linux-image-6.1*’ -y

7. 更新grub2启动项

update-grub

8. 依照官方建议，卸载os-prober包

apt remove os-prober -y

9. 重启系统，大功告成

Enjoy~

问题如题目所示，Qemu Guest Agent可以用来查看/配置虚拟机的各项情况。若需要为某一虚拟机开启这项功能，请使用以下命令：

已创建的虚拟机：qm set <VMID> –agent enabled=1

即将创建虚拟机：qm create <VMID> –agent enabled=1

或者使用图形化界面：虚拟机->Options->QEMU Guest Agent->Edit->选中Use QEMU Guest Agent

Enjoy~