ESXi共享虚拟机要实现多主机同时读写访问,核心路径不是让VMFS支持跨主机并发写同一VMDK,而是在共享存储之上、虚拟机内部启用集群文件系统或使用RDM叠加应用层集群。这意味着,硬件层面的共享由存储协议解决,数据一致性由集群文件系统解决,两者缺一不可。
先打破误区:esxi共享虚拟机为什么不能直接多主机同时读写
很多朋友第一次遇到这个问题,通常是从“两台ESXi主机能不能同时打开同一个虚拟机磁盘”开始的,这个想法很自然,但行业共识认为,直接把同一块VMDK挂给两台虚拟机,是典型的“高危操作”,原因在于VMFS的设计原则。
VMFS的锁机制决定了单写多读的边界
VMFS是VMware自研的集群文件系统,它允许多台ESXi主机同时挂载同一个存储卷,这是它的核心能力之一,但这个“共享”指的是宿主机层面的文件系统访问,不是虚拟机层面的磁盘并发写。
每台虚拟机在VMFS上跑的时候,对应的VMDK文件会被加一把SCSI锁(SCSI Reservations),锁的目的很简单:防止两个宿主机同时向同一区域的VMDK写入数据,导致磁盘损坏,当你的虚拟机在主机A上运行时,主机B就算能看到存储卷,也拿不到那台虚拟机对应设备的写权限。
行业共识认为,把同一VMDK同时挂到两台活着的虚拟机上,等于向文件系统发出自杀信号,因为虚拟机内部的Guest OS并不感知外部锁,也不知道有另一个“自己”在写同一块盘,最终必然导致文件系统元数据混乱。
ESXi有“共享虚拟机”能力,但不是这个意思
vSphere里确实有Shared VMs的概念,它更多是指通过vMotion在主机间无缝迁移,或者在故障切换时保证虚拟机可快速恢复,比如FT(Fault Tolerance)会维持两台主机的虚拟机状态同步,但FT的场景里,同一时刻只有Primary虚拟机会真正向磁盘写入数据,Secondary只是热备,不参与I/O并发,所以别指望FT实现“两台虚拟机同时读写同一磁盘”。
esxi共享存储虚拟机多主机并发访问的主要方案有哪些
搞清楚限制之后,我们来聊实际可落地的方案,不同场景,解法不一样。
面向数据库双活:RDM裸设备映射
RDM(Raw Device Mapping)是把SAN上的LUN直接映射给虚拟机,这种方式下,虚拟机看到的不再是VMDK文件,而是一块真实的SCSI磁盘,这样可以绕开VMFS层的锁,让虚拟机层面去跑Oracle RAC、SQL Server AlwaysOn、WSFC这类数据库集群。
具体路径:在vSphere Client中,编辑虚拟机设置,添加设备,选择“原始设备映射”,然后挑选一个未格式化的LUN,要注意RDM的兼容性模式要选择“物理兼容模式”,因为虚拟兼容模式依然会引入VMFS层的一些虚拟化逻辑。
配置完成后,两台虚拟机各自看到同一个LUN,但它们不能各自用普通文件系统格式化这块盘,必须安装集群文件系统才能读写,比如Windows的NTFS结合WSFC、VMFS自带的VMDK封装的兼容模式不支持跨主机共享RDM做多写。
面向文件共享场景:虚拟机内部挂iSCSI共享存储
如果你的应用只需要共享文件,比如多台Web前端要读同一套静态资源,有一个简单直接的思路:在虚拟机的Guest OS里安装iSCSI客户端,然后让每台虚拟机去连接同一个独立的存储设备(比如NAS或者vSAN导出的iSCSI LUN),这时候,ESXi完全不参与文件系统的管理,它只负责把VM跑起来,而虚拟机内部的iSCSI协议自己去跟目标存储交互。
在Windows Server环境里,你可以在每台虚拟机中添加一个“iSCSI发起程序”,连接同一块LUN后,把目标卷格式化为共享卷,再配合故障转移集群把该卷提升为Cluster Shared Volume(CSV),这样多台虚拟机就能同时读写,文件的元数据由Windows集群文件系统协调,数据层面由iSCSI目标提供。
靠vSAN的共享VMDK能力起飞
VMware vSAN提供了“共享VMDK”的官方支持,它专门用于在vSAN集群里运行同一个VMDK给多台虚拟机用,这个功能通过VMCI(虚拟SCSI控制器)实现,让多台虚拟机能够同时读到同一个VMDK,把VMDK当成共享SCSI盘来用。
但vSAN共享VMDK并不等于多写,官方推荐的用法是同WSFC配合,例如SQL Server FCI、文件服务器群集等需要共享磁盘访问的Windows场景,在创建虚拟机时,选择“自定义硬件”,然后添加硬盘,在类型里选“共享无盘”或“共享VMDK”,再把它挂到多台虚拟机上,注意,此时虚拟机的SCSI控制器必须设为“VMware Paravirtual”,并且节点数量不超过vSAN的限制(通常是4个节点)。
这个方案最大的好处是快,配置逻辑简单,不需要额外的SAN存储,适合已经上了vSAN的小型集群,但缺点是,它只在vSAN环境里可用,传统FC/iSCSI存储环境没法用。
esxi虚拟机共享磁盘多主机同时访问的配置实操
这部分我按最常见的两种路径给操作步骤,一句废话没有。
RDM配合Windows Server Failover Clustering
前置条件:两台VM所在ESXi主机能同时看到同一台存储设备(FC或iSCSI),LUN已创建但未格式化。
- 在两台虚拟机中添加RDM设备:右键VM,选择“编辑设置”,点击“添加硬盘设备”,选择“Raw Device Mapping”。
- 选择目标LUN,勾选“物理兼容模式”,确保两台VM选择的是同一个LUN设备。
- 在Windows Server里,给每台VM的“磁盘管理”刷新,确认两块磁盘的出现顺序和LUN编号一致。
- 在其中一台VM创建存储集群卷,然后用故障转移集群管理器把该磁盘加为“集群磁盘”或“Cluster Shared Volume”。
- 把iSCSI目标或FC LUN的“多路径配置”调成Round Robin策略,避免单链路瓶颈。
vSAN共享VMDK给Linux跑OCFS2
vSAN共享VMDK在Linux上的常见搭档是OCFS2,因为OCFS2本身就是一个集群文件系统,专门给共享块设备设计的。
- 在vSphere Client中进入vSAN集群,启用“共享无盘”选项。
- 创建一个新虚拟机并手动添加共享VMDK:选择“现有vSAN文件”,点击“创建共享VMDK”,大小按需设置。
- 把共享VMDK同时添加到两台VM的配置里。
- 在两台VM里安装OCFS2工具:
yum install ocfs2-tools(CentOS/RHEL)或apt install ocfs2-tools(Debian/Ubuntu)。 - 编辑集群配置文件
/etc/ocfs2/cluster.conf,配置两个节点的node name和IP地址。 - 在其中一台VM格式化共享盘:
mkfs.ocfs2 -N 2 /dev/sdb1。 - 分别挂载:
mount -t ocfs2 /dev/sdb1 /shared_data。
注意,挂载之前必须确保OCFS2服务和集群配置在每台VM中都启动成功,否则会出现“只有一台能写”的假象,实际数据不会同步。
选型对比:多主机并发访问方案怎么挑
| 方案 | 是否支持多写 | 推荐场景 | 复杂度 | 成本 |
|---|---|---|---|---|
| VMFS + VMDK直挂 | 不支持 | 无 | 极低 | 最低 |
| RDM + 数据库集群 | 支持 | 数据库双活,需要ACID特性 | 高 | 一般 |
| 虚拟机内iSCSI + CSV/GFS2 | 支持 | 文件共享、Web集群 | 中 | 中 |
| vSAN共享VMDK + 集群文件系统 | 支持 | vSAN环境下的Windows/Linux集群 | 中 | 中 |
| NFS文件共享 | 不完全支持 | 静态文件并发读 | 低 | 低 |
对大多数中小型用户而言,如果虚拟机存量多且已经买了共享存储,RDM路线的兼容性最好,如果是从零搭一套,vSAN共享VMDK更能省去SAN的硬件开销。
常见问题快速回答
ESXi共享虚拟机能不能两台主机用普通文件系统同时访问同一块虚拟机盘?
不能,普通文件系统如EXT4、NTFS、XFS都假设同一时刻只有一台机器能写入,如果强行把VMDK或RDM挂给两台VM并用普通文件系统挂载,并发写入几分钟内就会造成文件系统崩坏,只能做只读访问。
多台ESXi主机共享存储访问时,只读访问有什么简单办法?
如果想做的只是给多台虚拟机只读的共享磁盘访问,不需要集群文件系统,把一个VMDK做成快照,或者用NFS导出共享卷,把该卷挂到多台VM上,配合mount的ro选项,就能让多台机器同时读取同一份数据,VMware的NFS扩展属性也支持并发读取。
共享VMDK和RDM选哪个做主从同步的底层架构?
主从同步(比如数据库主备)通常用不上共享盘,log shipping和binlog同步会在应用层自己完成,不需要底层存储做并发写支持,但如果应用层没有同步机制,就必须选择RDM加集群文件系统,或者安装GFS2等专用共享文件系统,vSAN共享VMDK仅适合Windows故障转移集群这类依赖共享存储的应用场景。