Xen虚拟机万兆网卡性能优化的核心思路是绕过传统虚拟化网络转发路径,通过多队列、直通或半虚拟化调优三种手段降低CPU中断开销,其中SR-IOV直通方案在绝大多数场景下效果最明显。
很多朋友在物理机上跑万兆网卡能轻松跑到线速,一旦搬进Xen虚拟机里,性能就掉到三四成,甚至更低,问题不出在网卡本身,而出在数据包从物理网卡到虚拟机内部这条路径上的每一道关卡,下面直接拆解瓶颈在哪、怎么调、用什么工具验证。
Xen虚拟机万兆网卡性能瓶颈到底卡在哪
一台物理机上的Xen虚拟化环境,数据包从外部进入虚拟机内部,默认要经过这样一条链路:
- 物理网卡通过中断通知Dom0中的netback驱动
- netback把数据包复制到共享内存页
- netfront(虚拟机里的前端驱动)通过事件通道收到通知,再从共享内存把数据复制到虚拟机内核协议栈
这条路径上有两个明显的性能杀手,第一个是数据包多次内存复制,网卡到Dom0一次,Dom0到虚拟机共享页一次,虚拟机内核自己还得再读一次,每次复制都消耗CPU周期和内存带宽,第二个是单队列中断集中,默认配置下所有收包中断都落在Dom0的同一个CPU核心上,万兆流量下这个核心直接被打满,其他核心在旁边看热闹。
行业共识认为,Xen虚拟化网络性能损耗中,中断处理开销占到了一半以上,剩下的才是内存复制和协议栈开销,搞清楚这一点,优化的思路就清晰了:要么让中断分散到多个核心,要么干脆绕过Dom0这条路径。
Xen虚拟机万兆网卡性能优化从哪入手?先解决虚拟化层瓶颈
调整Xen虚拟网卡多队列参数
多队列是性价比最高的优化起点,Xen从4.2版本开始支持netback的多队列特性,把原本集中在一个CPU核心上的收包中断分散到多个核心上,开启多队列的前提条件有三个:Dom0内核支持多队列netback,虚拟机内核开启了netfront多队列支持,以及虚拟网卡配置了足够的队列数。
具体操作路径如下,先在Dom0里查看当前虚拟机的vif配置:
xl vif-list your-vm-name
然后把vif的队列数从默认的1调高,编辑虚拟机配置文件或者使用xl命令动态调整:
xl vif-set your-vm-name 0 num_queues=4
设置之后还需要在虚拟机内部确认前端驱动是否真的启用了多队列:
ethtool -l eth0
如果输出显示Combined队列数为1,说明前端没有起来,需要检查虚拟机内核是否加载了xen-netfront的多队列补丁,或者干脆更新内核版本。
需要说明的是,多队列的收益受限于物理机CPU核心数和NUMA拓扑。队列数不是越大越好,经验值是队列数等于物理网卡队列数或者虚拟机vCPU数,取两者较小值,如果虚拟机只有2个vCPU,硬塞8个队列,反而会因为CPU切换次数增加导致吞吐量下降。
Xen SR-IOV直通让虚拟机直接操作物理网卡
如果想追求接近物理机的性能,多队列还是有些不够看,SR-IOV方案让虚拟机的netfront直接对接物理网卡上虚拟出来的VF(Virtual Function)接口,数据包完全绕过Dom0的netback,副作用是Dom0的数据路径被完全截断,虚拟机的网络流量不再经过管理域。
配置步骤分为硬件层和Xen层,首先在物理网卡上启用SR-IOV并创建VF:
echo 8 > /sys/class/net/p4p1/device/sriov_numvfs
然后确认VF设备出现在系统里,接着把VF设备直接分配给指定虚拟机:
xl pci-attach your-vm-name 0000:03:00.1
进入虚拟机内部,把xen-netfront驱动卸载,改用网卡原生驱动加载VF接口,这个过程需要重启虚拟机的网络服务,流量会短暂中断。
SR-IOV的收益非常直观。IOPS和PPS都大幅提升,CPU占用率下降一半以上,但代价是它带来两个先前没有的问题:热迁移基本不可能,因为VF设备直接绑定在物理机上;虚拟机快照也会丢掉VF上的实时状态,因此在选型时要想清楚,如果业务需要热迁移,就不要碰SR-IOV。
解决方案对比:多队列还是SR-IOV
| 对比维度 | 多队列调优 | SR-IOV直通 |
|---|---|---|
| 性能提升幅度 | 提升50%左右 | 接近物理机 |
| CPU占用下降 | 明显 | 非常明显 |
| 热迁移支持 | 完整支持 | 不支持 |
| 动态调整 | 随时调整 | 虚拟机需重启 |
| 配置复杂度 | 较简单 | 中等,涉及PCI直通 |
| 适用场景 | 云平台常见场景 | 高性能计算、NFV |
多数情况下,先做多队列调优,如果性能还不够,再看业务场景能不能接受SR-IOV的限制条件。
万兆网卡性能优化的下一步:中断亲和性与CPU绑定
不管用哪种方案,中断和CPU的绑定关系都得手动理顺,系统默认情况下,中断会落在CPU0或者随机分配,而虚拟机的vCPU如果被调度到另一个NUMA节点上的核心,跨节点内存访问会带来巨大的延迟开销。
在Dom0里执行以下操作:
# 查看网络设备队列中断号 cat /proc/interrupts | grep p4p1
每个队列对应一个中断号,使用/proc/irq/[中断号]/smp_affinity文件绑定CPU核心,比如把4个队列分别绑到4个不同物理核心上,用十六进制掩码做映射,设置完后通过查看/proc/interrupts的计数确认中断是否已经分散。
如果Dom0里跑了很多虚拟机,建议把每个虚拟机的vCPU做pinning,固定到不同物理核心上。
xl vcpu-pin your-vm-name 0 4-7 xl vcpu-pin your-vm-name 1 8-11
这样配合多队列网卡,每个vCPU处理各自的收发队列,避免多个vCPU争抢同一物理核心,此外还要注意关闭irqbalance服务,它有时候会自作主张把中断重新分配到低负载核心上,反而打乱手动绑定的亲和性。
xen虚拟机网卡调优还需要动这些参数
调整环形缓冲区大小解决丢包
万兆流量下最常见的问题是突发流量导致环形缓冲区溢出丢包,网卡环形缓冲区默认大小往往不够,超高吞吐时会直接丢包,通过ethtool调大ring buffer参数:
ethtool -G eth0 rx 4096 tx 4096
修改后通过ethtool -S eth0观察rx_missed或rx_dropped计数是否停止增长,如果丢包仍然存在,说明环形缓冲区已经到了上限,需要回头检查中断绑定的CPU核心是否已经满载。
卸载校验和与分片处理
如果CPU占用率仍然过高,可以尝试把部分协议栈处理工作交给网卡硬件完成,开启GRO(Generic Receive Offload)和LRO(Large Receive Offload):
ethtool -K eth0 gro on ethtool -K eth0 lro on
不过要注意LRO在某些环境下可能引发TCP重传率升高,这个需要结合业务流量特征来做判断,PPS型的小包业务(比如DNS查询)建议关闭LRO,大流量的文件传输类业务可以放心开着。
调整虚拟机的预算轮询参数
很多人忽略了虚拟机内的NAPI预算设置,netfront驱动在处理收包时会设置一个预算值,决定一次中断最多处理多少个包,在没有专用驱动模块参数的情况下,可以使用以下命令查看和调整:
sysctl net.core.busy_poll=50 sysctl net.core.busy_read=50
这个参数在白盒交换机场景下尤其关键,处理小包时增大busy_poll轮询预算能让CPU进入无中断模式等待数据包,延迟能下降不少,代价是虚拟机CPU占用率会上升,吞吐量和延迟这一对矛盾参数,需要按业务属性来调配。
优化效果怎么验证才靠谱
只看iperf跑满10Gbps不代表真的够用,一个完整验证需要包含三个维度:
- 转发性能测试:用
iperf -P 8跑双向大流,确认测试机、交换机、对端机器都在线速上 - 小包转发能力测试:用pktgen或者
trex打64字节小包,观察PPS指标和可能出现的丢包情况 - 延迟敏感性测试:混合流量场景下观测REQ/RES型业务的百分位延迟变动,比如P99延迟是否从几百微秒膨胀到了几毫秒
实际业务中很多“万兆跑不满”的问题,其实出在对端机器或者物理网络链路上,如果万兆的两端只有一端做了Xen优化,整体瓶颈仍然会被拉低到没优化端的水平,性能验证时需要同时检查两端的规格。
Xen 虚拟机万兆网卡性能优化常见问题
开启多队列后虚拟机网卡中断还是集中在一个CPU上,怎么办
确认执行了vif队列数修改语句后,检查虚拟机内部对应网络接口的rings参数是否生效,多数情况下是虚拟机内核版本过旧不支持多队列特性,更新内核后问题自然消失。
SR-IOV直通的性能和物理机差异有多大
小包转发和PPS指标上基本没有差异,大流量带宽测试中因为省掉了Hypervisor层的处理开销,行为表现和物理机几乎一致,但需要明确的是,如果物理网卡本身不支持SR-IOV或者VF数量有限,这个方案就无从落地。
优化不是一次性的动作,而是一个持续与工作负载匹配的过程,把多队列、中断绑定、环形缓冲区和设备直通这几把钥匙都握在手里,根据业务流量的实际形态逐一组合验证,就能Xen虚拟机上把万兆网卡的性能压榨到最后一滴。