每个虚拟机排列优化的核心,是先按业务SLA做资源画像,再用亲和/反亲和、NUMA和队列隔离拆开“吵闹邻居”,最后用监控数据小步调整;性能与利用率要一起看,不能靠一味超配换密度。
虚拟机排列像给团队排工位:爱开会的挨着会议室,爱打电话的别放一起,放到虚拟化环境里,就是别把两个都抢CPU、抢IOPS的虚拟机塞到同一台宿主上,也别让关键业务和测试机混住,下面按“画像、超配、争抢、成本地域、调优”这条线拆开讲。
排列先看业务脾气,不要先看宿主余量
资源画像先采四类数据
排列前先给每台虚拟机做“体检”,CPU看平均使用率和就绪时间,内存看活跃内存、气球驱动和换页,存储看IOPS与时延,网络看包速率和丢包,KVM可用virsh vcpuinfo 虚拟机名、virsh dommemstat 虚拟机名、virsh domblkstat 虚拟机名、virsh domifstat 虚拟机名采集;VMware可用esxtop看%RDY、MCTLSZ、DAVG、DROP,再用PowerCLI的Get-Stat拉历史,业内专家指出,资源画像至少要看一个完整业务周期,别用早高峰的CPU均值给全天定容量。
- 数据库类:优先看存储时延和CPU就绪时间,内存留足,别靠气球驱动挤。
- Web/API类:看网络队列和CPU突发,适合适度超配,但要限流。
- 缓存类:内存敏感,宿主内存宁可留余量,别和批处理混排。
- 批处理类:可放低峰资源池,用反亲和避开在线业务高峰。
亲和与反亲和怎么落地
亲和是“把常通信的放近”,反亲和是“把互抢的拆开”,VMware在集群→配置→虚拟机/主机规则里加DRS规则;KVM在virsh edit 虚拟机名里配置vcpupin、emulatorpin和numatune,原则不复杂:数据库主备做反亲和,应用和缓存可做轻亲和,测试机与生产机必须隔离,规则别贪多,规则太密会让调度器无处下脚。
不同业务场景虚拟机排列对比
不同业务场景虚拟机排列对比,不能只看CPU平均利用率,下面这张表是常见起点,具体还要回到监控数据。
| 业务场景 | 排列重点 | 关键隔离项 | 常见坑 |
|---|---|---|---|
| 关系型数据库 | 低争抢、稳定时延 | NUMA、存储队列、内存预留 | 和备份任务同宿主 |
| Web/API | 弹性密度 | 网络多队列、流量整形 | 只看CPU不看连接数 |
| 缓存/消息 | 内存与网络 | 大页、SR-IOV或网卡队列 | 内存超配后换页 |
| 大数据/批处理 | 错峰复用 | CPU份额、IO限速 | 与在线业务抢存储 |
| 桌面虚拟化 | 并发启动 | 启动风暴限流、镜像缓存 | 全量同时开机 |
虚拟机CPU超配怎么设置更合理
CPU超配的边界与NUMA绑定
虚拟机CPU超配怎么设置更合理?答案是从1:1起步,按业务就绪时间逐步放宽,而不是一上来就追高密度,CPU就绪时间持续偏高、业务抖动变大,就说明该回收超配,NUMA别跨节点乱放,KVM用virsh numatune 虚拟机名 --nodeset 0绑节点,再用vcpupin把vCPU贴到物理核附近;VMware用CPU亲和性规则,并确认esxcli hardware cpu global get里的超线程状态。内存通常不建议超配,气球驱动只能救急,不能当常态。
内存和存储IO的排列细节
内存排列先看预留和交换,关键虚拟机给内存预留,普通业务用气球驱动弹性回收;大页和KSM要按业务测试,别默认全开,存储侧把高IOPS虚拟机分散到不同宿主和存储队列,KVM给virtio-blk/scsi配多队列和iothread,VMware优先PVSCSI并核对队列深度,网络侧开多队列、做流量整形,别让一台备份虚拟机把上行打满。
云服务器虚拟机资源争抢怎么排查
从宿主指标到业务指标
云服务器虚拟机资源争抢怎么排查?先看宿主,再看虚拟机,最后回到业务,宿主看CPU就绪、内存换页、存储时延、网络丢包;虚拟机看vCPU等待、气球回收、块设备时延;业务看P99延迟和错误率,排查顺序建议:
- 用
esxtop或virsh确认争抢发生在CPU、内存、存储还是网络。 - 查同宿主虚拟机列表,找最近迁移、扩容或备份任务。
- 对高争抢虚拟机做反亲和迁移,先小步搬一台观察。
- 调整CPU份额、IO限速、网络队列,再复测业务指标。
- 仍抖动就拆资源池,别继续在单宿主上叠密度。
网络与存储队列的隔离
网络争抢常用多队列和QoS解决,Linux虚拟机可用ethtool -l eth0看队列,用ethtool -L eth0 combined 4调整;虚拟交换机侧做流量整形和端口限速,存储争抢靠队列深度、iothread和独立数据存储隔离,行业共识认为,存储时延问题最难靠CPU扩容掩盖,排列时就要把重IO业务拆开。
排列落地:成本、地域与持续调优
中小企业虚拟机授权成本怎么控制
中小企业虚拟机授权成本怎么控制,关键在“按物理资源买授权,按业务价值排密度”,先盘清物理CPU核心数、内存、存储和网络,再决定哪些业务适合超配、哪些必须预留,询价时把CPU核心、内存、存储IOPS、网络带宽拆开比,别只比单台价格,能错峰的业务放低峰资源池,能预留的用预留实例,别为全年峰值长期买单。
华东地区云主机虚拟机部署选型
华东地区云主机虚拟机部署选型,要同时看可用区、网络时延和存储类型,核心业务跨可用区做反亲和,接入层靠近用户侧,数据库优先低时延云盘或本地盘方案;跨区备份和批处理可放成本更低的区域,据工信部公开的云计算相关文件,云资源利用率要与业务稳定性平衡,地域选择不能只看单价。
监控与迁移节奏
排列不是一次性动作,给CPU就绪时间、内存换页、存储时延、网络丢包设告警,按周看趋势,迁移用维护窗口小步走,一次只动一类业务,迁完对比业务P99和宿主指标,据中国信息通信研究院相关白皮书类资料,虚拟化资源调度要结合业务SLA持续迭代,静态排列很难长期有效。
排列做得好,虚拟机像各就各位的团队;排列做不好,超配越多,故障越会连锁。 性能与利用率不是二选一,关键是让每台虚拟机站在适合自己的宿主上。
虚拟机排列优化Q&A
虚拟机排列优化先调CPU还是先调内存? 先查内存换页和存储时延,再调CPU超配,内存争抢会伪装成CPU问题,顺序反了容易白忙。
反亲和规则是不是越多越稳? 不是,规则过多会限制调度、降低利用率,只对主备、生产和测试、重IO互斥这类强冲突做反亲和。
虚拟机排列优化只看宿主机利用率够吗? 不够,宿主机利用率只是结果指标,必须同时看CPU就绪时间、内存换页、存储时延和网络丢包,否则高利用率可能只是把风险藏起来。