虚拟化性能优化系列-numatune

发布于：2024-10-24 编辑：匿名来源：网络

numatune是什么？ numatune 是 libvirt 的一个参数，可在 numa 架构主机上使用，用于控制来宾机器的内存访问策略。使用方法如下，参考libvirt文档 ... ...numatune 的模式选项为： strict：默认策略，如果指定该值，则节点上无法分配内存，虚拟机分配内存失败，即无法启动。

interleave：通过轮询的方式在多个指定节点上分配内存。首选：首先在指定节点上分配内存。

如果内存不足，允许在其他节点上分配内存。了解了 numatune 之后，我们将讨论 numatune 的影响以及哪些场景需要使用 numatune。

从libvirt和redhat的文档来看，numatune会对虚拟机的性能产生大约10%甚至更多的影响。高影响力，为了评估 numatune 的影响，我们进行了详细的测试。

redhat 文档将 vCPU pinning 与 numatune 结合起来可以避免 NUMA 缺失。 NUMA 未命中对性能的影响非常显着，通常会导致性能下降 10% 或更高。

vCPU pinning 和 numatune 应一起配置。测试环境虚拟机配置：cpu：32c 内存：GB 网络方式：DPDK虚拟机CPU分为两个节点，分别绑定到主机的两个节点 …… 物理机配置：cpu:96c 内存:GB 使用hugetlbfs实现Slave DPDK虚拟化方法：kvm(内核版本3.10.0-)+qemu(2.6.0)测试用例CPU性能测试：speccpu unixbench linpack内存性能测试：stream mlc测试结论speccpu测得fpspeed和fprate都有12%和25分别提高了 %，流测内存带宽增加了 78% 以上。

性能对比.png 从测试结果来看，numatune对虚拟机的性能影响非常大。接下来我们分析一下为什么会有这么大的影响。

分析对内存带宽的影响如此之大。猜测是跨numa访问导致的。

使用intel-cmt-cat查看内存分布情况。 numa miss.png 从上图可以看到，流测试时，从CPU访问了远程内存，即从CPU的node0绑定了主机的node0，但是访问的内存是在主机的numa1上级。

因为内存的跨numa访问，导致CPU性能大幅下降，这个很容易理解。为什么会出现跨numa访问？从qemu的源码来看，主要完成从内存绑定的代码位于hostmem.c的host_memory_backend_memory_complete函数中。

if (mbind(ptr, sz, 后端->策略, maxnode ? 后端->host_nodes : NULL, maxnode + 1, flags)) { if (后端->策略 != MPOL_DEFAULT || errno != ENOSYS) { error_setg_errno(errp) ，errno，“无法将内存绑定到主机 NUMA 节点”）；返回; } }#endif /* 在实例化 NUMA 策略后预分配内存。 * 这是保证内存分配时指定的 NUMA 策略所必需的。

*/ if (backend->prealloc) { os_mem_prealloc(memory_region_get_fd(&backend->mr), ptr, sz, smp_cpus, &local_err); if (local_err) { 转到输出； mbind函数首先设置NUMA内存的访问策略，然后调用prealloc进行内存预分配。如果没有设置numatune，backend->policy为默认值MPOL_DEFAULT，表示内存分配在当前分配的逻辑cpu节点对应的NUMA上。

即如果当前程序运行在node1上，则从机的所有节点都会在numa1上分配内存。。

系统范围的默认策略在触发分配的 CPU 的节点上分配页面。对于 MPOL_DEFAULT，nodemask 和 maxnodearguments 必须指定空节点集。

如果设置了numatune，您将看到更多qemu参数host-nodes= 1，policy=preferred，执行backend->policy为MPOL_PREFERRED，内存将首先从host_nodes分配。 numatune.png 接下来的 prealloc() 函数是根据上面设置的 numa 策略进行预分配。

从上面可以看出，当使用hugetlbfs来prealloc()内存时，numatune可以达到numa透传的目的。哪些场景需要添加numatune？上面提到，如果使用hugetlbfs，则需要numatune为虚拟机预先分配内存。

没有使用内存预分配，但是当使用vfio+透明大页时，也可能会出现numatunevfio过程中需要使用内存的情况。设置内存亲和性，如果没有numatune，也会出现跨numa访问的问题。

稍后会有更详细的分析。在其他情况下，添加numatune的效果并不明显。

在其他情况下，虽然有mbind操作，但没有预分配。，最终分配内存时，仍然会优先分配距离最近的numa中的内存。

特别感谢 munger Jiang 的这篇文章。

站长声明

标签：

上一篇：解决Linux下中文问号-乱码问题，解决Java等程序无法保存中文文件名和中文文件的问题，

下一篇：大数据ClickHouse进阶（三）：深入理解TTL

看见新力量NO.13｜独家专访车麦&超电创始人孙泽锋

阿里云创新中心全新出品的《看见新力量》栏目，以访谈、直播的形式，探索创业者与企业创新背后的故事等多角度、多维度的价值报道，让您听到创业者真实的声音，看到科技创新的力量。随着新能源汽车持续受到广泛关注，车企如何在新车型、新市场、新认知下提升销量，用户如何选

06-18
操盘手抖音生活服务“幕后”是谁？

“万圣节活动已经开始，看好攻略，不要踏入陷阱！” 短视频，游乐园里已经挂满了南瓜灯，我们走进了一座骷髅形状的鬼屋，达人参观时在这里玩耍，他对着镜头仔细讲解攻略，最后引导大家点击点击左下角链接即可购买团购票。效果非常好。即便是只有一千名粉丝的达人，也很快在

06-17
上交所明确科创板上市公司重大资产重组审核标准及相关事项

上交所明确科创板上市公司重大资产重组审核标准及相关事项< titlesplit >科创板。上市公司发行股份购买符合规定的资产，可申请“小额快速”审核机制，受理后不再进行审核询问，而是直接出具审核报告，报送上市公司并购重组委公司正在科创板接受审核。

06-18
中国网络电视台将引入战略投资者启动上市程序

据香港媒体报道，央视国际网络有限公司总经理汪文斌近日表示，公司正在进行股份制改革，将于近期上市未来;此外，公司还将引入战略投资者，并启动上市融资相关手续。　　中国网络电视台开播一周年研讨会日前在京举行。汪文斌表示，中国网络电视台在国家新媒体网络综合播控平

06-18
K12教育是红海，作业盒完成2亿元B+轮融资，贝塔斯曼领投，

NewSeed（ID：pelink）10月12日消息，K12教育品牌作业盒今日宣布完成2亿元B+轮融资。，本轮融资由贝塔斯曼领投，新世界、百度创投、好未来跟投。本轮融资将主要用于推动“AIOC战略”的实施。 AIOC（AI-Oriented-Content）是指“基于自适应学习场景的内容构建”。去年同期，

06-18
基因编辑公司博雅辑因已完成1亿元Pre-B轮融资，礼来亚洲基金领投，华盖资本跟投，

据投资界8月13日消息，博雅辑因集团（EdiGene Inc.）宣布完成Pre-B轮1亿元人民币。 B轮融资。本轮融资由礼来亚洲基金领投，华盖资本跟投。公司A轮领投方IDG资本、中国经济合作社、孔夫子等投资者持续投资。　　博雅辑因公司成立于2007年，目前总部位于北京，在广州和美国

06-18
白酒品牌“谷小酒”获6300万元Pre-A轮融资，博江资本领投

据投资界12月24日消息，白酒品牌谷小酒已完成1万元Pre-A轮融资。本轮由博江资本领投，阿里巴巴合伙人王帅、中金汇财跟投。此前，谷小酒公司还于今年3月获得真格基金、中金汇财等机构数万笔天使投资，9个月内完成总计近亿元融资。谷小酒酒是一种浓香型酒，由五种谷物固态发

06-18
聚焦科创企业，南通设立产业投资基金

据投资界（ID：pedaily）了解，近日，通州湾示范区联合省沿海集团、南通创新发展基金，共同设立南通通州海湾示范区海金创业投资基金。据悉，该基金规模3亿元，已签署投资协议并完成工商注册。据介绍，该基金的设立将根据通州湾示范区“五园一城一基地”的产业定位和布局，

06-18
AI芯片公司【墨芯】获1亿元Pre-A轮融资

墨芯近期完成智能互联网产业基金战略融资。墨芯此次的战略投资者是智能互联网产业基金，该基金是由中国电信集团投资有限公司、中国互联网投资基金管理公司和前海方舟资产管理公司。墨芯是一家AI芯片设计商，提供终端和云端AI芯片加速解决方案。打造新一代AI计算引擎。应用

06-18
是谁在悄悄“跳入”医美和巨头重金押注的新趋势？

最近一段时间，中国的医美和巨头又闲不住了。 11月8日，Amic与韩国光子市场份额最大的激光医疗器械公司Jeisys签署经销协议，获得Jeisys两款光电抗衰老设备在中国的推广、经销、销售及相关服务，成为*中国大陆经销商。但这并不是一个孤立的案例。此前，包括昊海生物、华东医

06-18
博世集团：2020年在华销售额1173亿元，同比增长9.1%

博世集团宣布，得益于中国汽车市场、消费品和工业技术市场的复苏，其在华业绩2020年逆势上扬，销售额达亿元，同比增长约9.1%。截至2018年，博世在中国拥有超过53,000名员工，是德国以外博世员工数量最多的国家。近10年来，博世在中国市场的投资已超过1亿元人民币。

06-18
中国一汽2月销量23.18万辆，同比增长379.2%

中国一汽公告，根据2月产销数据，当月中国一汽生产整车21辆，同比增长.5%；销售整车81辆，同比增长0.2%。其中，2月份红旗品牌整车产量6辆，同比增长0.0%；销售整车9辆，同比增长0.7%。听，中小企业反馈平台。倾听用户需求，倾听创业者声音，解决中小企业痛点。点击立即参

06-18