首页 > 科技未来 > 内容

具有可控内存的管道并行性

发布于：2024-06-18 编辑：匿名来源：网络

在最近提交的题为“具有可控内存的管道并行性”的论文中，我们介绍了一种用于优化计算中管道并行性的新框架。

具有可控内存的管道并行性

这项工作因其系统性方法而脱颖而出，该方法减少了管道调度所需的峰值激活内存，这比常用的 1F1B（一个在前，一个在后）调度有了显着改进。

所提出的方法不仅内存效率高，而且在纯管道并行设置中显示出令人印象深刻的吞吐量增加，范围从 7% 到 55%。

此外，与混合并行超参数相结合时，与 1F1B 基线相比，新技术显示大型语言模型的吞吐量提高了 16%。

本文可能会改变研究人员和从业者寻求提高并行计算系统效率的方式，特别是那些研究内存和吞吐量是关键限制的大规模模型的系统。

- 提出了一个管道并行框架，通过重复构建块来分解管道调度。

- 发现现有的管道调度存在内存效率低下的问题。

- 引入了具有受控激活内存的内存高效构建块，可以减少峰值激活内存。

- 可以实现几乎零管道气泡。

- 在纯管道并行设置中，方法的性能优于 1F1B 7% 到 55%。

- 当使用具有混合并行超参数的网格搜索时，该方法将大型语言模型的吞吐量提高了 16%。

站长声明

标签：

上一篇：咸丰水果终止IPO辅导，“A股水果第一股”梦想破灭？

下一篇：网易Q4财报：净利润198亿元，同比增长25.6%

当地文旅，在抖音

排队“讨饭”抖音这一周追随者最快的达人是谁抖音？河南文旅至少可以获得一项提名。自1月9日起，原本仅有10万多粉丝的河南文旅抖音账号粉丝数量已增至数万。不到一周，河南文旅就发了超过短视频关于当地文旅的帖子，官方调侃：“电脑冒烟了”。随后，山东、河北、山西、沉

06-17
广电总局：打击利用广播电视、网络视听平台实施金融诈骗

近日，广电总局召开打击电信网络诈骗工作会议。会议强调，一方面要配合公安和广播管理部门加强对“黑广播”的管理，大力整顿“灰色广播”的无序行为；另一方面，要加强广告播出管理，坚决打击利用广播、电视、网络视听平台实施电信诈骗行为。、金融诈骗等行为，坚决纠正虚

06-18
在线协同文档“一起写”获780万美元B轮融资，快手投资

据投资界7月14日消息，国内在线协同文档服务商“一起写”宣布获得1万美元融资美元B轮融资以快手美元投资。 Write Together创始人蔡建表示：“国内文档协作市场已经打开。未来，Write Together将持续开发办公系列应用功能，将产品矩阵延伸到整个办公场景。本轮融资正是为了

06-18
韩国三星将停止向俄罗斯供应电话通讯设备和芯片

央视（总台记者王德禄唐鑫）据多家外媒5日报道，韩国三星将停止向俄罗斯供应电话通讯。设备和芯片。此前，三星发表声明称，鉴于当前地区局势，已暂停前往俄罗斯的货船。三星表示，停止向俄罗斯供货的原因是物流和运输出现问题。公司目前正在积极关注当前复杂形势，制定

06-06
中科微通基于PCPHY PC802基带SoC的5G NR小基站通过运营商现网测试

Bikochi通过运营商现网测试，充分验证了PCPHY SoC和基于其开发的5G小基站的能力商用部署和交付近日，5G小基站基带芯片和电信级软件提供商Picocom宣布推出配备其PC小基站基带/物理层（PHY）片上系统（SoC）的集成5G NR。该小基站产品近日通过中国运营商现网测试。测试结果表

06-06
继苹果之后，微软也将打造“发电厂”

从Windows到Surface电脑，微软的大部分产品都给人一种特殊的感觉——直接、粗糙，非常科学和工程。这一特点甚至体现在微软总部园区的设计中。与Apple Park“船”形营造的奇幻相比，位于西雅图雷德蒙德的微软总部显得有些普通，没有特别引人注目的建筑。您周围的社区。这或

06-21
“科创中国”新时代企业家谈话活动数字经济新势力创新创业沙龙在郑州举行

10月22日下午，“科创中国”新时代企业家谈话活动数字经济新力量创新创业沙龙全国大众创业周在郑州主会场举行。沙龙围绕数字经济新趋势、新场景、创新方向进行研讨交流，邀请创新创业先锋分享创业经验，鼓励更多年轻人抓住机遇，投身数字经济。此次沙龙活动是在全国热议“数

06-18
Aedikon完成新一轮8800万美元融资，凯雷仍为单一第一大股东

投资界（ID：pedaily）1月26日消息，第三方独立医学检测机构Aedikon控股有限公司及其旗下控制实体公司（以下简称“Adikon”）和凯雷投资集团（在美国纳斯达克上市，股票代码：CG，以下简称“凯雷”）今天宣布，Adikon已完成10,000美元优先股的发行融资。此次融资获得超额认购

06-18
再次聚焦智能制造，“科创中国”专题路演成功举办

6月4日下午，“科创中国”系列路演首场活动——“科技传播助力智能制造（二）” ）”成功举办。智慧未来、逸飞智能、瑞坤科技、微库客等四家中小型科技公司参加了路演。中国投资协会副会长、股权与创业投资专业委员会主任委员沈志群作为主办方代表致辞表示，线上路演有效促

06-17
《心血管系列报告8》聚焦移动心脏监测，看大象医疗如何舞动

大象医疗是中国科学院计算技术研究所（ICT）旗下子公司，专注于移动心脏监测的研发和销售心脏监护产品，并获得ICT孵化器智慧城市中科天使投资。预计很快，全球首款为运动员或严肃运动爱好者量身定制的智能服装将面世。这款智能服装通过织物电极与皮肤接触，可以监测心率、心

06-17
价值几十块钱的“冰淇淋刺客”让人心碎，价值上百块钱的毛绒玩具让大人争相掏钱

大人不想生孩子，却想养孩子。宝贝是一个总称，可以是猫、狗，可以是泡泡玛特，可以是高达模型，也可以是毛绒玩具。毛绒玩具行业的顶尖玩家中，除了IKEA Shark之??外，还有2001年创立于伦敦的Jellycat。有一个小朋友非常喜欢Jelly和Cat，一想到把两者结合起来就会咯咯笑。

06-21
商务部：中国依然是全球外资重要目的地

商务部新闻发言人高峰介绍，今年以来，我国吸收外资实现快速增长。从近5个月的情况来看，外国投资者持续看好中国经济发展前景和中国市场的巨大潜力。包括欧洲企业在内的各国投资者用实际行动证明，中国仍然是全球外资重要投资目的地。商务部将继续推进高水平开放平台建设，

06-18