首页 > 科技未来 > 内容

PipeFusion：如何将 GPU 与 PCIe 低成本并行推理扩散模型互连

发布于：2024-06-18 编辑：匿名来源：网络

本文讨论了一项名为 PipeFusion 的最新创新，旨在解决部署扩散变换 (DiT) 模型用于视频生成的挑战。

PipeFusion 团队受到为 U-Net 背景扩散模型设计的并行扩散模型推理方法的启发，旨在通过降低 DiT 模型并行推理的带宽要求来对其进行改进。

这一点尤其重要，因为它可以在通过 PCIe 连接的 GPU 上实现经济高效的部署，这比 NVLink+RDMA 等高带宽互连更可行。

这项工作植根于对高保真视频生成不断增长的需求，其中 DiT 模型因其可扩展性和容量而受到青睐。

然而，由于注意力机制的高计算需求，特别是对于长视觉序列，这些模型面临部署挑战。

PipeFusion：如何将 GPU 与 PCIe 低成本并行推理扩散模型互连

PipeFusion 提供了一种新方法，可以实现更大规模的并行推理，而无需昂贵的硬件设置。

文章还提到，研究论文和实验代码已经开源，欢迎感兴趣的人探索合作。

这些内容对于那些从事机器学习工作的人来说可能很有价值，特别是在视频生成领域，因为它为高级人工智能模型部署中的紧迫问题提出了一种新颖的解决方案。

- PipeFusion 是一种降低 DiT 模型并行推理带宽要求的方法，适用于 PCIe 互连 GPU。

- 扩散模型是图像视频合成的首选技术，但DiT模型推理延迟较高，需要多卡并行处理。

- 部署DiT模型需要高带宽互连的GPU集群，成本高昂。

- 扩散模型的训练过程是通过添加噪声来预测噪声，推理过程是通过去噪生成有意义的图片。

站长声明

标签：

上一篇：20亿元河南中垦乡村振兴股权投资基金

下一篇：双星闪耀！重庆、武汉传来好消息

SPEA向泰国大学捐赠测试设备

半导体核心技术编译硅半导体 SPEA刚刚向泰国最负盛名的研究和教育机构之一的金刚理工学院（KMITL）捐赠了一台DOT半导体测试仪。一。最先进的设备旨在将实用的半导体测试程序整合到电气工程课程中，以便毕业生为该领域的职业做好准备。学生可以尝试开发集成电路的综合测试，

06-06
深圳市未来智能有限公司获数千万元Pre-A轮融资，由梅花创投领投

近日，深圳市深未来智能有限公司宣布完成数千万元融资获得由梅花创投领投的Pre-A轮融资。投资方包括耕涌资本、国宏嘉信资本、大辰创投等知名风险投资机构。据介绍，本轮融资后，众所周知，未来将更加专注于极微光全彩成像产品、芯片和系统的研发和销售。

06-18
丰年资本投资的领先关键装备企业“飞沃科技”在创业板挂牌

今日，丰年投资的湖南飞沃新能源科技股份有限公司（股票简称：飞沃科技，股票代码：32）资本在深圳证券交易所创业板正式挂牌上市。飞沃科技是一家专业从事高强度紧固件研发、制造并提供紧固系统整体解决方案的领先关键装备公司。年丰年资本投资飞沃科技后，伴随着公司的发展

06-18
AI生活助理“玩米”完成2000万元A轮融资

据投资界3月8日消息，AI生活助理“玩米”完成1万元A轮融资，投资方为悦融资本.据悉，本轮募集资金将用于NLP算法技术的创新以及汽车、手机、智能音箱等B端客户产品的研发。此前，万米已获得两轮融资：2020年10月获得臻云创投、英诺天使基金、金科君创投投资的数百万天使轮融

06-18
探索构建高效客户服务系统的预算，沃峰科技帮您轻松实现

.wp-block-column h3{margin-left:0} 随着企业规模的扩大，业务量的增加，构建一个高效的客户服务系统高效的客户服务体系已成为企业发展不可或缺的一部分。为了增强客户体验、提高工作效率，科学合理地制定客户服务系统建设预算显得尤为重要。在此过程中，合理选择先进技术

06-18
这款与MacBook竞争的产品能否成功？

去年底，苹果推出了搭载Arm版本芯片的MacBook。一方面，因为自研芯片M1提供了强大的性能和极低的功耗而备受关注。另一方面，它有一个“缺陷”，那就是它不能自行添加内存。并受到口头和书面批评。无独有偶，有一家美国初创公司想要与MacBook产品理念竞争。未来笔记本电脑

06-21
芒格的一生：为何他是巴菲特最尊敬的人

当地时间周二（11月28日），伯克希尔哈撒韦公司发表声明称，董事会副总裁查理芒格于当天上午在一场安详的去世仪式中安详离世。加州医院。投资界的奇才去世，享年99岁，距离生日仅剩一个月，不禁让人唏嘘不已。巴菲特在新闻稿中写道，“如果没有查理的灵感、智慧和参与，伯

06-17
Sensor Tower：上半年购物应用下载量达24.7亿次，同比增长32%

Sensor Tower商店情报测算显示，上半年全球购物应用下载量达到24.7亿次（截至6月22日），略高于去年同期的23.8亿次，较上半年增长32%。亚马逊购物下载量已突破 10,000 次，继续位居全球购物应用下载榜首。前半部分榜单中，总部或研发部门设在中国的申请多达6家。依托中国制

06-18
凌云共生再创程丨2024兰陵山东区域渠道合作伙伴会议成功召开

2月29日，兰陵山东区域渠道合作伙伴会议在济南成功召开。来自山东地区的兰陵伙伴齐聚济南。让我们一起踏上美好的新征程。本次会议旨在倾听合作伙伴声音，加强沟通交流，实现紧密互利、高效发展。兰陵软件董事长杨健伟、生态合作伙伴中心副总经理蒋红辉、山东大区政委马丽

06-18
广汽集团牵头设立百亿级汽车产业投资基金，由广汽资本管理

12月13日，广汽集团、中国银行、广州实投在京举行战略合作签约仪式。三方将作为有限合伙人（LP）。按33.4%、33.3%、33.3%的比例认缴出资，发起设立广州新旗智联股权投资基金。基金总规模1亿元，首期1亿元。广汽资本旗下广州盈蓬担任基金管理人。此举开创了新能源汽车发展

06-18
【创业24小时】2022年4月25日

投融资2022年4月24日，国内市场共发生11起投资披露事件，其中医疗健康领域4起（帕德生物、盾恩医疗、艾捷博雅、登特菲））、先进制造案例3个（云南中科星城、玖熠半导体、开元通讯）、汽车交通案例2个（华讯光通信、爱西车）、当地生活案例1个（鸡肉包装）、教育案例1个（一

06-18
RISC-V CON将于3月在上海、深圳举办-nbsp-聚焦RISC-V发展最新趋势

【台湾新竹】2020年3月06日 - 中国近年来积极发展半导体产业，其中RISC-V近年增长势头强劲、长期布局RISC-V架构的32/64位嵌入式CPU核心供应商晶心科技将在上海举办“RISC-V CON”分别于3月19日和3月21日在深圳举行。除了介绍晶心AndeStar? V5高性能处理器核心25系列和最新小

06-06