首页 > 科技浪潮 > 内容

麻省理工学院的又一突破！利用AI过滤音源，让音乐更动听

发布于：2024-06-06 编辑：匿名来源：网络

猎云网新闻 - 一般情况下，均衡器都可以用来带出音乐中的低音部分，但麻省理工学院计算机科学与人工智能实验室（CSAIL）发现更好的解决方案。

他们开发的新系统 PixelPlayer 使用人工智能来区分和过滤声音，使音乐听起来更响亮或更柔和。

将指定视频输入经过充分训练的PixelPlayer，系统可以随机过滤伴奏并识别声源，然后计算图像中每个像素的音量，然后通过“空间定位”确定产生相似声波的片段。

今年9月，欧洲计算机视觉会议将在德国慕尼黑举行。

会议上即将发表的一篇新论文详细讨论了“像素之声”。

“最好的情况是我们可以识别哪种乐器发出哪种声音，”麻省理工学院计算机科学与人工智能实验室的博士生、该论文的合著者赵航说。

PixelPlayer 的核心是基于乐器组合多模态训练的神经网络。

该数据集使用 Youtube 上未经修剪和未标记的视频。

其中，总共60小时的视频用于训练，其余用于验证和测试。

在训练过程中，研究人员向系统算法输入基于原声吉他、大提琴、单簧管、长笛和其他乐器的算法。

这只是 PixelPlayer 多机器学习框架的一部分。

经过训练的视频分析算法将从剪辑的帧中提取视觉特征。

这是系统的第二个神经网络，音频分析网络。

音频分析网络将声音分成片段并从中提取特征。

最后，音频合成网络将两个网络输出的特定像素和声波关联起来。

PixelPlayer进行完全自监督学习，因此人们不需要对数据进行注释，系统目前可以识别20种乐器。

麻省理工学院的又一突破！利用AI过滤音源，让音乐更动听

赵航表示，更大的数据集增强了系统的识别能力，但并没有增强其识别乐器子类别的能力。

该系统还可以识别音乐元素，例如小提琴的谐波频率。

研究人员认为 PixelPlayer 可以进行声音编辑，或者帮助机器人理解动物、车辆和其他物体发出的环境声音。

他们写道：“我们希望我们的工作能够开辟新的研究途径，从视觉和听觉信号的角度实现声源分离。

站长声明

标签：

上一篇：联发科将发布4nm工艺天玑9300+芯片

下一篇：魏少军：高质量发展如何从“芯”突破？

兆易创新：拟向长鑫科技投资15亿元，深化DRAM业务合作

兆易创新3月30日公告，为加强公司与长鑫科技集团有限公司（以下简称“长鑫科技”）的合作关系）战略合作，公司拟利用自有资金15亿元参与长鑫科技新一轮融资。本次增资完成后，公司将持有长鑫科技约1.88%的股权。此次投资长鑫科技有利于深化双方战略合作关系，发挥晶圆代工

06-06
编程猫获2.5亿元C+轮融资，C轮融资总额达6.5亿

据投资界4月17日消息，近日，在线少儿编程平台编程猫（深圳点猫科技有限公司） Ltd.）获得另一轮C+融资。金额为2.5亿元。截至目前，编程猫C轮融资已累计6.5亿元，公司历史累计融资金额已达12.5亿元。本轮编程猫由招银国际领投，中银集团旗下股权投资基金渤海中盛及现有股东

06-18
芯长征完成B1轮近亿元融资，专注新型功率半导体器件研发

据投资界1月14日消息，芯长征科技股份有限公司（以下简称芯长征） “芯长征”）近期完成近亿元B1轮融资。融资方面，本轮融资由达泰资本、林信资本、动平衡资本、岱蓝合伙人资本、高创资本联合投资。据悉，本轮融资将用于公司持续扩大工业、家电及消费产品线产能及新产品开

06-18
自动驾驶初创公司 Venti 完成 2880 万美元 A 轮融资

投资社区（ID：pedaily）3 月 29 日消息，据外媒报道，自动驾驶初创公司 Venti Technologies 近日表示，公司已完成总计2、1万美元的A轮融资，以加速其自动驾驶汽车业务的发展，服务于物流和供应链行业的客户。 Venti 本轮融资的投资者包括 LG 集团风险投资部门 LG Technolog

06-18
VIPKID大班课业务更名为“大米网校”，获8000万美元A轮融资

据投资界1月6日消息，VIPKID今日宣布，大班课业务正式更名为“大米网校” “大米网校”，是为小学生大班直播课堂产品量身定制的，专注于英语和数学两大科目。莱斯网校获得腾讯、红杉资本中国基金、黑马纵横等机构1万美元A轮融资。这也是今年K12教育领域的首个融资案例。 V

06-18
半导体设备公司“集一科技”完成数亿战略融资

投资圈（ID：pedaily）10月10日消息，上海集一科技有限公司（以下简称“集一科技”）近日宣布完成数亿元战略融资，本轮融资由拓景科技、合肥实业、盛世资本、耀明资本、冯源资本、经凯资本、银泰华盈、翌昕投资、上海仁毅等机构联合投资，华泰联合证券为财务顾问独家代理。此

06-18
全网期待！马力欧大片曝光，这位“中年水管工”是如何红遍全球37年的？

世界上最大的视频网站仅仅因为发布了他主演的新电影预告片就被屏蔽了。谁的影响力这么大？！就是他，出道37年来从未发过脾气的世界顶级“偶像”——马力欧（马里奥）！马力欧大片来了！就在前天（10月8日）凌晨4点，任天堂召开了线上面对面会议。与以往不同的是，这次公布

06-21
正美机械去年归属母公司净利润12.28亿元，同比增长18.04%

正美机械（4.HK）发布业绩报告称，公司全年营业总收入69亿元（人民币，下同），同比增长3.29%；归属于股东净利润12.28亿元，同比增长18.04%。听，中小企业反馈平台。倾听用户需求，倾听创业者声音，解决中小企业痛点。点击立即参与调查并获得礼物。

06-17
“深圳福田赛道明星”第三次齐聚，10家学生企业最终签约入驻

在“十四五”新趋势指引下，为创造区域发展新机遇，深圳市福田区政府携手阿里云加速器、星火工厂，共同举办“深圳福田赛道明星”，聚焦智能产业，通过聚合优质创新资源和创新项目，更好地推动智能产业发展。福田区融合云计算、物联网技术的现代新兴产业业态重点发展生态建设

06-18
阿里与百度联手投资飞腾信息：芯片设计服务商

投资圈（ID：pedaily）据10月9日消息，飞腾信息技术有限公司（以下简称“飞腾信息”）》）股东变更，新增中国十大股东包括互联网投资基金（有限合伙）、杭州阿里巴巴创业投资管理有限公司、百度关联公司大泽县白瑞祥创业投资管理有限公司。注册资本从6.67亿元增加到7.49亿元

06-17
达达集团年报：营收同比增长85%，京东到家GMV同比翻倍

这一年，达达集团营收同比增长85%至57.4亿元，净亏损17.1亿元，上年同期亏损16.7亿元。听，中小企业反馈平台。倾听用户需求，倾听创业者声音，解决中小企业痛点。点击立即参与调查并获得礼物。

06-17
AI公司追一科技获中金资本战略投资

投资圈（ID：pedaily）据9月27日消息，深圳市追一科技有限公司（以下简称：追一科技）宣布获得中金资本战略投资资本对其基础设施基金进行战略投资。双方将在人工智能等新型基础设施创新项目中加快产融结合，在资本、技术、产业、生态合作等各方面密切配合。在AI行业面临资本

06-17