普发真空助力CMS半导体应用
06-06
4月17日，中国AIGC产业峰会在北京举行。
本次峰会以“你好，新应用”为主题，邀请来自生成式人工智能应用、人工智能基础设施和模型层的代表企业分享生成式人工智能的最新现状和趋势。
在本次峰会上，高通AI产品技术中国区负责人万卫星发表了《推动终端侧生成式AI时代》的主题演讲。
他强调终端侧生成式AI时代的到来，并提到高通发布的第三代骁龙8和骁龙X精英平台已经或即将赋能众多AI手机和AI PC产品。
万卫星详细介绍了高通AI引擎及其组件，并演示了高通异构计算能力的端到端用例。
此外，万卫星还介绍了高通AI软件堆栈和AI Hub，将极大提高开发者在模型开发、优化和部署方面的效率，从而帮助创造更多创新的AI应用。
演讲全文如下：大家早上好，很高兴参加本次中国AIGC产业峰会，与各位嘉宾朋友一起迎接生成式AI时代的到来，并与大家分享所提供的产品和解决方案高通作为芯片制造商，如何推动AIGC相关产业的大规模扩张。
我们相信，终端侧生成式AI时代已经到来。
随着今年10月发布的第三代骁龙8和骁龙X Elite产品，高通已经将大语言模型彻底搬到了终端侧进行运行。
并且已经或即将赋能众多AI手机、AI PC。
手机方面，去年底、今年年初多家OEM厂商发布的Android旗舰产品，包括三星、小米、荣耀、OPPO和vivo等，都具备运行生成式AI的能力在设备端。
基于图像语义理解的多模态大模型的发展是当前的一个重要趋势。
在今年2月的巴塞罗那MWC期间，高通还展示了全球首款运行在Android手机上的多模态大型模型（LMM）。
具体来说，我们在搭载第三代骁龙8的参考设计上运行了基于图像和文本输入的大型语言和视觉助理大型模型（LLaVa），参数超过70亿个，可以根据图像生成多轮对话输入。
具有语言和视觉理解功能的大型多模态模型可实现识别和讨论复杂视觉模式、对象和场景等用例。
想象一下，有视觉障碍的用户可以在终端侧使用这项技术在城市内进行导航。
同时，高通还展示了全球首个在Snapdragon X Elite上运行在Windows PC上的大型多模态音频推理模型。
接下来我们看看高通作为芯片厂商是如何满足生成式AI的多样化需求的。
不同领域的生成式人工智能用例有不同的需求，包括按需、连续和普遍的用例。
它们背后所需要的AI模型也有很大不同。
很难有一种模型可以完美适合所有生成式人工智能用例或非生成式人工智能用例。
生成式人工智能用例。
例如，某些用例需要顺序控制并且对延迟敏感；一些用例是连续的，并且对计算能力和功耗敏感；一些用例需要始终在线，并且对功耗特别敏感。
高通推出的Qualcomm AI Engine是领先的异构计算系统。
它包含多个处理器组件，包括通用硬件加速单元CPU和GPU、专门针对高计算能力要求的NPU以及用于AI推理的高通传感器中枢。
在此过程中扮演不同的角色。
上面提到的顺序执行的按需任务可以运行在CPU上，也可以运行在GPU上；对AI算力要求较高的连续任务，如图像处理、生成式AI等，可以在NPU上运行；对于那些需要永远在线的人来说，特别是功耗敏感的任务可以在高通传感器集线器上运行。
下面我给大家简单介绍一下高通NPU的演进路线。
这是一个非常典型的案例，上层用例驱动底层硬件设计。
几年前或更早的时候，AI 主要用于一些相对简单的图像识别和图像分类用例，因此我们为 NPU 配置了标量和矢量加速器。
今年，计算摄影的概念开始流行。
我们把研究方向从图像分类转向AI计算、AI视频等，包括对自然语言理解和处理的支持，以及对Transformer模型的支持。
我们在 NPU 硬件标量矢量加速器的基础上，添加了张量加速器。
2017年，大车型非常流行。
我们在业界率先完成端侧大模型支持，并为NPU配置了专门的Transformer加速模块。
2019年，我们将重点支持多模态模型的客户端实现，支持参数量较高的大语言模型在客户端的部署。
接下来我将为大家更深入地介绍一下Qualcomm Hexagon NPU。
第三代骁龙8搭载的Hexagon NPU不仅进行了微架构升级，还专门配置了独立供电轨，以实现最佳能效。
我们还通过微切片推理技术支持深度网络集成，以实现更极致的性能。
此外，Hexagon NPU还集成了专为生成式AI打造的Transformer加速模块、更高的DDR传输带宽、更高的IP频率等先进技术。
所有这些技术的结合使 Hexagon NPU 成为行业领先的设备端生成 AI NPU。
接下来我们看一个具体的案例，虚拟化身AI助手——这是一个非常典型的端到端用例，充分利用了高通的异构计算能力。
它包括许多复杂的人工智能工作负载。
首先，自动语音识别（ASR）模型负责将语音信号转换为文本。
这部分工作负载可以在高通传感器集线器上运行。
接下来，大语言模型负责处理文本输入并生成Reply和对话，这部分工作量可以在NPU上运行；然后通过文本转语音（TTS）模型将文本输出转换为语音信号，这部分负载可以在CPU上运行；最后，GPU模块负责同步完成基于语音输出的虚拟化身渲染，这样就可以得到一个端到端的与语音交互的虚拟化身助手用例。
前面介绍了硬件技术，现在分享一下高通平台的AI性能。
在智能手机领域，第三代骁龙8不仅在鲁大师AIMark V4.3、安兔兔AITuTu等AI基准测试中取得了总体成绩，而且在MLCommon MLPerf Inference: Mobile V3的特定模型推理性能测试中也取得了总分。
.1.各方面性能均远超竞品。
在PC端，Snapdragon X Elite在Windows的UL Procyon AI推理基准测试中也优于基于X86架构的竞品。
除了提供领先的硬件平台设计外，高通还推出了跨平台、跨终端、跨操作系统的统一软件堆栈，称为Qualcomm AI Stack。
高通AI软件堆栈支持当前所有主流训练框架和执行环境。
我们还为开发者提供了不同层次、不同层次的优化接口，以及完整的编译工具链，让开发者可以在Snapdragon平台上更高效地完成任务。
模型开发、优化和部署。
值得强调的是，高通AI软件栈是跨平台、跨终端的统一解决方案，因此开发者只要在高通和骁龙平台上完成模型的优化和部署就可以轻松完成这部分工作。
从 Qualcomm 和 Snapdragon 迁移到其他所有产品。
在今年的MWC巴塞罗那期间，高通发布了一款非常重要的产品——高通AI Hub（Qualcomm AI Hub）。
该产品面向第三方开发者和合作伙伴，可以帮助开发者更充分地利用高通和Snapdragon底层芯片的硬件计算能力来开发自己的创新AI应用。
使用Qualcomm AI Hub进行应用开发的过程就像“把大象放进冰箱”一样简单。
第一步是根据用例选择所需的模型；第二步，选择需要部署的高通或者骁龙平台；第三步，只需要写几行脚本代码就可以完成整个模型部署并在终端端看到应用。
或算法的性能。
目前Qualcomm AI Hub已经支持了10多个模型，其中包括大家比较关心的生成式AI模型，包括语言、文本和图像生成，也包括传统的AI模型，如图像识别、图像分割、自然语言理解等，以及自然语言处理。
具体型号信息欢迎您访问高通AI Hub网站（AIHUB.QUALCOMM.COM）查询。
最后，我们来总结一下高通在AI领域的领先地位。
首先，高通拥有无与伦比的终端侧AI性能；第二，高通拥有顶尖的异构计算能力，使AI能力贯穿整个SoC，充分释放CPU、GPU、NPU和高通传感器中枢的能力进行应用开发。
第三，我们提供可扩展的AI软件工具，即高通AI前面提到的软件堆栈；最后，我们可以支持广泛的生态系统和人工智能模型。
雷锋网（公众号：雷锋网）雷锋网版权文章未经授权禁止转载。
详情请参见转载说明。
#阿里云#创新创业#创业支持#创业资讯我们关注国内外最热门的创新创业动态，提供一站式资讯服务，实时传递行业热点新闻、深度评论和前瞻观点帮助企业家掌握新兴技术。
趋势和行业变化，以及对未来技术趋势的洞察。
版权声明：本文内容由互联网用户自发贡献，本站不拥有所有权，不承担相关法律责任。如果发现本站有涉嫌抄袭的内容，欢迎发送邮件 举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。
标签：
相关文章
06-06
06-18
06-17
06-17
06-18
最新文章
Android旗舰之王的过去与未来
智能手表不被开发、AR眼镜被推迟，Meta的产品经历了一波三折
为什么Cybertruck是特斯拉史上最难造的车？
更新鸿蒙3后，文杰允许你在车里做PPT了
新起亚K3试驾体验：追求“性价比”，韩系汽车仍不想放弃
阿维塔15登场！汽车配备了增程动力，理想情况下会迎来新的对手吗？
马斯克宣布创建 ChatGPT 竞争对手！ OpenAI的CEO给他泼了冷水， GPT-5可能会发生巨大变化
骁龙无处不在，是平台也是生态