中关村集成电路设计园正式开园
06-06
“除了相机优化和语音助手，移动AI还有什么？”今年新一代骁龙8移动平台发布时，高通再次翻译了它。
打开你的心扉意味着什么？让手机学会“听诊”，通过声音识别用户可能患有的疾病，比如抑郁症、哮喘等；让手机“防偷窥”，通过识别陌生用户的视线自动锁定屏幕。
;让手游实现超分辨率，将以前只能在PC上才能实现的画质搬到手机上体验……更重要的是，骁龙8有能力同时运行这些AI功能！高通称，搭载骁龙8的第七代AI引擎性能较上一代提升高达4倍。
这意味着我们在玩手机的时候，同时“打开”几个AI应用是没有问题的。
更重要的是，它不仅仅是简单的AI性能提升，还为用户提供了流畅的应用体验。
在硬件工艺升级如此困难的今天，高通是如何在第七代AI引擎的性能和应用上想出这么多新花样的呢？我们翻阅了高通发布的一些研究论文和技术文档，发现了一些“端倪”：在高通发布的AIMET开源工具文档中，有提到“如何压缩AI超分辨率模型”的信息；在一篇与“防偷窥”相关的技术博客中介绍了如何在隐私保护的前提下使用目标检测技术……这些文档以及该技术博客背后的顶级会议论文均来自一个组织——高通AI研究院。
可以说，高通在7代AI引擎中“隐藏”了多家研究机构发表的AI论文。
顶文《隐藏》手机AI先来看看第七代AI引擎在拍照算法方面的改进。
在智能识别方面，高通今年将面部特征识别点增加至3个，可以捕捉到更细微的表情变化。
但与此同时，高通将人脸检测的速度提高了%。
你是怎么做到的？在 CVPR 上发表的高通研究中，我们找到了答案。
在这篇文章中，高通提出了一种新的卷积层，称为Skip-Convolutions（跳跃卷积），可以将前后两帧相减，只对变化的部分进行卷积。
没错，就像人眼一样，更容易注意到“运动部件”。
这使得骁龙8在做目标检测、图像识别等视频流实时检测的算法时，可以更加专注于目标物体本身，同时利用多余的算力来提高精度。
你可能会问，这么细致的面部识别拍照有什么用呢？此外，此次高通与徕卡合作推出了徕卡徕兹滤镜，该滤镜采用了基于AI的智能引擎，包括人脸检测等算法，让用户无需思考即可拍摄出更加智能的照片。
艺术风格的照片。
除了人脸检测之外，高通的智能拍摄功能还包括超分辨率、多帧降噪、局部运动补偿……不过，高分辨率拍摄中的视频流通常都是实时的，而到底是做什么用的呢？ AI引擎做什么？如何智能处理如此大量的数据？在同一篇CVPR论文中，高通提出了一种由多个级联分类器组成的神经网络，可以根据视频帧的复杂程度改变模型中使用的神经元数量，并自行控制计算量。
面对智能视频处理“庞大而复杂”的流程，AI现在可以坚持下去了。
除了智能摄影之外，高通的语音技术也是此次的一大亮点。
正如开头提到的，第七代AI引擎支持使用手机加速分析用户语音模式，以确定哮喘、抑郁症等健康状况的风险。
那么，如何在不涉及数据采集的情况下，准确区分用户的语音呢？具体来说，高通提出了一种手机上的联邦学习方法，可以利用手机用户的语音来训练模型，同时保证语音数据的隐私不被泄露。
诸如此类的很多AI功能，在高通AI研究院发表的论文中也能找到。
我们也可以从开头提到的AI提升手机性能的理论支撑中找到线索。
这就提出了一个问题：当同时运行如此多的AI模型时，高通如何提高硬件的处理性能？这里不得不提一下高通近年来的重点研究方向——量化。
从高通公布的最新技术路线图来看，模型量化一直是AI研究院近年来研究的核心技术之一，目的是为AI模型“瘦身”。
由于功耗、算力、内存、散热能力有限，手机上使用的AI模型与PC上的有很大不同。
在PC上，GPU可以轻松达到数百瓦的功率，并且AI模型的计算可以使用16或32位浮点数（FP16、FP32）。
手机SoC的功耗只有几瓦，很难存储大型AI模型。
这时就需要将FP32模型缩减为8位整数（INT8）甚至4位整数（INT4），同时保证模型精度不遭受太大损失。
以AI抠图模型为例。
我们通常可以利用计算机处理器的计算能力来实现非常准确的人工智能抠图。
不过相比之下，如果想要用手机实现AI抠图的“类似效果”，就得使用到建模量化的方法。
为了将更多的AI模型放到手机上，高通做了大量的量化研究。
峰会发表的论文包括无数据量化DFQ、舍入机制AdaRound、联合量化剪枝技术Bayesian Bits）等。
其中，DFQ是一种无数据量化技术，可以减少训练AI任务的时间，提高量化精度性能。
在手机上最常见的视觉AI模型MobileNet上，DFQ取得了超越所有其他方法的最佳性能：AdaRound则可以将复杂的Resnet1 8和Resnet 50网络的权重量化为4位，大大减少了网络的存储空间模型，而仅损失不到 1% 的精度：贝叶斯位作为一种新的量化操作，不仅可以将位宽加倍，还可以量化每个新位宽下全精度值与之前舍入值之间的残差，在准确性和效率之间提供更好的权衡。
这些技术不仅让更多的AI模型以更低的功耗运行在手机上，也让原本只能在电脑上运行的游戏AI超分辨率（类似DLSS）现在可以在骁龙8上运行。
甚至有些AI模型可以“同时运行”，比如姿势检测和人脸识别：事实上，论文只是第一步。
想要将AI能力快速应用到更多应用中，还需要更多相应的平台和开源工具。
高通保持开放态度，将更多AI能力释放到应用中。
高通AI研究院通过合作、开源等方式，与更多开发者社区和合作伙伴分享了这些论文中高效构建AI应用的方法和模型。
由此，我们可以在骁龙8上体验到更多有趣的功能和应用。
一方面，高通与谷歌合作，与开发者分享快速开发更多AI应用的能力。
高通在骁龙8上搭载了谷歌的Vertex AI NAS服务，每月更新一次，这意味着开发者在第七代AI引擎上开发的AI应用的模型性能也可以快速更新。
使用NAS，开发者可以自动利用AI生成合适的模型，包括高通在峰会上宣布的智能摄影算法、语音翻译、超分辨率……都可以纳入AI的“筛选范围”，并自动提供开发人员的最佳模型。
哪个匹配最好的模型。
这里使用了高通的运动补偿和帧插值算法。
开发者也可以通过NAS实现类似这些的AI技术，而且也可以更好的适配骁龙8，不存在“训练不足”的问题。
想象一下，以后使用搭载骁龙8的手机玩游戏时，会感觉画面更加流畅，但不会消耗更多电量（指功耗增加）：同时，维护AI模型的构建也变得更加简单。
据谷歌称，与其他平台相比，Vertex AI NAS 可以将训练模型所需的代码行数减少近 80%。
另一方面，高通也开源了多年来积累的量化研究工具。
去年，高通开源了一款名为 AIMET（AI Model Efficiency Toolkit）的模型“效率提升”工具。
它包含神经网络剪枝、奇异值分解（SVD）等大量压缩和量化算法，其中不少是高通AI研究院发表的顶级会议论文成果。
开发者使用AIMET工具后，可以直接利用这些算法来改进自己的AI模型，让其在手机上运行得更加流畅。
高通的量化能力不仅开源给普通开发者，还让更多来自领先AI公司的AI应用能够在骁龙8上落地。
在新的骁龙8上，他们与人工智能领域知名公司Hugging Face进行了合作。
NLP，让手机上的智能助手能够帮助用户分析通知并推荐哪些通知可以优先处理，让用户一眼就能看到最重要的通知。
当在 Qualcomm AI Engine 上运行他们的情感分析模型时，它比普通 CPU 快 30 倍。
正是技术研究的积累和在技术上保持的开放态度，让高通不断刷新手机行业的各种AI“新思路”：从之前的视频智能“淘汰”、智能会议静音，到今年的反窥视屏、手机超分辨率……以及更多论文、平台和开源工具实现的AI应用也都包含在这个AI引擎中。
一直隐藏在这些研究背后的高通AI研究院，随着第七代AI引擎的亮相，重新浮出水面。
高通AI的“软硬件兼备” 很多时候，我们对高通AI的印象似乎还是集中在AI引擎的“硬件性能”上。
毕竟，自2018年推出首个AI项目以来，高通一直在硬件性能方面提升AI模型的处理能力。
不过，高通对于AI算法的研究也是“谋划已久”。
2016年，高通成立了AI研究院，由AI领域知名理论学者Max Welling担任院长，他是深度学习之父Hinton的学生。
据不完全统计，高通成立AI研究院以来，已在NeurIPS、ICLR、CVPR等AI顶级学术会议上发表数十篇论文。
其中，至少有四篇模型压缩论文在移动AI端实现，还有多篇与计算机视觉、语音识别、隐私计算相关的论文。
上述第七代AI引擎可以说只是高通近年来AI算法研究成果的一个缩影。
通过Qualcomm AI的研究成果，高通也成功将AI模型扩展到了许多前沿技术应用场景。
在自动驾驶方面，高通推出了骁龙汽车数字平台，“覆盖”从芯片到AI算法的一站式解决方案。
目前，已与超过25家车企达成合作，使用其解决方案的联网汽车数量已达2亿辆。
其中，宝马的下一代辅助驾驶系统和自动驾驶系统将采用高通的自动驾驶解决方案。
在XR上，高通发布了Snapdragon Spaces XR开发平台，用于开发头戴式AR眼镜等设备和应用。
通过与Wanna Kicks合作，骁龙8还将第七代AI引擎的能力带到了AR试戴APP中。
在无人机方面，高通今年发布了Flight RB5 5G平台。
其很多功能，如避障、无人机摄影防抖等，都可以通过平台搭载的AI模型来实现。
其中，第一架抵达火星的无人机“匠心号”配备了高通公司提供的处理器和相关技术。
回过头来看，不难发现，这次高通在AI性能方面不再强调硬件算力（TOPS）的提升。
而是将软硬件结合起来获取AI性能提升4倍的数据，进一步提升AI应用体验。
全面落实。
这不仅表明高通更加注重实际的用户体验，也表明了高通对自身软件实力的信心，因为硬件不再是高通AI能力的完整体现。
可以说，骁龙8第七代AI引擎的升级，标志着高通AI软硬件融合的开始。
近期，高通提出了几项关于编解码器的最新研究，并发表在 ICCV 和 ICLR 上。
在这些论文中，高通还利用AI算法展示了编解码器优化的新思路。
在一项利用GAN原理的研究中，高通最新的编解码算法使图像不仅更清晰，而且体积更小，只需要14.5KB即可完成：相比之下，原始编解码算法每帧需要14.5KB。
帧压缩到16.4KB后，森林会变得极其模糊：在另一篇采用帧插值结合神经编解码器思想的论文中，高通选择将P帧压缩和基于神经网络的帧插值补偿相结合，使用AI预测帧插值后所需的运动补偿。
经过测试，该算法优于谷歌此前在CVPR上的SOTA记录，也优于目前基于H.标准的开源编解码器的压缩性能。
这并不是高通第一次尝试将AI模型应用到更多领域。
视频编解码器的应用是另一个新的方向。
如果这些模型能够在平台甚至应用程序上成功实现，我们将能够在我们的设备上观看视频而不会出现任何故障。
随着“软硬件一体化”解决方案的不断推进，未来我们或许真的能看到这些最新的AI成果应用到智能手机上。
结合高通在PC、汽车、XR等领域的“秀肌肉”……可以预见，你熟悉的高通、你熟悉的骁龙肯定不会止步于手机，其AI能力也不会止步于手机。
停在手机上。
版权声明：本文内容由互联网用户自发贡献，本站不拥有所有权，不承担相关法律责任。如果发现本站有涉嫌抄袭的内容，欢迎发送邮件 举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。
标签：
相关文章
06-06
06-17
06-17
06-17
06-06
06-18
06-17
06-06
06-17
06-17
最新文章
Android旗舰之王的过去与未来
智能手表不被开发、AR眼镜被推迟，Meta的产品经历了一波三折
为什么Cybertruck是特斯拉史上最难造的车？
更新鸿蒙3后，文杰允许你在车里做PPT了
新起亚K3试驾体验：追求“性价比”，韩系汽车仍不想放弃
阿维塔15登场！汽车配备了增程动力，理想情况下会迎来新的对手吗？
马斯克宣布创建 ChatGPT 竞争对手！ OpenAI的CEO给他泼了冷水， GPT-5可能会发生巨大变化
骁龙无处不在，是平台也是生态