普洛斯ASP管理园发布首份可持续发展报告
06-17
3月28日，阿里云与知名半导体公司联发科联合宣布通义千问题18亿、40亿参数大模型已成功部署在天玑移动平台上，可离线流畅使用。
运行实时精准的多轮AI对话应用，连续推理功耗增量小于3W，显着提升手机上的AI体验。
这是统一大模型首次完成芯片级软硬件适配。
仅依靠终端算力即可实现优异的推理性能和功耗性能，标志着Model-on-Chip的探索正式从验证走向商业化。
新的阶段。
设备端人工智能是实现大型模型最有希望的场景之一。
利用终端算力进行AI推理，可以大幅降低推理成本、保证数据安全、提高AI响应速度，让大模型更好地为用户提供个性化体验。
然而，要在终端上部署并运行大型模型，需要完成从底层芯片到上层操作系统和应用开发的软硬件深度适配。
存在技术不互联、运营商不支持、开发有待完善等诸多挑战。
据了解，通义千要求开源18亿参数的大型模型。
其在多个权威测试集上的性能远远超过之前的SOTA模型，并且推理令牌仅使用1.8G内存。
它是一种低成本、易于部署、商业友好的小型模型。
天玑集成了联发科第七代AI处理器APU，其生成式AI处理速度比上一代AI处理器快8倍。
阿里巴巴同益实验室业务负责人徐东表示，阿里云与联发科在模型瘦身、工具链优化、推理优化、内存优化、算子优化等多个维度展开合作，真正实现基于AI处理器的高效异构加速。
将大型模型封装到手机芯片上运行，成功为业界证明了一种全新的片上模型部署模型。
图：在天玑设备上，基于通义千提问大模型的AI多轮会话可以离线完成。
基于天玑芯片的通义千提问18亿参数大模型在推理方面表现出了优异的性能和功耗。
推理过程中CPU占用率仅30%左右，RAM使用量小于2GB，推理速度超过20个token/秒，一系列指标达到业界领先水平，可进行多轮AI对话离线环境下顺利实现。
据了解，相关成果将以SDK的形式提供给手机厂商和开发者。
此外，双方团队还完成了通义千40亿参数大模型对天玑的适配。
未来，他们将基于Dimensity适配70亿等大型模型进行“证明”，支持更多AI智能体的开发。
和应用程序。
联发科无线通信事业部副总经理李彦吉博士表示：“阿里云的通易系列大机型是AI领域的领导者，我们期待通过双方软件解决方案的合作，同时推动生成式人工智能的端侧部署以及人工智能应用和人工智能代理生态的快速发展，为用户带来更多精彩的人工智能产品体验。
”同日，阿里云与联发科宣布启动联合探索。
AI代理解决方案方案融合了联发科天玑移动平台的AI算力和阿里云的大模型能力，为开发者和企业提供更完善的软硬件联合开发平台，更好地支持智能终端在智能终端领域的应用。
终端。
它以高能效实现自然语言理解、复杂决策和个性化服务生成，探索打造真正具有态势感知、自主学习和实时交互功能的下一代智能终端应用生态。
统易大模型已广泛应用于各行业，包括钉钉、淘宝、一汽红旗、央视、浙江大学等众多应用、企事业单位。
“淘宝文琴”在通义千文琴的基础上实现了全新的交互体验和更精准的推荐；阿里云与中国一汽联合打造的大型模型应用GPT-BI已率先上线，可根据企业数据自动生成分析图表。
雷锋网（公众号：雷锋网）雷锋网版权文章未经授权禁止转载。
详情请参见转载说明。
#阿里云#创新创业#创业支持#创业资讯我们关注国内外最热门的创新创业动态，提供一站式资讯服务，实时传递行业热点新闻、深度评论和前瞻观点帮助企业家掌握新兴技术。
趋势和行业变化，以及对未来技术趋势的洞察。
版权声明：本文内容由互联网用户自发贡献，本站不拥有所有权，不承担相关法律责任。如果发现本站有涉嫌抄袭的内容，欢迎发送邮件 举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。
标签：
相关文章
06-17
06-21
06-17
06-17
06-17
06-08
06-17
06-18
最新文章
Android旗舰之王的过去与未来
智能手表不被开发、AR眼镜被推迟，Meta的产品经历了一波三折
为什么Cybertruck是特斯拉史上最难造的车？
更新鸿蒙3后，文杰允许你在车里做PPT了
新起亚K3试驾体验：追求“性价比”，韩系汽车仍不想放弃
阿维塔15登场！汽车配备了增程动力，理想情况下会迎来新的对手吗？
马斯克宣布创建 ChatGPT 竞争对手！ OpenAI的CEO给他泼了冷水， GPT-5可能会发生巨大变化
骁龙无处不在，是平台也是生态