湖南德米特仪器股份有限公司宣布完成数千万元A轮融资
06-18
作者 |李媛编辑|郑玄设计行程、生成文案、进行总结、智能拓展地图。
客户端模型可以做到这一点吗？而且这么快？ 4月23日，商汤发布日日信5.0大模型系统。
其中，研究端模型SenseChat-Lite成为本次发布的亮点。
不仅领先同级别所有开源2B机型，在评测中也位列第一。
部分超过 Llama-2 7B 型号的性能。
去年以来，大型端到端模型成为消费电子行业和人工智能行业的热门话题。
端侧大模型是运行在设备侧的大模型。
它通常比我们熟悉的GPT等大型模型参数更小，因此可以直接利用端侧算力运行。
设备端人工智能具有多种优势，例如能够在任何网络条件下生成答案、隐私不必离开设备、不需要云计算能力，因此成本较低。
更强的终端侧AI能力，意味着原本不可能的用户场景将被进一步打开：工作文档也可以直接使用手机上的大模型进行处理，不用担心泄密；人们在飞机上也可以在没有网络的情况下与外国人顺利聊天；您不想让孩子的手机连接网络，但您也可以让孩子在不连接网络的情况下学习知识、听故事。
因为成本较低，也会对消费电子行业本身产生影响。
端侧模式将让包括汽车、XR在内的各种终端设备，特别是智能音箱等平价电子设备，有机会获得智能体验。
无需考虑太多的算力成本。
低延迟还将为 AI Pin 等未来设备开辟场景，并提供可用的体验。
极客公园最新的客户端模型能力展示，让我们感受到了客户端AI的快速进步。
未来，端侧AI的市场将非常广阔。
最快的端侧大模型 最让我们惊讶的是端侧大模型的响应速度。
虽然在测试之前我们就已经知道商汤的大模型反应非常快，但测试结果仍然令人惊叹。
对于人眼来说，每秒阅读20个字已经是人眼的极限了。
这次，商汤的模型在中端平台上可以达到每秒18.3个字，在旗舰平台上可以达到每秒78.3个字！在测试中，生成速度确实非常快，确实给人一种肉眼跟不上的感觉。
除了生成速度之外，响应速度也比我们熟悉的云端AI更快。
小米小爱团队负责人王刚曾表示，在做小米小爱产品时，为了提供更好的用户体验，团队原本希望找到响应时间小于1.4秒的云模型接入，但发现1.4秒对于云模型来说是不够的。
这对于大型模型来说太严酷了。
事实上，连接云模型的响应时间约为2秒。
这次，商汤客户端模型的首次加载时间不到0.4秒，远远低于即使是更先进的云模型的响应速度。
响应速度和生成速度共同构成了我们对设备端模型的第一印象，就是快——确实是业界最快的设备端模型。
除了响应速度之外，我们还测试了模型的基本能力。
我们首先看一下模型的生成能力。
给出的提示词是：帮我写一篇《红楼梦》的读书笔记。
可以看到，虽然我们没有在提示词中设置字数要求，但SenseChat-Lite一点也不偷懒，直接生成了一篇字数相当长的读书笔记。
显然，模型本身很好地诠释了《红楼梦》故事的走向、意义和人物。
您是否害怕您的孩子拿起联网的手机没完没了地玩？未来，也许我们可以给孩子一部没有网络的手机，让大模特辅导孩子。
然后我们发了一条关于文案的微博。
令我们惊讶的是，在这个场景中，我们没有限制字数，但模型独立生成了一个较短的文案来匹配微博的字数限制。
他还知道怎么加上#毕业祝福#这个标签。
显然，使用中文语料库训练模型还是有用的。
该模型非常了解文案在每个场景中所需的长度和风格，并且可以直接模仿。
完全可以想象，基于同样的模型能力，还可以直接使用客户端模型生成淘宝评论、生成文案朋友圈、生成活动促销等。
商汤表示，在训练过程中，他了解到了很多用户在手机场景下喜欢问的问题，并针对他们进行了专门训练，看来效果确实不错。
最后，我们测试了文档摘要的功能。
段点模型很快将七段复杂的文本概括为两段关于文案的内容。
您收集了多少篇太长而难以阅读的文章？ 这也很正常。
用手机看长文，确实是反人类的行为。
随着端端AI的出现，无论你是在飞机上还是火车上，当你无法阅读长篇文章时，或者当你懒得看工作文档而必须处理它时，端端模型都可以快速帮你总结要点。
除了端侧谈判模式之外，商汤还展示了端侧多模态扩散模式的能力。
多模态模型在手机上主要用于照片处理，可用于相册管理、图像生成等多种场景。
这次我们看到的是商汤的AI图像扩展模型的演示。
用手机拍照的时候，有时我们会因为角度或者为了避开游客而对图片进行裁剪。
AI图像放大在这种情况下可以利用AI计算图像的边界，生成无遮挡的图像，重新调整图像比例，生成更好看、更适合分享的图像。
演示视频是商汤的免费图像扩展功能。
事实上，商汤的AI地图扩张有很多选择。
正常情况下你可以按比例放大图像，如果照片拍歪了，你也可以直接将其调整回直线，剩下的交给AI处理。
和SenseChat-Lite一样，这次图像扩展最令人惊奇的仍然是它的速度。
据悉，该扩散模型还实现了业界最快的设备端推理速度，在高通旗舰平台上可实现不到1.5秒。
发布会上，商汤还展示了与其他竞争对手类似功能的速度对比，差异显着。
在加载朋友提供的扩展图像后，商汤的客户端模型已扩展为九张图像。
设备上的人工智能也可以非常智能。
对于端侧AI来说，一个难以逾越的问题是，端侧AI是否足够智能？ 带着这个问题，我们审视了端侧AI的生成能力。
以文章开头的行程为例。
行程规划不仅需要知识和能力——对开罗有一定的了解，还需要一定的推理能力，才能设计出好的行程。
如果模型不够智能，很容易导致“听你的比说的好”的情况，或者只生成简单的一两段答案。
这次，端侧模型生成得很好。
商汤科技介绍，客户端模型之所以能如此智能，是因为它搭载了商汤最新的数据清洗技术和高质量的数据。
根据缩放定律，当使用高质量的数据来训练模型时，小尺寸模型的能力可以超过比它大的模型的智能能力。
同时，当未来设备端模式真正投入用户使用时，商汤提出的解决方案是设备与云的结合。
商汤表示，在知识、考试、问答等场景中，端侧处理可以占比70%以上。
在其他场景中，比例可能略有不同。
不过，基于对真实用户使用场景的分析，商汤认为，事实上，大多数时候，用户提出的问题都是知识类和问答类问题，而客户端模式可以解决相当比例的问题。
他们。
为什么我们需要端侧模型？ 云模型已经做得很好了，参数多，能力强。
为什么我们仍然需要客户端模型？ 对于普通用户来说，最明显的感知可能就是生成速度快，这也是商汤此次发布的模型的优势。
商汤做了一个非常有趣的小游戏，让GPT-4和商汤的端侧模型分别接管格斗游戏玩家，体现速度的意义。
游戏中，GPT-4可以更好地分析如何闪避拳头，而且端侧模型的响应速度极快。
GPT-4来不及分析如何躲避，就被击中。
最终的结果就是端侧模型一片混乱。
一拳打死老夫子。
在用户的使用中，响应速度快，可以不断降低用户使用AI模型的心理成本（）。
一张图片展开需要一秒还是五秒，可能会完全影响该功能的使用体验。
此外，设备端模型将通过其生成能力和断线条件下更强的隐私保护，拓展新的AI使用场景。
无论是在飞机上工作，前往无人区寻找救命之策，网络条件不好时进行翻译，还是给孩子一个断网设备学习，把机密工作文件留给大模型处理，让AI接触更多人。
个人数据等，都是客户端模型未来能够提供的实用场景扩展。
对于行业来说，影响可能更大。
目前，作为用户，我们接触到的云模型通常是免费的。
但免费并不意味着没有成本。
此类费用通常由其他方为用户承担。
例如，小米曾提到，接入大机型后，小米小爱同学的活跃用户留存第二天就增加了10%。
事实上，互联网产品往往需要进行巨大的改变才能将次日留存率提高5%。
次日留存的增加将带来用户活跃度的增加，以及更多的发行机会和更强的商业化能力。
这对于小米来说是一个非常宝贵的商机。
作为一家拥有手机、汽车、音箱等多种智能硬件的公司，小米自然希望将自己的车型接入更多设备，但这涉及到云车型的成本。
小米提到，中高端手机和汽车目前对大机型的成本并不敏感，但对于扬声器这样的设备，硬件企业很难承担一个生命周期内使用大机型的成本。
而且随着大型模型能力的提高，用户可能会越来越多地使用大型模型，因此成本将成为一个更大的问题。
在客户端模型中，所使用的计算能力和电力由设备本身提供。
用户无需额外付费即可获得改善的体验，而厂商则可以节省云的成本，这是一个双赢的局面。
端侧模式是人工智能普惠的重要路径。
此外，端侧模型的数据传输和延迟对于智能硬件大模型的使用体验也非常重要。
之前备受关注的AI Pin有一个非常未来感的概念——用大模型随时随地辅助生活。
但国外评论普遍表示，经验被推翻了。
主要原因之一是AI Pin全部采用云模型。
当设备进入室内、停车场等不同地点时，响应速度过慢，会严重影响产品体验。
采用端侧模型可以避免此类问题。
目前，商汤的客户端模式还无法让用户在手机上直接体验。
智能硬件厂商需要配合商汤共同部署。
不过，商汤表示，他已经与包括小米小爱同学在内的多家领先厂商合作，相信很快，用户在终端上体验的智能场景很大一部分将由终端AI承载。
除了可以适配多种芯片的手机之外，商汤目前发布的设备端模型还可以在XR、车载等平台上使用，这将使这些设备从无到有的智能化体验。
未来，端侧智能的能力也将被解锁，进一步赋能智能设备。
商汤最新的设备端模型让我们看到设备端模型的底层模型能力正在加速、变强。
未来，设备端模式也将拥有广阔的市场。
商汤正在为手机提供上一个人工智能时代的底层功能。
在大模型时代，我们再次抓住了相关机遇，不仅推出了能力堪比GPT-4的大云模型，这次我们还推出了最快的设备端模型。
凭借过去在智能设备市场的良好合作经验，商汤在设备端未来广阔的市场中具有巨大潜力。
*头图来源：视觉中国 本文为极客公园原创文章。
版权声明：本文内容由互联网用户自发贡献，本站不拥有所有权，不承担相关法律责任。如果发现本站有涉嫌抄袭的内容，欢迎发送邮件 举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。
标签：
相关文章
06-18
06-18
06-18
最新文章
3月，腾讯《王者荣耀》在全球App Store和Google Play吸引了2.57亿美元，同比增长63%
生鲜传奇宣布完成数亿元B+轮融资
裁员20%？红杉中国回应：胡说，员工总数不降反升
第二次影视创新“闯”短剧世界：看、留、跳都是钱
ASML：从飞利浦弃儿到光刻之王
宁康瑞珠获数千万元A轮融资 横琴金投、翰颐资本投资
智能金融服务生态平台科客完成A+轮融资
拼多多九鼎：信息披露无懈可击，竞争对手才是“浇水”的