首页 > 科技未来 > 内容

在轻薄笔记本电脑上运行稳定的扩散和端到端大型模型? Intel说没问题

发布于:2024-06-21 编辑:匿名 来源:网络

无论是被动还是主动,大模型、AIGC、ChatGPT、Stable Diffusion、MidJourney等术语都在大家的新闻列表中轰炸。

经历了上半年的惊喜、恐慌、期待和担忧,AIGC不再是天上的福音,也不再是天网的回归。

人们开始正视它、理解它、并适当利用它。

当然,这波AIGC主要发生在云端,无论是ChatGPT,还是文心一言、同易前文这样的大型语言模型应用,还是MidJourney这样的AI生成图像应用,还有很多像Runway这样的应用使用AI生成视频的设备需要连接到互联网,因为AI计算发生在千里之外的云服务器上。

毕竟,一般来说,服务器能够提供的计算能力和存储量要比电脑和手机大很多,但这也不是绝对的。

响应速度快、无需联网的端侧AI无疑是又一个趋势,与云AI可以相辅相成。

在不久前的小米年度演讲中,小米创始人表示,小米AI模型最新的13亿参数模型已经在手机本地成功运行,部分场景可以媲美在手机上运行60亿参数模型的结果。

云。

虽然参数数量并不算多,但却说明了大模型在端侧的可行性和潜力。

在算力大得多的PC端,是否也存在大型端侧模型等AIGC应用的可行性和潜力? 8月18日,英特尔举办了技术分享会,重点分享了两个方面的信息:英特尔夏普显卡DX11性能更新、推出全新英特尔PresentMon Beta工具以及展示英特尔在AIGC领域的进展。

去年英特尔夏普台式机产品发布时,就承诺英特尔夏普显卡将持续优化升级,带来更好的体验。

随着最新Game On驱动程序的发布,英特尔夏普显卡在运行一系列DX11游戏时可实现19%的帧率提升,平均99%帧率流畅度提升约20%(相比首款驱动程序)版本)。

之前购买并使用Intel Sharp A显卡的用户,可以直接下载最新驱动,在《守望先锋 2》、《DOTA 2》、《Apex Legends》等游戏中获得体验升级。

对于正在犹豫选择显卡的用户来说,元系列的瑞轩A显卡也成为了极具竞争力的选择。

PresentMon Beta是Intel推出的一款图形性能分析工具。

它提供了Overlay(叠加视图)等功能,可以在运行游戏时在屏幕上显示性能数据,帮助玩家实时遥测GPU的电压和温度,实时分析大量信息。

您还可以查看第 99 个百分位帧时间与 GPU 使用情况的图表。

此外,PresentMon Beta 还带来了一个名为“GPU Busy”的新指标。

在这里解释一下,用户可以看到 GPU 实际使用了多少时间进行实际渲染,而不是处于等待状态,或者运行游戏的 PC 是否处于 CPU 和 GPU 平衡状态。

游戏是PC永恒的主题,而AI则是新的主题。

事实上,这波 AIGC 浪潮的主要设备是 PC,无论是 ChatGPT、MidJourney,还是 Stable Diffusion 等应用,包括基于大型模型的 Microsoft Office Copilot,或者金山 Office 的 WPS AI。

在PC上您可以获得更好的体验。

但与手机、平板电脑等其他设备相比,PC的优势不仅在于更大的屏幕和更高效的交互输入,还在于芯片性能。

在Intel谈到PC上的AIGC之前,我们注意到,在PC端运行AIGC时,往往会使用高性能游戏笔记本来运行显卡,而轻薄本往往会被排除在外。

现在,英特尔已经明确表示,基于英特尔处理器的轻薄Instinct也可以运行大型模型和Stable Diffusion。

英特尔基于OpenVINO PyTorch(英特尔推出的开源工具包,用于优化深度学习模型的推理性能并将其部署在不同的硬件平台上)的后端解决方案允许社区通过Pytorch API使用开源模型。

在英特尔客户端处理器、集成显卡、独立显卡和专用 AI 引擎上运行。

例如,开源图像生成模型Stable Diffusion(具体为AutomaticWebUI)可以通过这种方式在Intel CPU和GPU(包括集成显卡和独立显卡)上运行FP16精度模型,让用户生成文本和图像。

图片和局部修复功能。

▲ 图片来自:爱吉屋 比如这张×分辨率的蜜饼图,在Intel处理器轻薄本(仅使用i7-0H核显)上只需十秒就可以生成。

这主要得益于第13代酷睿处理器在核心数量、性能、功耗比以及图形性能方面的提升。

以14核20线程的i7-0H处理器为例,其TDP达到了45W,集成的Intel Iris Xe Graphics(96EU)显卡也不容小觑。

作为目前规格最高的核芯显卡之一,Intel Iris Xe Graphics(96EU)相比高达64EU的Iris Plus核芯显卡,基础规格有显着提升。

FP16和FP32浮点性能提升高达84%,并且还引入了INT8整数计算。

这些都增强了其AI图形计算能力,也是Intel轻薄本能够很好支持Stable Diffusion的主要原因。

在轻薄笔记本电脑上运行稳定的扩散和端到端大型模型? Intel说没问题

过去,TDP约为45W的英特尔处理器很难适应轻薄笔记本。

不过,随着13代酷睿的出现,一大批TDP在1.4KG左右的轻薄本出现了,其中包括14核20线程的i7-0H处理器甚至更高的性能。

i7-0H处理器塞进去,让笔记本上运行Stable Diffusion快速画图不再是高性能独立显卡游戏笔记本的专属。

未来轻薄本也能胜任这项工作。

当然,Stable Diffusion本身主要运行在本地,通过芯片性能的提升和优化来运行轻薄本也是顺理成章的事情。

不过,本地端侧大模型是一个比较新的东西。

英特尔通过模型优化降低模型对硬件资源的需求,从而提高模型的推理速度,让一些社区开源模型能够在个人电脑上良好运行。

以大型语言模型为例,Intel利用第13代英特尔酷睿处理器XPU的加速、低位量化等软件级优化,使得参数多达1亿的大型语言模型可以运行在16GB和具有上述内存容量的PC。

虽然与 ChatGPT3.5 的 1 亿个参数有一个数量级的差距,但毕竟 ChatGPT3.5 运行在由 10,000 个 NVIDIA V 芯片构建的 AGI 网络集群上。

这个一亿参数的大模型通过BigDL-LLM框架运行,运行在Intel Core i7-0H或i7-0H等处理器上,专为高性能轻薄笔记本打造。

不过,这里也可以看出,PC端的大语言模型比手机端的大语言模型高了一个数量级。

已经存在了几十年的个人电脑并不是在云中运行大型模型的工具。

得益于硬件的进步,英特尔处理器支持的 PC 已经能够快速连接新兴机型,并与 HuggingFace 上的变形金刚机型兼容。

目前已验证的模型包括但不限于:LLAMA/LLAMA2、ChatGLM/ChatGLM2、MPT、Falcon、MOSS、百川、QWen、Dolly、RedPajama、StarCoder、Whisper等。

▲ 图片来自:爱吉屋技术分享会上会议上,Intel展示了运行基于Core i7-0H设备的大型模型的性能:ChatGLM-6b可以生成第一个令牌,首次延迟为0.7ms,后续令牌平均生成率为55.63 ms/token。

在自然语言处理领域,“标记”是指文本中的基本单元,可以是单词、字符、子词、标点符号或其他可以进行语义处理的最小单元。

正如您所看到的,该处理器的速度相当不错。

目前掌握的消息是,英特尔下一代处理器Meteor Lake拥有独特的分离模块架构的优势,可以更好地服务AI,包括Adobe Premiere Pro中的自动重组和场景编辑检测等多媒体功能,并实现更高效的机器学习加速。

虽然AIGC是年度关键词,但AI并不新鲜,也是英特尔近年来经常挂在嘴边的关键词。

早期的AI视频通话降噪、AI视频通话背景降噪等其实都是AI的应用。

可见,未来处理器的竞争力将不仅仅局限于核心数、线程数、主频。

能否更好地驱动AI功能将成为越来越重要的维度,也将成为未来消费者购买的因素。

产品会考虑的因素之一。

在轻薄笔记本电脑上运行稳定的扩散和端到端大型模型? Intel说没问题

站长声明

版权声明:本文内容由互联网用户自发贡献,本站不拥有所有权,不承担相关法律责任。如果发现本站有涉嫌抄袭的内容,欢迎发送邮件 举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。

标签:

相关文章

  • MIUI 13 Pad稳定版已上线!与苹果相比,您的体验如何?

    MIUI 13 Pad稳定版已上线!与苹果相比,您的体验如何?

    如果把“平板电脑”和“生产力”放在一起,肯定会有很多争议,但如果把“平板电脑”和“效率”放在一起,争论就会安静一些。 分屏、小窗口、平行水平线等功能在大屏幕上确实更高效。 因此,我非常认同MIUI 13 Pad发布时提到的“效率创新”。 但作为小米和苹果双生态的用户,在

    06-21

  • 美光总裁兼首席执行官:全球半导体行业扩张势头不会减弱

    美光总裁兼首席执行官:全球半导体行业扩张势头不会减弱

    近日,美国半导体行业协会轮值主席、美光科技总裁兼首席执行官Sanjay Mehrotra表示,随着智能手机的兴起,计算技术个人电脑、云计算应用等领域不断取得突破,人们在生产生活中使用信息的方式得到深度优化。 特别是在医疗、交通技术和数据访问等领域,半导体技术发挥着不可替

    06-08

  • 构建高效的多语言客户服务体系:满足跨境客户服务需求

    构建高效的多语言客户服务体系:满足跨境客户服务需求

    .wp-block-column h3{margin-left:0} 在全球化日益发展的今天,跨境客户服务已成为许多人不可或缺的一部分企业。 的一个链接。 然而,面对不同语言和文化背景的客户,如何提供高效、准确的客户服务支持成为许多企业面临的问题。 沃丰科技的跨境客户服务系统以其强大的功能和灵

    06-18

  • “成人版捉迷藏”火了,怎么突然成了年轻人的社交新宠?

    “成人版捉迷藏”火了,怎么突然成了年轻人的社交新宠?

    这次年轻人的重点是“兼得又想要”。 他不再愿意像“苦行僧”一样重复枯燥的健身套路,但同时他又渴望通过运动来获得健康的身体。 最近在各个城市流行的“城市捉迷藏”,就是年轻人的最新“答案”。 在技??术的支持下,我们与他人的关系不再局限于“在一起”,而是可以建立在

    06-21

  • 1秒破100!特斯拉最强大的超级跑车与 SpaceX 挂钩,年内将亮相

    1秒破100!特斯拉最强大的超级跑车与 SpaceX 挂钩,年内将亮相

    你不应该打听别人的处方,这是相当私密的。 当被问及“吸毒”问题时,马斯克突然恼怒起来。 他说,开氯胺酮有助于治疗他偶尔发作的抑郁症,是合理的药物,甚至对公司和投资者都有好处。 氯胺酮通常呈白色粉末状,其英文名称的第一个字母是K,所以俗称“K粉”。 今年1月,有媒

    06-21

  • 钉钉生鲜完成近亿元B轮融资

    钉钉生鲜完成近亿元B轮融资

    据投资界4月21日消息,一站式生鲜供应配送服务平台钉钉生鲜近日宣布完成近亿元融资人民币B轮融资。 B1轮由中金文化消费基金领投,甘嘉伟及老股东普洛斯隐山资本、头投石岛投资基金、三生创投跟投; B2轮由平川资本领投。 钉钉生鲜是年初孵化的回家吃饭,专注于3R食品供应链服

    06-18

  • 支持30种方言混合说话,中国电信人工智能研究院发布“星辰”超级多方言语音识别大模型 - IT之家

    支持30种方言混合说话,中国电信人工智能研究院发布“星辰”超级多方言语音识别大模型 - IT之家

    中国电信人工智能研究院(TeleAI)发布“星辰”超级多方言语音识别识别模型模型,取得重大突破。 该模型能够同时识别和理解 30 多种不同的中国方言,这一壮举超越了通常只能识别单一方言的现有模型的能力。 该模式的开发预计将极大惠及老年人和偏远贫困地区的人们,提高他们获

    06-18

  • 掌趣科技何佳:很多公司通过收购手游、转型借壳上市基本饱和

    掌趣科技何佳:很多公司通过收购手游、转型借壳上市基本饱和

    投资界动态 第三届GMGC全球手游大会3月26日在北京国家会议中心召开27、图为掌曲科技副总裁与何佳参加讨论环节。 讨论的主题是“投资的艺术:谁将是我们的下一个目标”。 何佳并不看好资本市场的前景。 他提到,近期国内大量企业通过收购手游公司实现转型。 他认为,很多企业通

    06-18

  • 国雄资本:2021年港股IPO融资规模预计突破4000亿港元

    国雄资本:2021年港股IPO融资规模预计突破4000亿港元

    国雄资本今日发布港股投资策略观点,称基于近期新股发行热潮就香港股市而言,以及2021年香港股市在疫情等外部不确定环境下的表现,从IPO规模来看,香港股市IPO融资规模预计将突破100港元全年达万元。 其中,新港股的高市盈率特征有望延续。

    06-18

  • 登上《自然》杂志封面! 《恐龙猎人》发现史上最奇特化石,刷新人类对鸟类进化的认识

    登上《自然》杂志封面! 《恐龙猎人》发现史上最奇特化石,刷新人类对鸟类进化的认识

    这是我研究过的最奇特的化石。 当地时间3月11日,《自然》杂志发表题为《缅甸白垩纪蜂鸟大小的恐龙》的研究论文。 3月12日,这篇论文出现在本期《自然》杂志的封面上。 《自然新闻》和《科学新闻》也报道了这项研究。 研究小组表示,迄今为止发现的最小的恐龙是在来自缅甸的白

    06-18

  • 今年第一笔订单!美股退市后,康鹏科技科创板IPO失败

    今年第一笔订单!美股退市后,康鹏科技科创板IPO失败

    3月17日获悉,科创板上市委员会第十八次审核会议结果显示,上海康鹏科技股份有限公司(以下简称“康鹏科技”“鹏科技”)科创板IPO被驳回,广东力源恒智能装备股份有限公司(以下简称“力源恒”)通过审查。

    06-18

  • 北恒生物获得德诚资本约亿元A轮融资,德诚资本投资

    北恒生物获得德诚资本约亿元A轮融资,德诚资本投资

    据投资界2月14日消息,北恒生物科技宣布完成约1亿元A轮融资。 此次融资由德诚资本独家提供。 结束。 通过本轮融资,北恒生物与德诚资本达成深度合作,持续完善人才引进和GMP设施建设,同时推动通用型肿瘤免疫产品的开发和临床转化。 据悉,北衡生物是一家专注于通用细胞治疗

    06-18