首页 > 科技未来 > 内容

从现在开始,每个人的手机上都会有一个“梵高”

发布于:2024-06-21 编辑:匿名 来源:网络

你觉得制作这样的动画需要多长时间?在传统动漫产业中,动画制作往往是最耗时的环节。

动画师必须根据故事板脚本和美术设计制作每个镜头的动画效果。

制作团队通常需要几个月甚至一年的时间来设计角色、绘制场景,然后将其制作成动画。

但最近,这一行业法则正在被人工智能工具改写。

您现在正在观看的动画短片包含七分钟的视觉效果镜头,而制作团队 Corridor 只花了几个小时制作动画。

高效的秘诀在于他们使用的工具——稳定扩散。

创造力再次被释放。

众所周知,动画中的每一个动人的镜头都是由画师一帧一帧绘制的连续动作图拼凑而成。

每一集动画的背后几乎都是由上千张图画组成。

手工一帧一帧地绘制动画对于走廊来说几乎是一项不可能完成的任务,因此他们想到了另一种动画创意:相机拍摄的镜头本质上是一帧一帧的照片,如果将其转换成动画风格一帧一帧拼接在一起,不就是动画吗?为了批量将照片转换为动画图,Corridor首先想到了最流行的AI绘图工具:Stable Diffusion。

与Dall-E 2、Midjourney等AI绘图工具相比,Stable Diffusion的一大优势在于它是一个开源项目。

用户可以在本地准备最合适的数据库,让AI定向学习绘画风格,然后生成批量图纸。

这种风格的图片。

根据提前构思的设定,走廊要求稳定扩散学习大量的《吸血鬼日记》图片,以及两位主演各个角度的照片,以便转换后的动画画面尽可能准确,风格会趋于统一。

稳定扩散将整个视频转为动画风格后,去除了一些不稳定的图像,并消除了闪烁。

最后,绿屏被虚拟相机拍摄的背景所取代。

最初,十几位画师的画需要几周的时间。

动画完成。

看到这里,你是不是也想发挥想象力,自己拍一部动画短片,或者变身成各种奇幻英雄呢?虽然Stable Diffusion具有可控性高的优点,但要想控制它,首先需要服务器或本地有强大的计算环境才能运行。

换句话说,如果你只有想象力,没有强大的自然语言学习和处理能力,以及AI算力作为支撑,你仍然无法用Stable Diffusion进行创作。

那么,有没有一种方法可以让普通人轻松画出独特的头像呢?确实如此,您所需要的只是一部手机。

在MWC大会上,高通首次演示了在Android手机上本地运行的Stable Diffusion,同时还展示了多张在手机端生成的AI图片。

效果看起来还不错,整个过程只用了不到15秒。

Stable Diffusion的参数超过10亿,对于普通计算机来说运行起来非常困难。

高通是如何将如此庞大的模型“塞”进手机,并让它在手机的SoC上流畅运行的呢?为了“把大象放进冰箱”,高通工程师首先对大象进行了优化。

这里,首先要提到第二代骁龙8移动平台在AI方面的一大改进,即自然语言处理(NLP)。

自然语言处理是人工智能应用的新领域之一。

为了尽快理解和分解人类语言,高通对Hexagon处理器进行了大幅改进,并增加了硬件加速,可以更快速、高效地运行Transformer网络,并通过微切片推理降低成本。

功耗使得第二代骁龙8在自然语言处理用例中展现出独特的优势。

为了让Stable Diffusion能够在终端侧运行,高通工程师选择从Hugging Face的FP32 1-5版本开源模型入手,并使用高通人工智能模型增强工具包(AIMET)在不牺牲模型的情况下对其进行训练和量化。

在精度较高的情况下,将原始FP32模型压缩为计算效率更高的INT8格式。

通过高通推出的统一AI软件解决方案Qualcomm AI软件栈,高通可以在不损失模型精度的情况下定量精简AI模型,显着提升AI推理性能,并降低功耗,使大型AI模型更适合手机。

终端侧低功耗计算环境让AI模型的终端侧扩展变得更加容易。

通过全栈软硬件优化,Stable Diffusion 最终能够运行在集成 Hexagon 处理器的第二代骁龙 8 移动平台上,在 15 秒内执行 20 步推理,生成像素图像。

这个速度已经可以与云计算的延迟相媲美了。

也就是说,云端的大规模生成式AI模型已经迈出了终端侧应用拓展的第一步。

虽然不能用稳定扩散来拍《走廊》这样的大片,但用它来画自己的头像、拍虚拟照片也绰绰有余了。

无论你想要莫奈风格、梵高风格还是鸟山明风格的自画像,直接在手机上输入指令,一键生成独特的AI作品。

未来,百亿参数的AI模型或许能够在终端侧运行,手机上的AI助手的智能水平将发生质的飞跃。

生成式人工智能模型在设备上的部署开启了超乎想象的可能性。

自然而然的技术爆炸 谈到AI计算,很多人首先想到的可能是大型云服务器。

AI似乎离我们的生活还很遥远。

但事实上,每次解锁手机、唤醒语音助手,甚至按下快门按钮,你都与AI计算有了一次亲密的接触。

由于包括手机在内的终端侧AI处理在可靠性、时延、隐私等方面具有诸多优势,越来越多的大型AI云模型开始在终端侧运行。

如今,人工智能计算已经随着终端的部署渗透到我们生活的方方面面。

你可以很容易地在智能手机、平板电脑、XR眼镜甚至汽车等终端产品中找到人工智能的身影。

这就是高通一直在打造的智能网络边缘的愿景,并且高通已经默默耕耘了十多年。

将AI从云端带到终端,可以一次性解决用户的两个痛点需求:一方面,终端处理的数据可以保留在终端设备上,用户个人数据的隐私得到妥善保护。

另一方面,终端设备可以及时进行计算和处理,为用户提供低延迟、可靠的处理结果。

高通此次率先在Android手机上部署Stable Diffusion,不仅为用户提供了随时随地AI创作的可能,也让未来的图像编辑充满了想象空间。

稳定扩散模型编码了大量的语言和视觉知识,通过调整模型,可以对图像编辑、图像恢复、风格迁移和超分辨率产生真正的影响。

试想一下,未来你可以在没有网络的情况下拍摄迪士尼风格或日本漫画风格的照片或视频,所有图像计算都只在你的手机上进行,既有趣又私密。

在高通的技术规划中,这只是一个开始。

此前,高通发布了名为“高通AI软件栈”的解决方案,简单来说就是只需要开发一次模型,就可以在所有不同的终端上进行扩展。

高通在Stable Diffusion方面的研究突破和技术优化未来将集成到高通的AI软件堆栈中。

未来只需在此基础上进行扩展,打造出适合XR眼镜、汽车等平台的不同型号。

它也被高通称为“统一技术路线图”。

通过这一产品开发路线,高通可以将智能手机终端上领先的自然语言处理、面部识别等人工智能技术集成到XR眼镜、PC??、物联网、汽车等产品中,最终为用户打造全新的智能体验。

如此高度灵活高效的开发模式离不开高通AI引擎。

Qualcomm AI Engine包括图形处理单元、CPU以及最关键的Hexagon处理器。

Hexagon处理器由标量、矢量和张量处理器组成。

三个加速器使用统一的共享内存。

高通将张量加速器的计算性能提高了一倍,并将共享内存的容量提高了一倍,使得新的第一代高通AI引擎与上一代相比,能效提升了70%。

Qualcomm AI Engine可以灵活扩展硬件。

在移动平台上,通常配置Hexagon处理器;当面对汽车、云和边缘计算平台时,可以使用多个Hexagon处理器实例来提高计算能力。

结合领先竞争对手的架构优势和算力表现,高通可以说利用高通AI引擎形成了智能手机、物联网、XR眼镜、汽车等业务的核心。

根据高通的愿景,AI计算将继续向完全分布式方向发展,即AI推理将从云端大量转移到终端侧。

例如,手机可以学习用户的口音,提高语音的准确性;汽车可以学习不同的路况,提高障碍物的识别率等,这些都是AI在终端的应用案例。

去年12月,高通携手新晋奥斯卡影后杨紫琼描绘了万物智能互联的未来:在高通AI引擎的驱动下,智能手机正变得更加智能。

掌握专业影像技巧,让您指尖拍摄8K电影级场景;它还具有自然语言处理能力,可以像助手一样主动为您提供实时翻译等定制服务。

高通人工智能引擎将让汽车进化为可靠的驾驶员。

未来,汽车将能够感知你的到来,并根据你的习惯进行自适应调整;强大的算力将带来驾驶辅助、态势安全感知、流媒体娱乐等丰富的功能。

从现在开始,每个人的手机上都会有一个“梵高”

它还可以预测前方路况,改善驾驶体验。

,让您舒适、安全地到达目的地。

XR等可穿戴设备将为您带来更身临其境的体验和更直观的交互,让您在虚拟和现实世界之间漫游。

总而言之,我们现在被成千上万的可能性所包围。

我们身边的人工智能创新正在重塑世界,悄然改变我们的工作、生活和交流方式。

目前,智能手机是AI技术最好的应用平台,但AI技术在智能手机上的普及只是第一步。

未来,人工智能技术将无处不在,人们的生产力和创造力将进一步释放。

高通已经为此做好了准备。

从现在开始,每个人的手机上都会有一个“梵高”

站长声明

版权声明:本文内容由互联网用户自发贡献,本站不拥有所有权,不承担相关法律责任。如果发现本站有涉嫌抄袭的内容,欢迎发送邮件 举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。

标签:

相关文章

  • 以色列团队推出世界上最大的实验室培育牛排,由真正的牛细胞 3D 打印而成

    以色列团队推出世界上最大的实验室培育牛排,由真正的牛细胞 3D 打印而成

    12 月 7 日,以色列公司 MeaTech 3D 开发出迄今为止最大的实验室培育牛排,重近一克。 牛排由取自活牛组织样本的真正脂肪和肌肉细胞制成,不使用任何大豆或豌豆蛋白,并经过烹饪以形成令人愉悦的烧烤痕迹。 ▲ 成品。 图片来自:MeaTech 3D生产过程结合了细胞生物学、组织工程

    06-21

  • 连TA都不知道,更何况露营

    连TA都不知道,更何况露营

    露营有多受欢迎?每逢长周末假期,打开朋友圈,总会看到几个朋友,带上折叠椅或餐垫,搭起帐篷或大帐篷,在草坪、沙滩甚至山顶,打造一个城市人的游戏屋。 一座山的。 。 随着生活节奏的加快、远行的不确定性增加,人们“逃离城市”的愿望越来越强烈。 此外,还增加了“月亮椅

    06-21

  • 字节跳动再次布局游戏行业,全资收购深机智能,

    字节跳动再次布局游戏行业,全资收购深机智能,

    据投资界消息,据企查查获悉,字节跳动近期完成了对北京深机智能科技有限公司(以下简称“深机智能”)的全资收购。 公开资料显示,深机智能由前青果智能副总裁郭祥昊于2008年创立,他是北京邮电大学博士自然语言处理(NLP)方向。 他学习了钟义信教授的信息论和神经网络,并

    06-18

  • “家家泉”完成近亿元B轮融资,沣途资本领投

    “家家泉”完成近亿元B轮融资,沣途资本领投

    投资界(ID:pedaily)9月5日消息,水家电品牌“家家泉”(原“熊小夕”)已获完成近亿元人民币B轮融资,本轮融资由沣途资本领投,老股东纪源资本、天图资本跟投,木棉资本独家投资。 这是嘉泉成立两年来完成的第四轮融资。 据悉,本轮募集资金将主要用于嘉泉品牌建设以及新品

    06-17

  • 首次发布 -该核心技术获Pre-A轮融资,蔚来资本、启明创投联合领投

    首次发布 -该核心技术获Pre-A轮融资,蔚来资本、启明创投联合领投

    投资界(ID:pedaily)7月19日消息,通用智能芯片公司该核心技术宣布完成Pre-A轮融资轮融资。 本轮融资由蔚来资本、启明创投联合领投,BAI资本、基石资本、中科之星、嘉实投资、元禾璞华、云九资本跟投。 本轮融资将主要用于扩大研发团队、加快市场布局和生态建设。 据悉,这

    06-17

  • 植物肉品牌“植物教授”获5000万元A轮融资,经纬中国独家投资

    植物肉品牌“植物教授”获5000万元A轮融资,经纬中国独家投资

    投资界(ID:pedaily)8月31日消息,据36氪报道,近日,植物肉品牌“植物教授”完成1万元A轮融资,由经纬中国独家投资,回声资本独家投资。 据悉,本轮融资将用于消费者渗透、产品研发、供应链优化和团队扩张。 此前,年初,植教授获得数千万元天使轮融资,投资方为宝洁校友会

    06-18

  • 中航顾问宁振波:智能制造的基础是数字化,机器换人还只是自动化的老路

    中航顾问宁振波:智能制造的基础是数字化,机器换人还只是自动化的老路

    雷锋网记者:近日,中国信息产业商会主办的第九届航天信息化建设合作峰会召开在北京。 本次峰会以“推动军民深度融合,赋能数字化转型”为主题。 航天科工、航天科技、中国商飞、中航发展等单位信息负责人、行业专家及企业代表参加会议。 会上,中国航空工业信息技术中心顾问

    06-18

  • 全球直播购物平台ShopShops完成1500万美元B轮融资

    全球直播购物平台ShopShops完成1500万美元B轮融资

    投资界(ID:pedaily)6月15日报道,北美精品买手店与设计师品牌集合直购平台SHOPSHOPSWheretoShop完成1万美元B轮融资本轮融资,投资方包括Union Square Ventures、Forerunner Ventures、LightShed Ventures(领投)、Acrew Capital(领投)、Gaingels、Dave Lu、TCG Capital

    06-18

  • 海关总署:前两个月,综合保税区实现进出口总值7649.6亿元,同比增长46.9%

    海关总署:前两个月,综合保税区实现进出口总值7649.6亿元,同比增长46.9%

    据海关总署网站显示,今年前两个月,全国综合保税区发展迅速,实现进出口总值6亿元。 人民币同比增长46.9%,高出进出口总体增速14.7个百分点。 其中,出口1亿元,同比增长71.1%,进口5000万元,同比增长25.1%,成为稳外贸稳外资的重要力量。 听,中小企业反馈平台。 倾听用户

    06-17

  • 广州雷德倍尔完成金阖资本超5000万元B轮战略投资

    广州雷德倍尔完成金阖资本超5000万元B轮战略投资

    据投资界9月7日消息,据Arterial.com报道,广州耀明生物科技(简称雷德倍尔)完成B轮战略投资投资1万多元。 金阖资本(黄金)(领域医疗相关基金)投资。 本次战略融资将推动雷德倍尔两大诊断产品的研发和营销,满足两大疾病领域的临床诊断需求。 同年11月成立,是一家专注于

    06-17

  • 奥普玛生物获近亿元战略投资,华兴医疗产业基金领投

    奥普玛生物获近亿元战略投资,华兴医疗产业基金领投

    据投资界4月18日消息,上海奥普玛生物科技有限公司(以下简称“奥普玛生物”) 》)完成战略投资近亿元。 投资方为华兴医疗产业基金和达辰创投。 值得注意的是,本轮交易是迄今为止中国细胞培养领域最大的单笔融资。   博士。 远普生物创始人、董事长兼总经理肖志华表示,

    06-18

  • 100亿,湖北省设立科技天使基金

    100亿,湖北省设立科技天使基金

    投资界-解码LP消息,4月17日,省科技厅发布《湖北省科创企业全生命周期培育计划(-年)》(以下简称《计划》),瞄准针对科技企业不同生命周期,为科技创新企业提供阶段性培育体系,提供项目、人才、平台、资金等创新支持。 其中,为引导社会资本投资早期、小型、“硬科技”

    06-18