首页 > 科技未来 > 内容

从现在开始,每个人的手机上都会有一个“梵高”

发布于:2024-06-21 编辑:匿名 来源:网络

你觉得制作这样的动画需要多长时间?在传统动漫产业中,动画制作往往是最耗时的环节。

动画师必须根据故事板脚本和美术设计制作每个镜头的动画效果。

制作团队通常需要几个月甚至一年的时间来设计角色、绘制场景,然后将其制作成动画。

但最近,这一行业法则正在被人工智能工具改写。

您现在正在观看的动画短片包含七分钟的视觉效果镜头,而制作团队 Corridor 只花了几个小时制作动画。

高效的秘诀在于他们使用的工具——稳定扩散。

创造力再次被释放。

众所周知,动画中的每一个动人的镜头都是由画师一帧一帧绘制的连续动作图拼凑而成。

每一集动画的背后几乎都是由上千张图画组成。

手工一帧一帧地绘制动画对于走廊来说几乎是一项不可能完成的任务,因此他们想到了另一种动画创意:相机拍摄的镜头本质上是一帧一帧的照片,如果将其转换成动画风格一帧一帧拼接在一起,不就是动画吗?为了批量将照片转换为动画图,Corridor首先想到了最流行的AI绘图工具:Stable Diffusion。

与Dall-E 2、Midjourney等AI绘图工具相比,Stable Diffusion的一大优势在于它是一个开源项目。

用户可以在本地准备最合适的数据库,让AI定向学习绘画风格,然后生成批量图纸。

这种风格的图片。

根据提前构思的设定,走廊要求稳定扩散学习大量的《吸血鬼日记》图片,以及两位主演各个角度的照片,以便转换后的动画画面尽可能准确,风格会趋于统一。

稳定扩散将整个视频转为动画风格后,去除了一些不稳定的图像,并消除了闪烁。

最后,绿屏被虚拟相机拍摄的背景所取代。

最初,十几位画师的画需要几周的时间。

动画完成。

看到这里,你是不是也想发挥想象力,自己拍一部动画短片,或者变身成各种奇幻英雄呢?虽然Stable Diffusion具有可控性高的优点,但要想控制它,首先需要服务器或本地有强大的计算环境才能运行。

换句话说,如果你只有想象力,没有强大的自然语言学习和处理能力,以及AI算力作为支撑,你仍然无法用Stable Diffusion进行创作。

那么,有没有一种方法可以让普通人轻松画出独特的头像呢?确实如此,您所需要的只是一部手机。

在MWC大会上,高通首次演示了在Android手机上本地运行的Stable Diffusion,同时还展示了多张在手机端生成的AI图片。

效果看起来还不错,整个过程只用了不到15秒。

Stable Diffusion的参数超过10亿,对于普通计算机来说运行起来非常困难。

高通是如何将如此庞大的模型“塞”进手机,并让它在手机的SoC上流畅运行的呢?为了“把大象放进冰箱”,高通工程师首先对大象进行了优化。

这里,首先要提到第二代骁龙8移动平台在AI方面的一大改进,即自然语言处理(NLP)。

自然语言处理是人工智能应用的新领域之一。

为了尽快理解和分解人类语言,高通对Hexagon处理器进行了大幅改进,并增加了硬件加速,可以更快速、高效地运行Transformer网络,并通过微切片推理降低成本。

功耗使得第二代骁龙8在自然语言处理用例中展现出独特的优势。

为了让Stable Diffusion能够在终端侧运行,高通工程师选择从Hugging Face的FP32 1-5版本开源模型入手,并使用高通人工智能模型增强工具包(AIMET)在不牺牲模型的情况下对其进行训练和量化。

在精度较高的情况下,将原始FP32模型压缩为计算效率更高的INT8格式。

通过高通推出的统一AI软件解决方案Qualcomm AI软件栈,高通可以在不损失模型精度的情况下定量精简AI模型,显着提升AI推理性能,并降低功耗,使大型AI模型更适合手机。

终端侧低功耗计算环境让AI模型的终端侧扩展变得更加容易。

通过全栈软硬件优化,Stable Diffusion 最终能够运行在集成 Hexagon 处理器的第二代骁龙 8 移动平台上,在 15 秒内执行 20 步推理,生成像素图像。

这个速度已经可以与云计算的延迟相媲美了。

也就是说,云端的大规模生成式AI模型已经迈出了终端侧应用拓展的第一步。

虽然不能用稳定扩散来拍《走廊》这样的大片,但用它来画自己的头像、拍虚拟照片也绰绰有余了。

无论你想要莫奈风格、梵高风格还是鸟山明风格的自画像,直接在手机上输入指令,一键生成独特的AI作品。

未来,百亿参数的AI模型或许能够在终端侧运行,手机上的AI助手的智能水平将发生质的飞跃。

生成式人工智能模型在设备上的部署开启了超乎想象的可能性。

自然而然的技术爆炸 谈到AI计算,很多人首先想到的可能是大型云服务器。

AI似乎离我们的生活还很遥远。

但事实上,每次解锁手机、唤醒语音助手,甚至按下快门按钮,你都与AI计算有了一次亲密的接触。

由于包括手机在内的终端侧AI处理在可靠性、时延、隐私等方面具有诸多优势,越来越多的大型AI云模型开始在终端侧运行。

如今,人工智能计算已经随着终端的部署渗透到我们生活的方方面面。

你可以很容易地在智能手机、平板电脑、XR眼镜甚至汽车等终端产品中找到人工智能的身影。

这就是高通一直在打造的智能网络边缘的愿景,并且高通已经默默耕耘了十多年。

将AI从云端带到终端,可以一次性解决用户的两个痛点需求:一方面,终端处理的数据可以保留在终端设备上,用户个人数据的隐私得到妥善保护。

另一方面,终端设备可以及时进行计算和处理,为用户提供低延迟、可靠的处理结果。

高通此次率先在Android手机上部署Stable Diffusion,不仅为用户提供了随时随地AI创作的可能,也让未来的图像编辑充满了想象空间。

稳定扩散模型编码了大量的语言和视觉知识,通过调整模型,可以对图像编辑、图像恢复、风格迁移和超分辨率产生真正的影响。

试想一下,未来你可以在没有网络的情况下拍摄迪士尼风格或日本漫画风格的照片或视频,所有图像计算都只在你的手机上进行,既有趣又私密。

在高通的技术规划中,这只是一个开始。

此前,高通发布了名为“高通AI软件栈”的解决方案,简单来说就是只需要开发一次模型,就可以在所有不同的终端上进行扩展。

高通在Stable Diffusion方面的研究突破和技术优化未来将集成到高通的AI软件堆栈中。

未来只需在此基础上进行扩展,打造出适合XR眼镜、汽车等平台的不同型号。

它也被高通称为“统一技术路线图”。

通过这一产品开发路线,高通可以将智能手机终端上领先的自然语言处理、面部识别等人工智能技术集成到XR眼镜、PC??、物联网、汽车等产品中,最终为用户打造全新的智能体验。

如此高度灵活高效的开发模式离不开高通AI引擎。

Qualcomm AI Engine包括图形处理单元、CPU以及最关键的Hexagon处理器。

Hexagon处理器由标量、矢量和张量处理器组成。

三个加速器使用统一的共享内存。

高通将张量加速器的计算性能提高了一倍,并将共享内存的容量提高了一倍,使得新的第一代高通AI引擎与上一代相比,能效提升了70%。

Qualcomm AI Engine可以灵活扩展硬件。

在移动平台上,通常配置Hexagon处理器;当面对汽车、云和边缘计算平台时,可以使用多个Hexagon处理器实例来提高计算能力。

结合领先竞争对手的架构优势和算力表现,高通可以说利用高通AI引擎形成了智能手机、物联网、XR眼镜、汽车等业务的核心。

根据高通的愿景,AI计算将继续向完全分布式方向发展,即AI推理将从云端大量转移到终端侧。

例如,手机可以学习用户的口音,提高语音的准确性;汽车可以学习不同的路况,提高障碍物的识别率等,这些都是AI在终端的应用案例。

去年12月,高通携手新晋奥斯卡影后杨紫琼描绘了万物智能互联的未来:在高通AI引擎的驱动下,智能手机正变得更加智能。

掌握专业影像技巧,让您指尖拍摄8K电影级场景;它还具有自然语言处理能力,可以像助手一样主动为您提供实时翻译等定制服务。

高通人工智能引擎将让汽车进化为可靠的驾驶员。

未来,汽车将能够感知你的到来,并根据你的习惯进行自适应调整;强大的算力将带来驾驶辅助、态势安全感知、流媒体娱乐等丰富的功能。

从现在开始,每个人的手机上都会有一个“梵高”

它还可以预测前方路况,改善驾驶体验。

,让您舒适、安全地到达目的地。

XR等可穿戴设备将为您带来更身临其境的体验和更直观的交互,让您在虚拟和现实世界之间漫游。

总而言之,我们现在被成千上万的可能性所包围。

我们身边的人工智能创新正在重塑世界,悄然改变我们的工作、生活和交流方式。

目前,智能手机是AI技术最好的应用平台,但AI技术在智能手机上的普及只是第一步。

未来,人工智能技术将无处不在,人们的生产力和创造力将进一步释放。

高通已经为此做好了准备。

从现在开始,每个人的手机上都会有一个“梵高”

站长声明

版权声明:本文内容由互联网用户自发贡献,本站不拥有所有权,不承担相关法律责任。如果发现本站有涉嫌抄袭的内容,欢迎发送邮件 举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。

标签:

相关文章

  • 梳理了知乎上有关“小米MIX”的所有问答后,我们整理出了大家最关心的话题

    梳理了知乎上有关“小米MIX”的所有问答后,我们整理出了大家最关心的话题

    10月25日,小米正式发布了小米MIX概念机。 MIX概念手机问世后,用户主要关注这些方向: 与夏普水晶相比,小米MIX有哪些创新?是否涉嫌抄袭夏普水晶? MIX对手机行业的影响 雷军对黑科技的感受 为此,雷锋网从知乎上筛选了资深人士对小米MIX的看法。 与夏普水晶相比,小米MIX有

    06-18

  • 江西:预计2022年底数字经济增加值年均增速达到26%以上

    江西:预计2022年底数字经济增加值年均增速达到26%以上

    上头条。 据《科技日报》报道,近年来江西数字经济高质量发展。 到年底,江西省数字经济增加值年均增长26%以上,达到1.5万亿元以上。 江西省以数字产业化、产业数字化为主线,加快全省数字经济生态系统建设。 江西省印发的《数字经济发展三年行动计划(年)》显示,将发展数字

    06-17

  • 洋葱数学引入君联资本、腾讯超亿元C轮战略投资,在线教育如何突围?

    洋葱数学引入君联资本、腾讯超亿元C轮战略投资,在线教育如何突围?

    据投资界2月28日消息,洋葱数学今日正式宣布完成C轮融资,融资总额超过1.2亿元,由君联资本、腾讯共同投资。 洋葱数学联合创始人及CEO杨临风表示,本轮融资将全力推动和加速互联网辅导时代的到来。   洋葱数学由哈佛大学计算机专业毕业生杨临风、杜克大学生物科学、教育和

    06-18

  • 盈科资本——“发现经济前进的力量”论坛成功举办,共商战略资产配置

    盈科资本——“发现经济前进的力量”论坛成功举办,共商战略资产配置

    8月15日,盈科资本主办的“发现经济前进的力量”主题论坛在银行成功举办杭州钱塘江畔,由泰格医药董事长叶小平博士、青岛城投董事长邢路正、浦发银行资产管理部副总经理杨再斌博士、上海浦东发展银行资产管理部总裁助理冀洪涛先生等近百位企业家和行业专家共同举办。 鹏华基金

    06-17

  • 是德科技推出全新 PathWave Design 2020 软件套件,加速设计工作流程

    是德科技推出全新 PathWave Design 2020 软件套件,加速设计工作流程

    新软件套件可节省设置时间、自动执行日常任务并提供更快的仿真和分析 6 月 12 日,北京 - 是德科技(纽约证券交易所股票代码:KEYS)宣布推出 PathWave Design 产品,其中包括最新版本的是德科技电子设计自动化软件,可加速射频 (RF) 和微波、5G 和汽车设计工程师的设计工作流

    06-06

  • 诺亚医院物流机器人获1.2亿B轮融资,智能驾驶或将率先在医院场景爆发

    诺亚医院物流机器人获1.2亿B轮融资,智能驾驶或将率先在医院场景爆发

    投资圈(微信ID:pedaily)据1月27日消息,诺亚医院物流机器人完成120万元B轮融资。 本轮融资的投资方包括醋汇金股权、君诚实业、中国科学技术开发院、医疗行业资深渠道等多家机构。 据诺亚医院物流机器人介绍,本轮投资方均为医疗健康领域的资源利益相关者,这将为诺亚医院物

    06-18

  • 互联网最“体量”行业开始迎来AI变革

    互联网最“体量”行业开始迎来AI变革

    **作者|郑玥** 编辑|晶宇人工智能创业蓬勃发展。 经过一年的“百模型大战”,行业共识转向“批量应用”,实现大模型的价值。 其中,电商是与大模型结合最快、效率最高的场景之一。 当各电商平台竞相低价、几乎“无法铺开”时,AI的爆发让技术创新为行业带来进步。 。 当一些行

    06-18

  • 一点租获6000万美元D轮融资,源码资本与主权基金联合领投

    一点租获6000万美元D轮融资,源码资本与主权基金联合领投

    据投资界10月16日消息,企业IT租赁服务及管理平台一点租宣布完成1万美元融资处于 D 轮融资中。 本轮融资由老股东源码资本和主权基金联合领投。    对于本次融资的目的,一点租CEO纪鹏程表示,将进一步加速企业IT服务布局。 一方面,我们将加强销售能力,在更多城市设立直营

    06-18

  • 南粤银行拟上市

    南粤银行拟上市

    3月19日消息,湛江商业银行获准更名为广东南粤银行。 “我们将研究合适的时机和监管政策,力争在五年内上市。 ”广东南粤银行副行长廖文义表示。   广东南粤银行股份有限公司(原湛江市商业银行股份有限公司)于今年1月成立,由6家城市信用社组建而成。 截至今年10月底,该

    06-18

  • 邱钛科技:2020年营收174亿元,同比增长约32.1%

    邱钛科技:2020年营收174亿元,同比增长约32.1%

    邱钛科技公布年度业绩报告。 报告显示,2019年秋台科技营收1亿元,同比增长约32.1%;集团利润约8.4亿元,同比增长约54.9%。

    06-18

  • 【创业24小时】2023年4月19日

    【创业24小时】2023年4月19日

    投融资昨天,国内市场共发生16起投资披露事件,其中医疗健康领域6起(士泽生物科技、敏树科技、登特菲、耀明生物、康日生物)百奥、玛士撒拉)、先进制造4个案例(中科海纳、文石机器人、EFCON、诚联科技)、企业服务3个案例(易方建树、发巴塔、喜客云)、本地生活1个案例(

    06-17

  • 拉美创业地图:外卖平台Rappi筹集资金最多 -全球资讯

    拉美创业地图:外卖平台Rappi筹集资金最多 -全球资讯

    创头条编译 自2007年以来,拉丁美洲和加勒比地区的科技初创企业累计融资超过1亿美元。 去年,该地区筹集超过 50 亿美元资金的初创公司数量创历史新高。 进入今年,尽管疫情肆虐,该地区的初创企业仍然获得了大量融资。 例如,金融科技初创公司AlphaCredit于5月获得1亿美元B轮

    06-17