星微科技完成近亿元A轮融资，由耀图资本领投，
06-18
对于电影爱好者来说，面部捕捉是一个既熟悉又陌生的概念。
它很熟悉，因为在奇幻电影中，动作捕捉和面部捕捉是常见的技术。
许多经典的非人类角色都依赖这两种技术。
技术完成。
正是随着科技的进步，我们才能在《指环王》中目睹波澜壮阔的中土世界及其多元种族，《阿凡达》中的外星奇观，也能在银幕上看到人类与其他物种建立联系。
我说陌生是因为对于大多数人来说，面部捕捉是一种听说过但从未体验过的技术。
我们一直是这项技术的旁观者，而不是那些经历过它的人。
然而，技术进步的曲线通常有两个分支。
一根枝条，走向更远的地方；另一个分支向下，从高成本到低成本，从影响少数人到造福数百万人。
有时，两条线会齐头并进，交织在一起，产生更大的能量。
在元宇宙身上进行面部捕捉很困难。
2016年的电影《魔兽》，依靠动作捕捉和面部捕捉，亚洲草候选人吴彦祖在电影中扮演了一个丑陋邪恶的兽人古尔丹。
在动作捕捉和面部捕捉领域，甚至还有一位叫安迪·瑟金斯的超级巨星，他在《指环王》三部曲中饰演关键人物咕噜，还有《猩球崛起》三部曲中的主角大猩猩凯撒。
▲ 微软去年推出的元宇宙演示电影是一个虚拟世界，我们身处其中。
元宇宙是我们未来可以身处的虚拟世界。
然而，尝试过元宇宙VR应用的用户可能已经意识到，这里的“我”与真正的“我”相差甚远。
这里的建模很粗糙，甚至一开始就无法映射用户的腿。
进去了，更不用说用户丰富的表情了。
因此，有时候，作为尝鲜者，我会羡慕电影表演中的面部捕捉技术。
我希望在元宇宙身上，我不会是QQ秀里的卡通反派，而是能够穿越中土和艾泽拉斯。
这个世界或潘多拉的梦想家。
但也没有例外。
爱奇艺首档热门虚拟现实游戏挑战真人秀《元音大冒险》将多项炫酷科技融入到真人秀制作中，让嘉宾登上虚拟世界——元音大陆，开启一场欢乐爆笑的冒险之旅。
这可能是元宇宙为数不多的具有“复杂性”的内容之一。
这种精致感来自于虚拟角色与对应明星的“相似”。
这种“相似”的背后就是前面提到的面部捕捉。
技术。
对元宇宙来说，工业级、电影级的面部捕捉是少数人可以接触到的，显然不是一项普惠性的技术。
如果能用手机完成面部捕捉，那自然是最好的。
但要实现从工业层面到消费层面的跨越自然是困难重重。
在当今成熟的工业电影中，实现精准的面部捕捉几乎遵循高投入、高品质产出的规律。
▲《阿凡达》特效制作前后的投入包括时间和金钱。
以曾经给我们带来视觉奇观的《阿凡达》为例。
导演詹姆斯·卡梅隆从拍摄的想法到项目的实施。
，这花了10年的时间。
在电影花絮中，每个演员的脸上都需要有一个黑点标记，然后由他面前的摄像机捕捉到。
同时，周围分布着数个摄像头，捕捉肢体动作。
当所有情节拍摄完成后，并不意味着电影制作就结束了。
将摄像头采集到的面部表情和肢体动作贴合到虚拟角色上，大约需要一倍甚至两倍的拍摄时间。
▲《阿凡达》特效制作前后，为了达到足够震撼的效果，往往需要庞大的后期制作团队共同完成工作。
这种传统的工业级流水线虽然效果好、精度高，但走的是吃苦耐劳、放弃速度的路线。
面部捕捉的速度和准确度有些类似于鱼和熊掌。
在AI算法设计领域，它们与功耗通常构成一个不可能三角形，这就是“三元悖论”。
通俗地说，这是一个三难困境。
选择。
人脸上有 43 块肌肉，它们协同工作来表达我们的情绪。
许多表达方式复杂而微妙，不同表达方式之间的差异往往仅一河之隔。
如果想要准确表达元宇宙的真实情感，或者将现实中的面部微表情传递到虚拟世界中，捕捉精度必须达到一定水平，需要准确掌握数百个特征点，然后配合模型算法恢复。
值得注意的是，我们提到的“元宇宙”并非人为创造。
可以有一定的后期制作。
如果想要有沉浸式体验并实现实时反馈，面部捕捉和通信需要同时计算并提供实时反馈。
即使按照电影2??4帧的标准，它仍然需要每秒实时处理24帧高精度图片，从数百个特征点中捕获关键点，并完成表情的重建。
仅仅对复杂而灵活的面孔进行面部捕捉就已经是一项艰巨的任务。
除了人脸之外，还有很多外部因素和突发事件也会影响人脸抓拍的效果。
在元宇宙，我们不可能创建一个电影工作室、专业灯光和后期制作电脑来完成这项工作。
一切都发生在当下，也都被记录在当下。
因此，如果想要更好的效果，需要将不同的光影变化、佩戴的头盔、相机等设备的抖动、以及脸部的部分遮挡等客观和主观因素纳入其中。
简而言之，面部捕捉听起来只是一种图像捕捉技术，但实际上，它需要考虑与面部相关的各种信息点，以及微表情变化、光环境等因素。
它并不是将人脸的肌肉变化一一呈现到虚拟世界中，而是准确、实时地传达现实中的情绪。
为何骁龙能在元宇宙身上实现面部抓拍？对于面部表情的记录和呈现，我们身边其实已经有了相应的应用，也就是大多数厂商在聊天应用中添加的“动画表情”。
它的功能类似于娱乐功能，丰富聊天内容。
它对精确度要求不高，只能记录一些有特色的表情。
事实上，要表现出微妙的表情是很困难的。
对于爱奇艺《元音大冒险》这个节目来说，“动画表情”的形式还远远不够。
挑战在于人脸捕捉算法鱼与熊掌兼得，而人脸捕捉的难度比人体动作捕捉和动物人脸捕捉的难度更大。
因此，硬件、软件以及硬件对软件的支持是决定Snapdragon能否做好面部捕捉的三个方面，这意味着它需要手机芯片平台强大的底层计算能力和神经网络算法的支持。
早在元宇宙概念流行之前，骁龙芯片的成像算法就足以识别某些人脸数据，并通过相应的算法进行针对性的优化。
不过，这是第一次进行面部捕捉，或者说利用面部捕捉技术参与《元音大冒险》节目的制作。
第一步是在原有技术的基础上调试相应的算法。
从准确性出发，我们训练一个计算量巨大的复杂模型，尽可能覆盖所有可能的表达式。
然后我们反复比较、调试，完成适应节目录制的需求。
。
然后考虑减少计算量，进行“裁剪计算”。
换句话说，就是减轻负担，但前提是在保持面部捕捉一定精度的同时，减少计算量。
此前，面部数据计算的AI算法使用的是手机CPU，在保持一定精度的同时只能维持30fps。
而且，在高频计算过程中，很容易造成设备内热量积聚，以及在一些复杂光照条件下表达的卡顿。
为了解决功耗和续航问题，高通推出了Snapdragon SNPE工具（Snapdragon Neural Processing Engine，Snapdragon加速深度神经网络的运行时软件）对这套算法进行优化，并启用了AI引擎。
这样一来，原有的AI算法就可以以60fps的速度运行，并且可以持续运行三个小时。
它几乎完美地解决了准确性和速度的问题，实现了“两全其美”。
更让人震惊的是，在节目录制时，这套方案还只是基于上一代的骁龙8+芯片，AI引擎也是上一代的。
还有一点是，在提前曝光的录制花絮中，参与录制的明星们的脸部并没有传统的密集数据采样点。
他们只戴着头盔和一个仅用于固定设备的Android手机终端。
不需要特殊的标记点或多个摄像机的多角度记录。
基于Snapdragon芯片的Android手机可以完成面部特征点的采集，并利用终端的AI引擎执行复杂的AI算法。
实时呈现。
对于面部捕捉来说，精度和速度最终都是通过算法、AI引擎和NPU硬件加速来实现的。
另一方面，对于《元音大冒险》来说，Snapdragon的技术实力让这个计划从构想走向了实际行动。
针对人脸以外的各种干扰，高通骁龙和祥芯科技也在各个细节上进行了技术突破。
例如，艺人在唱歌时，由于麦克风距离脸部非常近，会对脸部捕捉造成严重阻碍。
这需要在技术设计中考虑。
最终，他们实现了稳定捕捉嘴部动作并保持虚拟性的能力，即使嘴部被部分遮挡。
图像面部稳定，避免因捕捉不足而出现“抽搐、晃动”等影响现场效果的情况。
元宇宙第一站，骁龙为引，可以看到《元音大冒险》已经证明，未来我们可以使用骁龙8系列移动平台手机完成面部捕捉，像一颗星星一样，映射元宇宙的世界，展示我自己。
就像小鬼王琳凯一样，他的形象是一个古灵精怪的小丑，但他的表情仍然是他自己的情绪。
▲点击播放过去，我们可以清晰感知手机SoC进步带来的各种进步：单核CPU到多核CPU，让手机不再卡顿； GPU的进步，可以玩的游戏，从《愤怒的小鸟》到桌面《原神》的水平，还有手机游戏的帧率，从30fps迈向了fps水平；网络也类似。
由于Modem的进步，网络速度也从kb提升到mb，现在又提升到了gb级别。
更重要的是，正如前面提到的，技术不仅要向前发展，还要向下发展。
如果现在的手机操作系统的界面仍然需要输入命令符号，而不是现在的图形触摸界面，那么Snapdragon芯片的计算能力再强，出货量上亿依然困难重重。
每年的产品。
当骁龙与祥芯科技合作完成元宇宙主题综艺的超低门槛人脸捕捉技术时，他们遇到的命题不仅是攻克技术难关，还要打造一款智能、强健、简单易用的设备。
便于使用。
技术，这个技术的使用者不是技术人员和开发人员，而是影视制作团队和演员。
所有常见的苹果着陆背后都有一个复杂的重力理论。
与 Snapdragon 对面部捕捉的支持等进步类似，它的背后是谁？答案是高通AI引擎。
与处理器的CPU和GPU相比，AI计算引擎的存在感要弱一些。
尽管每一代AI引擎的计算能力都呈指数级增长，但它带来的感知似乎有点弱？就拿这次又快又好的面部捕捉来说，普通设备中的AI引擎已经达到了相当的水平。
正常情况下，AI引擎的算力呈指数级增长。
你执行的每一个操作，比如解锁、打开摄像头、唤醒语音助手等，都无时无刻不在被AI引擎包围。
AI引擎带来的高算力让这些操作反应更加灵敏，让你感觉不到科技的存在，却被更好的人机交互所包围。
在《元音大冒险》计划中，Qualcomm AI Engine不仅在面部捕捉和虚拟图像创建方面大放异彩。
元宇宙如果想要有足够的沉浸感，首先需要拥有与现实世界相同的视觉、听觉等相应的感知。
精准的面部捕捉和动作捕捉可分为视觉，而听觉则采用Snapdragon Sound技术，带来低延迟、高品质的体验。
这些技术背后都有高通AI引擎参与，AI引擎的助力成为解锁元宇宙成功的关键。
如果你对比一下国内外一些所谓元宇宙平台上的虚拟形象，比如Meta的Horizo??n，你会发现，只有《元音大冒险》呈现的形象才能吸引普通人。
这里的图像差距完全是2G网络和4G网络的区别。
虚拟世界中的“我”更接近真实的“我”，只有这样元宇宙才能成功。
这里的技术是两个世界中“我”之间的纽带。
“我”诞生在另一个虚拟世界，摇摇晃晃地走出新手村。
这是元宇宙的第一站，骁龙移动平台。
毫无疑问，是一个指南。
版权声明：本文内容由互联网用户自发贡献，本站不拥有所有权，不承担相关法律责任。如果发现本站有涉嫌抄袭的内容，欢迎发送邮件 举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。
标签：
相关文章
06-18
06-18
06-18
06-17
06-17
06-18
06-17
最新文章
Android旗舰之王的过去与未来
智能手表不被开发、AR眼镜被推迟，Meta的产品经历了一波三折
为什么Cybertruck是特斯拉史上最难造的车？
更新鸿蒙3后，文杰允许你在车里做PPT了
新起亚K3试驾体验：追求“性价比”，韩系汽车仍不想放弃
阿维塔15登场！汽车配备了增程动力，理想情况下会迎来新的对手吗？
马斯克宣布创建 ChatGPT 竞争对手！ OpenAI的CEO给他泼了冷水， GPT-5可能会发生巨大变化
骁龙无处不在，是平台也是生态