东车日报 - 2月新能源汽车渗透率达21.8%-国际油价再创新高，国家发改委称国内稳定-日产Z即将投产
06-21
在自我标记方面，脸比任何其他属性都更重要，成为“我是谁”和“谁”我是不是”关键判断因素。
因此，人类对人脸非常敏感。
但对于生成逼真图像的虚拟数字人类来说，这构成了巨大的挑战，因为即使很小的偏差也会显着降低真实感和沉浸感。
为了克服这一困难，传统手段依赖于广泛的个人特定数据采集和手动处理。
这个过程既昂贵又耗时。
过去，要捕获编解码器头像，Meta 需要配备高分辨率摄像头的 MUGSY 设备。
因此，如何降低捕获需求成为团队需要攻克的紧迫问题。
在一篇题为 《Authentic Volumetric Avatars from a Phone Scan》 的论文中，Meta 表示，现在只需使用配备 RGBD 相机的智能手机即可实现逼真的拍摄。
从有限的数据自动创建阿凡达的核心挑战在于prior和evidence之间的权衡。
prior需要以轻量级的方式补充有关用户的外观、几何形状和运动的有限信息，比如仅通过手机摄像头，但这通常是以evidence为代价的，即失去真实感。
尽管该行业近年来取得了巨大进步，但以高分辨率了解人脸的多样性仍然具有挑战性。
对长尾进行建模对于捕捉个人特征（例如特定的雀斑、纹身或疤痕）是必要的，并且需要更高维度的潜在空间模型。
现代方法能够产生看似合理的人脸幻象，但无法以可用于识别他人的真实方式再现真实的人类。
一些研究人员通过优化潜在空间以外的空间实现了出色的逆重建，但这导致了强烈的伪影。
在这项研究中，研究人员打破了prior和evidence之间的权衡，消除了对不真实存在的人类产生幻觉的能力。
相反，他们使用手机数据来表示适应。
所描述的方法由三个主要元素组成：一个通用的prior超网络，在具有数百个特征的高质量多视图视频语料库上进行训练；根据手机扫描调整模型的注册技术；以及基于反向渲染的技术，用于根据附加表情数据微调个性化模型。
prior的架构基于这样的观察：面部外观和结构的长尾关键最适合直接从人类状况数据中提取，而不是从低维特征嵌入中重新提取的细节。
与之前的研究相似，研究人员发现低维嵌入的性能很快就趋于稳定，并且无法捕获个体特定的特征。
相反，他们发现通过增强现有方法，可以使用特定于人的多尺度“无结”偏差图忠实地重建特定于人的高 LOD（细节级别）。
该偏差图可以使用 U-Net-styre 的网络从用户中性扫描的未扭曲纹理和几何形状生成。
这样，Meta 的模型就是一个超网络，可以接收用户中立的面部数据，并以偏差图的形式为个性化解码器生成参数。
综上所述，该团队的通用prior和自适应策略使得能够通过单次中性扫描即时创建高度逼真的虚拟数字人类，并且只需要少量的表达扫描即可生成跨越人类表达范围的模型。
团队表示，所描述的方法改进了手机捕获的头像生成技术，而不会显着增加用户侧的要求。
现有的方法可能会产生似是而非的幻觉，但他们的方法可以产生一个看起来和动作都像特定人的化身。
此外，所描述的模型继承了现有个体特定模型的速度、分辨率和渲染质量，因为它使用类似的架构和渲染机制。
因此非常适合交互帧率要求较高的应用，比如VR。
研究人员声称，基于智能手机的扫描过程平均只需要 3.5 分钟。
当然，生成具有所有细节的虚拟数字人需要在具有四个高端 GPU 的机器上工作六个小时，但如果部署在生产中，这些步骤可能会在云端而不是在用户的本地设备上进行。
此外，该团队承认，目前的系统无法处理眼镜或长发，并且仅限于头部，不包括身体的其他部位。
相关论文：手机扫描的真实体积头像 因此，要真正实现图像逼真的头像民用化，Meta 还需要继续努力。
今年4月，Codec Avatar团队负责人Yaser Sheikh表示，无法预测它离实际应用还有多远。
不过，他指出，在项目开始时，团队距离实现目标还有“十个奇迹”，但他相信现在只剩下“五个奇迹”。
版权声明：本文内容由互联网用户自发贡献，本站不拥有所有权，不承担相关法律责任。如果发现本站有涉嫌抄袭的内容，欢迎发送邮件 举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。
标签：
相关文章
06-06
06-17
06-18
06-18
06-18
最新文章
英国肖像画家用Tilt Brush探索VR雕塑
微软75亿美元联姻B Corp母公司，以3件VR大作作为嫁妆
传闻苹果AR-VR眼镜原型机将于下个月发布，量产推迟至2022年初
调查显示，大多数游戏玩家对虚拟现实不感兴趣
一睹购物未来，亚马逊VR购物在印度试水，带你畅游虚拟商务中心
这是Nvidia是这么解释什么是AR、VR、MR的，以及对应的区别
iPhone12 Pro完成了谷歌的使命，为苹果的AR眼镜铺平了道路
研发实践：在VR游戏中添加LiquidVRMultiView渲染