首页 > 科技革新 > 内容

比 DNR 更快更好，Facebook 提出 ANR 关节式神经渲染，让虚拟头像细节更真实

发布于：2024-06-26 编辑：匿名来源：网络

加入 Yingwei.com 成为会员查看参考资料/信息来源，请点击：Yingwei.com 由 Georgia Institute 组成美国理工学院、德国波恩大学、Facebook Reality Lab 和 Epic Games 组成的团队（英伟达，2020 年 7 月 21 日）捕捉真实感是计算机视觉的重要目标之一。

3D 渲染和神经网络的进步带来了具有非凡保真度的方法。

然而，这通常需要昂贵且复杂的捕获设置，从而阻碍了所得模型的简单数字化和传输。

最近的延迟神经渲染（DNR）方法可以利用不精确的几何形状和相对简单的神经着色器来真实地捕捉具有视点相关效果的复杂场景。

第一步，使用神经潜在 texture 对几何图形进行光栅化，然后使用卷积网络将其转换为 RGB 图像。

渲染网络和神经纹理都经过优化以产生逼真的结果。

DNR 特别适合刚性物体。

它的管道可以以自然的方式扩展到可变形对象：可以使用蒙皮网格捕获几何体。

然后可以将姿势网格中的光栅化神经纹理转换为 RGB 图像。

尽管概念上很简单，但神经网络必须学习更复杂的变形相关效应。

比 DNR 更快更好，Facebook 提出 ANR 关节式神经渲染，让虚拟头像细节更真实

此外，用于渲染的网格通常不能完美地表示真实几何形状，从而导致对齐问题并限制了 DNR 在可变形物体场景中的应用。

针对这一问题，由美国佐治亚理工学院、德国波恩大学、Facebook Reality Lab 和 Epic Games 组成的团队提出使用铰接神经渲染（Articulated Neural Rendering，ANR）来解决该问题。

据介绍，ANR系统地将DNR从神经阴影模型结构重构为优化解决方案，团队利用ANR来解决动画中最具挑战性的问题之一：虚拟替身。

下图是 ANR 渲染的头像示例。

具体来说，虽然DNR非常强大，但它需要精确的3D几何来学习与视图相关的外观信息。

这样的假设在实践中很难做出，特别是对于铰接的、穿着衣服的人类外观，其形状通常由粗略的统计体形模型来表示。

ANR 使用简单的统计人体模型来捕获每帧的体形统计数据和 3D 姿势信息。

身体模型仅代表粗略的身体几何形状，没有衣服和头发。

因此，直接使用 DNR 管道会导致结果失真和模糊。

研究人员使用视频中的关键帧来学习神经纹理中编码的静态外观，并使用其他帧来学习外观的动态姿势条件渲染。

基于关键帧的训练方案使模型的收敛速度比 DNR 快 5 倍，并产生比 DNR 更好的头像。

该团队在一个模型中同时训练多个身份 ANR，从而实现神经纹理和着色模型的解耦。

由于统计体积模型具有一致的表面参数化，因此该模型可以利用相关的语义对应来修改和混合来自多个神经纹理的组件，从而通过改变神经纹理中的区域来实现虚拟试穿。

尽管研究人员获得的模型仅适用于二维，但经实验验证，它可以用非常小的网络（M参数）呈现接近真实照片效果的持久三维外观。

两项用户研究表明，ANR 不仅优于 DNR 管道，还优于采用专门设计用于创建头像的方法的多个其他管道。

从感知上看，该方法具有时间稳定性并且具有良好的外观细节。

ANR 可以生成关节对象的高度详细的表示。

传统渲染管道使用高分辨率网格和详细 RGB 纹理，而研究人员使用低分辨率网格和高维神经纹理，并使用神经网络从新视图渲染详细 RGB 外观。

所描述的论文的贡献包括三个方面。

首先，团队提出了一种新的神经渲染框架ANR，用于根据粗糙的3D形状和任意骨骼运动生成高质量的化身。

其次，ANR 是第一个可以用一组网络参数捕获和表示多个特征的神经化身模型。

第三，ANR 允许简单的外观编辑或特征混合。

综上所述，研究人员主要介绍了一种新的神经渲染框架ANR，它可以用来处理具有任意骨骼动画和视点的高质量头像。

这种方法的关键是考虑几何失准和与姿态相关的表面变形。

相关解决方案被集成到端到端学习框架中，其中包括新的神经渲染架构和适应的优化方案。

ANR 可以使用单个神经渲染模型渲染多个化身。

通过解耦纹理和几何体，ANR 可以实现外观的混合和编辑。

为了获得更高质量的结果，可以在特定标识符处对模型进行微调。

此外，ANR 目前将场景光照融入神经外观中，而结合内在分解来解耦光照和表面反射是未来的一个重要方向。

更多关于该论文的研究描述和计算说明，请访问相关论文ANR：Articulated Neural Rendering for Virtual Avatars。

比 DNR 更快更好，Facebook 提出 ANR 关节式神经渲染，让虚拟头像细节更真实

站长声明

标签：

上一篇：微软正在研究为头部和颈部受伤的身体残障人士提供无障碍 VR 体验

下一篇：控制你的视力，苹果或正在开发AR眼镜操作系统

求芽科技完成Pre-A轮融资，投资方联想创投

据投资界9月10日消息，国内能源互联网南京求芽信息技术有限公司（简称“求芽科技”）解决方案提供商，今日宣布完成Pre-A轮融资，融资金额为2000万元，投资方为联想创投。据了解，奇亚科技成立于今年9月，是国内能源互联网解决方案提供商。秋芽科技以“云+端”架构的工业大

06-17
投资大佬查理·芒格跨境建设，捐资2亿美元建“无窗”建筑

有窗是看世界的一种方式。无论是乘坐高铁出行，还是忙碌一天的匆匆一瞥，窗户总是给我们带来“新奇”，我们的情绪被青山绿水和嬉戏的孩子们牵走，给我们带来宁静和幸福。即使是花费数百万甚至数千万美元的太空旅游，人们花费数千万只是为了看看那颗神秘的兰花星球，感受它的

06-21
浪潮云宣布完成6亿元B轮融资，投后估值超11亿美元

据投资界消息，浪潮云宣布完成6亿元B轮融资，投后估值超11亿美元货币估值超过11亿美元。主要投资机构包括财政部管理的国务院投资机构、上海市国资委所属地方国有投资机构、建行、民生银行背景的投资机构、以及地方省市新旧动能转换、地方金融集团。投资机构和民间专业投资

06-17
低成本航空公司如何既省钱又赚钱？

今年中秋、国庆“双节”假期重叠，出行需求激增。近期，6系统的访问量已达1亿次，相当于平均每秒有超过61.6万人刷票。中国中铁集团预计，假期期间铁路日均客流量将接近万人次，约为春运期间日均客流量的两倍。热门火车线路的车票一票难求，因此很多人选择乘坐飞机出行。这

06-18
北京创新型中小企业直通北交所高峰论坛在京举行

自9月初宣布成立北交所以来，北交所的一举一动都受到广泛关注和关注资本市场持续热议。 10月21日下午，“北京创新型中小企业直连北京证券交易所高峰论坛”在城奥塔成功举办。会场座无虚席，盛况空前。本次高峰论坛由北京市科学技术委员会、中关村科技园区管委会、北京市经济

06-18
上半年，中国半导体厂商和赛道毛利率最高

上半年，全球半导体行业仍呈现去库存特征，行业进入下行周期，进而对整个半导体市场的需求产生了负面影响。各半导体公司的盈利能力也持续下滑。不过，即便在这样的背景下，仍然有一些公司在毛利润方面表现出色。下半年哪些厂商和赛道值得关注？本文中，半导体行业记者对中

06-18
ICML论文选：无监督学习的研究与应用

深度学习的类型根据数据是否被标记可以分为三种类型：监督学习、半监督学习和无监督学习。事实上，人类不可能一步步教人工智能一切。无监督学习应该是未来的趋势。 ICML为无监督学习开辟了一个单独的领域，包括无监督学习的研究和应用。今天我们主要关注无监督学习应用的

06-18
全球无障碍宣传日：传递科技温暖，构建无障碍未来

无论是面对面的聊天沟通、语音通话、在线阅读、控制浏览各种移动设备……这些都是“日常”的事情在大多数人的生活中，对于很多残疾的人士来说，都是他每天面临的挑战。据世界卫生组织称，目前全世界有超过 10 亿人（占总人口的 15%）患有某种形式的残疾，而且随着人们年龄的

06-18
佩戴科技完成数亿元融资，加速智能电动摩托车创新及全球业务拓展

据投资界（ID：pedaily）2月29日消息，佩戴科技（以下简称“佩戴科技”）》）投资的中国智能摩托车行业领军企业，近日完成数亿元战略融资。本轮融资由东方嘉富领投，财通资本、君豪资本跟投。资金将主要用于浙江海盐基地建设和技术研发。打造集研发、生产、销售、服务于

06-17
AI美女横行网络，赛博、恋人被“阉割”，背后大问题

2个月前，65岁的退休律师Richard在推特上看到Replika的广告。 Replika，原意为“复制品”，是来自AI公司Luka的一款聊天机器人，主打陪伴。 Richard知道著名的ChatGPT，但他对AI伴侣更感兴趣。他因服兵役而致残，并被诊断出患有抑郁症，他一直在寻找缓解情绪的方法。偶然发现

06-21
新港海岸完成B+轮融资，投资方为烽火产业基金

据6月25日消息，烽火产业投资基金近日完成新港海岸（北京）科技有限公司的B+轮融资（以下简称“新港海岸”）投资。融资资金将用于芯片研发与迭代、市场拓展、人才引进等与主营业务相关的方面。新港海岸成立于2007年，是一家内资独资芯片设计公司，总部位于北京，在西安、深

06-18
携程2020年第四季度净利润为50亿元，净利润减半，

携程2020年第四季度净利润同比下降40%至50亿元，净利润同比下降50%至10亿元。

06-18