赋比兴完成A+轮千万级融资，4个月内连续完成3轮融资
06-18
最近，一家名为Veeso的公司开发了一款社交VR耳机，可以追踪玩家的面部表情。
官方称，这是世界上第一个能够追踪玩家面部表情的系统。
一款可以捕捉面部表情并将其实时转化为数字人物的 VR 设备目前正在 KickStarter 上众筹。
实时转换效果如下： VR社交目前存在的问题 VR社交现阶段已经完成了对社交对象的方向、位置、基本姿势、头部的追踪，但这仅仅满足了最基本的需求：互相交流，看到对方的身体。
目前，Altspace VR、High Fidelity 和 vTime 均已开发出 VR 社交耳机。
三人为玩家提供了一个化身（Avatar），以在虚拟世界中代表自己。
但图像建模过于“粗糙”，甚至无法反映用户的动作。
和表情，而其内置的VR社交环境也是基于传统社交应用的交互方式。
为了让VR社交变得更加有趣，Altspace VR开始整合各种功能和小游戏，比如网页浏览、美术馆、桌面游戏赌场等。
然而，VR社交的核心是人与人之间的互动，不是游戏和环境。
现实生活环境中人类的社交互动不仅仅局限于言语交谈，还需要根据面部表情了解对方的真实想法和感受。
据统计，人类在社会交往中的信息交流只有30%是通过语言实现的，剩下的70%是通过表情和肢体动作来实现的。
因此，表情捕捉在VR社交中显得尤为重要。
通过创建与真实表情完全同步的虚拟场景，玩家可以通过表情变化来改善社交伙伴的社交感情。
面部捕捉技术 1. 通用面部捕捉技术 通用面部表情捕捉技术可以将定制的虚拟角色上的真实面部表情动画化，使其角色栩栩如生，营造更加身临其境的虚拟现实体验。
，广泛应用于好莱坞电影特效制作中。
苹果去年收购的 Faceshift 是一家面部表情动作捕捉公司。
该产品捕捉演员的面部动作，并将其复制到动画电影和游戏中的虚拟角色中。
然而，这种识别技术存在两个问题。
首先是用户需要在脸上打上标记点。
标记点是电路板设计中自动贴片机上使用PCB的位置识别点。
高速摄像机用于捕捉人的面部特征。
标记点以逆向计算面部运动。
放置标记点的过程繁琐复杂，只适合专业表演，不适合普通玩家。
第二个问题是上述识别技术不是实时的，需要后期MAYA和3D MAX合成。
2、Veeso面部捕捉特点Veeso的特点是用户不需要在脸上画标记点，可以实时捕捉并直接实时同步在虚拟数字人物中。
Veeso的 VR 耳机原型有两个摄像头，一个隐藏在耳机中，用于记录玩家的眼球和眉毛运动；另一个则隐藏在耳机中，用于记录玩家的眼球和眉毛运动；另一个摄像头则隐藏在耳机中，用于记录玩家的眼球和眉毛运动。
另一个从耳机正下方突出，记录用户的嘴巴和下巴运动。
两个摄像头同时记录眼球、眉毛、嘴巴和下巴的运动，将面部表情映射到化身的脸上。
3、实时面部捕捉的技术难点 由于跟踪面部表情并在虚拟屏幕中再现面部表情是同步的，因此其技术实现难度较大，主要是由于：跟踪和再现（映射到虚拟头像）的延迟、设备数据处理的延迟能力、跟踪传感器的敏感精度、社交网络的带宽等等。
而且，面部追踪涉及学科广泛，包括CV、电子、机械、心理感知、机器学习、面部动画、传感器等技术。
实时人脸抓拍的操作流程大致如下。
传感器首先跟踪人的表情。
数据处理后，通过高速宽带网络传输至社交对象的VR设备，并在其虚拟环境中再现。
现有解决方案 事实上，已经有很多团队在尝试VR面部捕捉技术。
南加州大学助理教授李浩正在与 Oculus 合作研究虚拟现实耳机的面部追踪功能。
该设备的初始原型和研究论文“面部性能传感头戴式显示器”于2017年在SIGGRAPH（图形与交互）（特殊技术爱好者组）上首次披露。
在他们的合作研究中，他们发现，由于VR玩家的头部被HMD部分遮挡，这会给VR中的面部表面跟踪带来很大麻烦。
因此，研究人员尝试使用它。
传感器嵌入泡沫板内（下图中黄色标记部分），通过感知面部肌肉的抽动来捕捉玩家脸上的表情，而从正面延伸的摄像头则用于追踪用户的下巴和嘴部运动，李浩谈到这个原型机时说道。
事实证明，在虚拟现实耳机下使用应变传感器结合机器学习算法来推断面部表情是可能的，但这样的设备距离实现面部表情的完美跟踪和再现还有一段距离。
与下巴追踪方式类似，在产品正面添加了突出的支架和摄像头。
有人尝试使用Lip Sync通过声音计算虚拟角色的嘴型，让玩家的嘴型能够与他所说的话相匹配。
将嘴巴的动作与声音相匹配在最基本的对话情况下效果很好，但如果玩家想默默地做个鬼脸，那就行不通了。
一项外国技术根据虚拟场景中发生的事件再现表情。
当玩家在虚拟场景中遇到紧急情况时，根据事件内容推断用户的兴趣焦点，最终产生眼球运动。
通俗地说，就是根据具体场景推断玩家的眼神。
另一种新型技术首先利用摄像头捕捉下半张脸，然后利用深度学习分析下半张脸的表情，从而还原出完整的脸部。
虽然这两项技术不能被视为主流采集技术，但它们可以在主流解决方案中起到打磨作用，使得基于推测算法的采集和再现更加准确。
据官方介绍，Veeso的耳机可以适配所有iOS和Android设备。
它不仅支持目前市面上的VR内容，还有多款自主开发的游戏供玩家选择。
从目前在Kickstarter上发布的演示视频来看，耳机的面部追踪系统以及VR场景中的表情演示还不够准确，还有很多技术问题需要解决。
因此，所谓“全球首款内置面部追踪技术的VR设备”的称号并不能代表其有多么颠覆性。
目前该项目的抢先体验价格为70美元，开发者可以花80美元购买设备和开发套件。
版权声明：本文内容由互联网用户自发贡献，本站不拥有所有权，不承担相关法律责任。如果发现本站有涉嫌抄袭的内容，欢迎发送邮件 举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。
标签：
相关文章
06-18
06-18
06-18
06-18
最新文章
Android旗舰之王的过去与未来
智能手表不被开发、AR眼镜被推迟，Meta的产品经历了一波三折
为什么Cybertruck是特斯拉史上最难造的车？
更新鸿蒙3后，文杰允许你在车里做PPT了
新起亚K3试驾体验：追求“性价比”，韩系汽车仍不想放弃
阿维塔15登场！汽车配备了增程动力，理想情况下会迎来新的对手吗？
马斯克宣布创建 ChatGPT 竞争对手！ OpenAI的CEO给他泼了冷水， GPT-5可能会发生巨大变化
骁龙无处不在，是平台也是生态