海达投资陈巧：医疗投资就像“高台蹦极”好项目需要潜心挖掘
06-18
（，2020 年 12 月 28 日）当混合现实耳机记录响应用户头部运动的惯性运动数据时，运动数据可能无法直接指示用户身体的动作或此类动作背后的意图。
动作和动作的意图对于确定用户是否遵循流程非常有帮助，例如执行满足制造流程中特定要求的动作。
在另一个用例中，可以保留记录的数据，并允许稍后查询 MR 记录的数据并获得不同的见解。
换句话说，这就像从多用户 MR 体验中获取所有记录的数据并使其成为可查询的数据集。
其中，许多不同类型的查询可能包括已知的或可能未知的源自场景的动作。
在一项名为“重建混合现实上下文衍生动作”的专利中，微软提出了一种解决上述问题的方法。
在 MR 体验中，房间或结构等空间以数字方式表示。
在会话期间，可以通过用户佩戴的耳机收集有关用户位置或运动的数据。
可以对收集的数据进行分析，以更好地了解用户在体验过程中做了什么。
其中，可以估计MR体验期间身体的位置或运动并相应地创建动画。
然后可以播放动画，本质上提供用户体验的视觉重播以供后续分析。
对于上述描述，简单来说，可以根据MR设备采集的数据来重建当时的MR用户会话场景，从而进行各种分析。
图1是用于生成所记录的用户MR体验的动画视图的系统的框图表示。
MR设备用于记录不同类型的数据，例如惯性运动单元（IMU）数据、相机数据和其他数据。
IMU 数据可以由商用 MR 耳机中的惯性传感器提供。
IMU数据通常包括表示六个自由度惯性运动的数据，包括向左、向右、向前、向后、向上和向下的运动。
相机数据可以包括视频和深度数据。
其他传感器数据可以包括麦克风收集的声音、用户眼睛跟踪信息以及温度等其他数据。
在另外的实施例中，其他传感器数据可以包括心率和其他生理数据。
MR 设备还包括空间数据。
可以通过使用 MR 设备最初扫描房间或结构等空间来创建空间数据，以捕获将发生 MR 体验的空间的数字表示。
如果之前已经扫描过空间，则可以简单地检索空间数据以方便MR体验。
您可以使用该设备来扫描空间，例如通过在房间周围缓慢行走并查看各种结构，例如墙壁、天花板、地板、家具等。
在进一步的实施例中，可以使用多个设备来执行扫描并协作以做出贡献几何学。
扫描包括几何扫描并且可以由能够捕获到空间内的物体和表面的距离并生成包含空间数据的空间的三角形网格表示的任何设备来执行。
然后将所包含的记录数据提供给动作推理引擎。
动作推理引擎可以在基于云的计算资源、基于服务器的资源、MR设备或其他计算资源中执行。
记录的数据包括IMU数据、相机数据和其他传感器数据。
这样的数据可以由MR设备处理以表示MR设备在MR空间中的位置。
另外，记录的数据可以包括来自MR设备的原始传感器数据和在记录MR体验期间捕获的附加数据。
这样的附加数据可以包括数据项，例如用户ID、元数据、来自所使用的控制器的数据以及其他数据。
可以通过用户输入提供上下文数据。
用户输入可以通过用户与MR设备的交互来提供，或者通过与运动推理引擎通信的单独的输入机制来提供。
上下文数据可以包括用户数据符号、过滤器、查询和用于为用户MR体验提供上下文和查询存储的用户体验的其他输入，例如搜索特定的推断动作。
过滤器可用于选择对于重建 MR 用户会话场景的重放有意义的推断动作。
用户输入可用于定义过滤器的通过或拒绝重放的推断操作。
用户输入也可用于叠加上的过滤器。
可以使用用户实际正在做什么的计算推断来创建重播，以创建在空间的数字表示内执行推断动作的角色化身身体。
例如，当用户佩戴MR设备时，可以通过多种方法来推断用户的身高，例如获取一段时间内的最大平均身高，或者具有用户站立不动的准备阶段。
还可以从具有用户身体信息（例如元数据）的服务器检索用户的身高。
根据记录的用户身高和当前MR设备高度，如果身高差满足阈值数或百分比，系统可以推断用户正在蹲伏。
进一步的 IMU 数据可用于基于高度差变化时检测到的选定运动阈值来推断用户蹲在左侧或右侧。
根据MR设备的运动和MR设备提供的IMU数据，运动推理引擎推断出用户正在行走、行走的速度、行走的时间、倾斜、跳跃、说话、躺下等动作图2是示出由推理引擎执行以推断动作的示例方法的流程图。
每个动作都可以有一个与该动作相对应的算法，或者可以使用一个算法来推断多个不同的动作。
在操作中，每种算法都可以接收记录数据和其他数据。
对于该方法的算法，它旨在根据用户在体验过程中每个给定时间点的速度来推断动作，并确定用户是静止的、行走的还是跑步的。
在操作中，用户的瞬时速度是根据用户位置随时间的变化来确定的。
速度也可以由MR设备直接提供。
在决策操作中，该方法确定速度是否为零或接近零。
可以使用阈值，例如小于0.1公里/小时。
如果是，则该操作推断当前动作是用户仍在原地或者没有移动。
重播可以由任何合适的动画系统生成，以基于空间数据重新创建未指定的现实并提供不同视角的视图。
在教学、训练、运动或工作环境中，缩放和平移功能可用于评估用户的动作和行为。
此外，动画速度、方向、强度等可以根据系统输入进行更改。
例如，如果用户的头部非常稳定，则可以降低动画的强度以显示化身正在轻轻地行走。
相反，如果用户的头部不太稳定并且振动更多，则动画强度可能会增加以表明用户更像是跺脚。
在一个实施例中，由动作推断引擎推断的动作可以存储在存储器中以供将来使用，例如存储在MR记录数据、空间数据和上下文数据中的一项或多项处，或者甚至存储为数据库。
在单独的存储设备中。
用户输入可用于选择要查看的重播，以及查询存储在 、 和与一个或多个重播对应的其他存储中的数据。
查询可能包括用户体验的许多不同方面，包括推断的操作。
例如，一条数据可以表明用户的头部正在向下移动，并且可以查询用户当时在做什么以及他们的意图是什么。
在保安人员的示例中，MR 设备较低高度的变化可用于推断保安人员出于安全原因正在查看汽车下方。
该方法可以在经验记录期间周期性地重复以确定每个动作何时发生。
速度和运动可用于生成重播。
在一个实施例中，可以使用识别动作的机器学习技术。
用于训练一个或多个模型的训练数据集可以包括标记有相关动作的记录数据。
在另外的实施例中，训练数据可以包括标记的用户特定的先前记录的数据，或者甚至可以包括来自多个用户的标记的数据。
在另外的实施例中，可以从IMU数据推断出用户正在观看或凝视全息对象，例如苹果。
眼睛跟踪数据还可用于更准确地检测用户何时正在观看全息对象。
这种推断可用于在播放时使用颜色绘制对象的表面，例如当苹果位于用户视野内时绘制红色或绿色。
此外，如果将用户意图或规则集应用于数据，则可以标记或设置进一步的操作。
在一个示例中，四名戴着耳机的用户正在体验全息怪物的 MR 体验。
三个角色一起旅行，而一名用户则独自完成体验。
这就是数据中记录的一切，包括怪物的位置。
通过应用从附加数据获得或通过用户输入输入的意图，可以推断出更好的派生动作并在重放中表示。
例如，该用户是否在进行间谍活动？如果是这样，则可以更好地将所述动作分析为试图避开全息怪物的视野。
用户正在侦察的区域也可以被标记为团队的清理区域。
如果用户实际上是怪物团队的成员，那么用户的操作应该以相同的方式工作，但是对于另一个团队。
用户是否只是需要休息一下并试图离开体验？如果是这样，则可以使用体验之外的角色来动画重播。
这种带有推断动作的回放可以用在游戏中，但同时它也可以用在许多不同的场景中，例如 MR 训练模拟。
图3是示出了一种为佩戴MR设备的一个或多个用户推断动作并创建混合现实(MR)体验的动画回放的方法的流程图。
在操作中，记录代表混合现实设备在用户的混合现实体验期间感测到的用户体验的数据。
记录的数据在动作中进行处理，以推断用户在混合现实体验期间执行的动作。
在操作中，基于记录的数据和推断的动作创建混合现实体验的增强重播。
回放提供了用户的表示并反映了用户在体验期间执行的推断操作。
在一个示例中，增强重播包括代表用户的化身，其中该化身正在执行所推断的一个或多个动作。
在另一示例中，记录的数据包括空间的数字表示内随时间变化的用户位置数据。
处理所记录的数据可以包括基于随着时间的推移的位置数据来确定用户的速度并且响应于所确定的速度来推断步行运动或跑步运动。
图4是示出推断进一步动作的方法的流程图。
在操作中，检测到记录的数据包括特定声音，例如在混合现实体验期间发生的锤子敲击物体的声音。
或者，可以检测与锤击相关的振动。
特定的声音或振动或两者都可以被识别为与操作现场的已知动作相对应。
在操作中，根据识别的声音或振动或两者来推断动作。
在操作中，可以更新增强重放以反映推断的动作。
图5是示出基于记录的数据推断意图的方法的流程图。
在操作中，根据记录的数据确定用户的角色。
记录的数据在动作中进行处理，以根据角色在一个或多个推理动作期间推断用户的意图。
关于推断出的意图的反馈可以在操作处被接收并且用于基于接收到的反馈来修改在操作处记录的数据。
增强重放可以在操作期间根据修改的记录数据进行修改。
图6是示出推断次要动作的方法的流程图。
在行动中，接收推断的行动。
在操作中，基于一个或多个推断的动作来推断辅助动作。
然后可以根据所推断的次要动作在该动作处生成或修改增强的重放。
图7是示出查询表示用户的MR体验的数据的方法的流程图。
结果可以是列表的形式，其中包含指向存在列表中的项目的一个或多个重播的链接。
结果还可以是作为查询主题的一个或多个操作的出现次数的聚合。
示例查询可以请求用户在一种或多种 MR 体验中行走、慢跑、跑步或行进的米数。
另一个例子可能会询问用户蹲了多少次，或者蹲了多长时间。
此外，还可以查询特定的推断动作。
通过上述方法，系统可以基于MR设备收集的数据来估计并重建当时的MR用户会话场景，以供后续重放和各种有用的分析。
相关专利：微软专利|重建混合现实情境派生动作 题为“重建混合现实情境派生动作”的微软专利申请最初于今年 6 月提交，最近由美国专利商标局公布。
版权声明：本文内容由互联网用户自发贡献，本站不拥有所有权，不承担相关法律责任。如果发现本站有涉嫌抄袭的内容，欢迎发送邮件 举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。
标签：
相关文章
06-18
06-17
06-08
06-21
06-18
06-17
06-17
06-18
最新文章
英国肖像画家用Tilt Brush探索VR雕塑
微软75亿美元联姻B Corp母公司，以3件VR大作作为嫁妆
传闻苹果AR-VR眼镜原型机将于下个月发布，量产推迟至2022年初
调查显示，大多数游戏玩家对虚拟现实不感兴趣
一睹购物未来，亚马逊VR购物在印度试水，带你畅游虚拟商务中心
这是Nvidia是这么解释什么是AR、VR、MR的，以及对应的区别
iPhone12 Pro完成了谷歌的使命，为苹果的AR眼镜铺平了道路
研发实践：在VR游戏中添加LiquidVRMultiView渲染