AI团队被解散重组，负责人被迫离开，Meta风波持续
06-17
加入英伟网会员查看参考资料/信息来源请点击：英伟网 Nweon 基于GPS和传感器的重定位系统(Yingwei.com Nweon 03 28) MR耳机需要相对于物理环境的位置和/或物理环境的几何形状来呈现虚拟内容。
因此，MR 系统必须保持对位置和方向的准确感知，以便根据用户视角的变化显示自然的数字内容。
为此，一系列 MR 系统依赖于 SLAM 技术。
这通常需要用户在整个物理环境中移动，以允许MR系统捕获物理环境的足够数量的关键帧来构建物理环境的地图。
然而，初始地图构建非常耗时，并且极大地限制了 MR 系统提供多样化体验的多功能性。
为了避免初始映射构建过程，MR系统可以至少部分地利用先前构建的物理环境映射来初始化MR体验。
然而，为了使用先前构建的物理环境地图来初始化MR体验，MR系统通常必须知道MR系统相对于物理环境的位置。
换句话说，MR 系统必须在物理环境中自我定位/重新定位。
此外，MR 系统可能会消耗大量计算和时间来在关键帧之间进行搜索，特别是对于包含大量关键帧的大型现实世界空间映射。
针对上述问题，微软提出了旨在促进快速定位的优化技术和系统。
在题为“基于 GPS 和传感器的重新定位的系统和方法”的专利申请中，该团队介绍了一种基于 GPS 和传感器的重新定位系统。
图 1 显示了头戴式设备的示例。
该耳机包含传感器，其中包括摄像头、GPS 和惯性测量单元 (IMU)。
IMU可以包括各种惯性跟踪组件，例如加速计、陀螺仪、罗盘（例如一个或多个磁力计）和/或气压计。
耳机的惯性跟踪组件/系统可以与视觉跟踪系统协同工作，形成头部跟踪系统并生成耳机的姿势数据。
在一个实施例中，视觉跟踪系统包括捕捉环境的图像数据的一个或多个摄像机。
在一种实施方式中，上述组件可以形成视觉惯性SLAM技术，并结合由一个或多个相机和加速计、陀螺仪、传感器和/或指南针捕获的视觉跟踪数据来执行实时（或近实时）估计耳机 00 相对于环境的六自由度定位（即姿势）。
在一个实施例中，耳机的视觉跟踪系统包括一对立体相机，其被配置为获得用户环境的深度图并提供用户环境的视觉图。
耳机可以利用环境的视觉映射数据来准确地显示有关用户环境的虚拟内容，并促进耳机在环境中的逐帧姿势跟踪。
视觉地图数据还可以在共享混合现实环境中实现用户之间的位置共享。
图 1 还显示耳机可能包含 GPS，用于获取 GPS 数据以跟踪耳机的全球位置。
现在请注意图 2，它说明了示例环境。
环境包括林区、建筑物、建筑物、区域等各种区域。
用户佩戴的耳机可以获取环境映射，例如与某个区域相关的视觉映射数据，然后用于促进该区域内的 SLAM 跟踪。
耳机还可以获得环境内的GPS数据、IMU数据和/或图像数据。
当用户从森林区域接近某个区域时，与该用户关联的系统可能需要建立其相对于该区域的位置，以便 SLAM 为用户提供该区域内的准确 MR 体验。
然而，环境的映射可能包括该区域的大量视觉映射数据，这可能导致延迟和/或不正确的定位。
为了解决这个问题，微软提出的系统可以被配置为使用诸如GPS数据和/或IMU数据之类的数据来智能地/选择性地识别和选择视觉映射数据的子集以用于在环境内定位或重新定位。
图 3 显示了与环境关联的示例映射。
如上所述，映射包括映射区域内的视觉映射数据。
例如，地图包括区域内多个关键帧和多个锚点形式的视觉映射数据。
在一个实施例中，如图2所示，在用户进入环境区域之前获得映射区域内的视觉映射数据。
换言之，地图的至少一个区域可以被认为是表示环境区域的预地图，其被配置为当该区域被定位时促进位于该区域中的MR体验，即，不需要首先要求用户捕获或获取该区域的新视觉映射数据。
在一个实施例中，基于使用一台或多台相机捕获的图像来获得映射的关键帧。
该系统从成对的立体图像中提取特征，以识别区域内环境的锚点。
锚点提供参考点，用于跟踪区域内代理姿势的变化。
此外，系统可以对立体图像对执行深度计算，以获得识别图像捕获期间的各种锚点和立体相机对之间的距离的深度数据。
根据深度数据，可以获得或建立图像捕捉期间立体相机对相对于锚点的位置和方向。
可以获取从区域内多个位置捕获的多个关键帧以及多个锚点并将其存储为环境地图的一部分，如图 3 所示。
映射区域代表环境的区域。
与用户相关的系统可以利用关键帧和锚点来跟踪他们相对于环境的映射部分的姿势。
例如，当系统的初始位置和定向不可靠时，系统可以在当前时间点捕捉该区域的一幅或多幅当前图像。
系统可以从当前图像中提取特征，并将这些特征与与各个关键帧相关联的锚点进行比较。
系统识别与锚点相关的特定关键帧。
然后系统可以根据锚点的位置和方向来估计与锚点相关联的特定关键帧在地图内的位置和方向，即系统可以进行定位或重定位。
然后，系统可以跟踪系统相对于锚点的帧到帧姿态变化，并且系统可以使用与其他关键帧关联的锚点来在用户在整个区域中移动时保持准确的跟踪。
图3示出了用户（或与用户相关联的系统）相对于用户环境的映射的估计位置和估计方向。
用户的估计位置和估计方向至少部分对应于用户在环境内的位置B。
例如，当用户位于环境中的位置B时，与用户相关联的系统可以获得GPS数据和/或IMU数据。
在一个实施例中，GPS数据指示用户相对于地图的估计位置。
例如，GPS数据可以指示与用户相关联的GPS的估计经度和纬度，从而提供用户的估计全球位置。
应当注意，地图内的空间位置可以与GPS坐标相关。
地图内的空间位置和 GPS 坐标之间的相关性可以通过多种方式建立，例如在预映射过程中，可以在地图中手动覆盖 GPS 坐标。
因此，用户在环境内的估计的全球位置可以指示用户相对于地图的估计的位置。
在一个实施例中，IMU数据指示相对于地图的估计方向。
例如，IMU数据可以包括从指南针获得的航向数据，其可以指示与用户相关联的系统的估计航向或偏航。
IMU 数据还可以包括基于陀螺仪获得的角速度数据和从加速度计获得的重力矢量。
估计位置和/或估计方向可以提供用于识别系统搜索定位的地图的关键帧子集的基础。
图 4 显示了在地图中定义搜索空间的示例。
如图4所示，搜索空间是基于和/或相对于与用户相关联的系统的估计位置来定义的。
搜索空间从多个映射的关键帧中识别一个或多个关键帧。
例如，关键帧 A、B、C、D 和 E 被识别为位于基于估计位置定义的搜索空间内。
通过这种方式，系统使用估计的位置来选择从环境中的位置捕获的关键帧。
关键帧A、B、C、D和E可以包括与用户关联的系统可以在进入环境区域时用作定位系统的候选者的关键帧的子集。
因此，与用户相关联的系统减少或限制了搜索空间，并且仅包括用于执行定位的映射关键帧的子集，而不是全部。
结果，系统可以减少与相对于环境的区域定位系统相关联的等待时间和/或计算负担。
此外，仅使用关键帧的子集进行定位可以减少定位不正确的可能性。
高 GPS 置信度会导致较小的搜索空间，而低 GPS 置信度会导致较大的搜索空间。
与 GPS 数据相关的置信度测量可以包括信噪比、可用于基于无线电的定位设备的几种 GNSS 格式、基于无线电的定位设备使用的无线电频带、天线特性等。
另外，搜索空间的大小和/或形状可以至少部分地取决于与IMU数据相关联的置信度。
例如，在系统至少部分地基于从具有IMU的气压计获得的高度数据来定义搜索空间的情况下，气压计置信度可以影响搜索空间的大小和/或形状。
除了如上所述通过定义搜索空间并识别搜索空间内的关键帧子集来减少用于定位与用户相关联的系统的映射的关键帧的数量之外，系统还可以采用附加的或替代的技术来进一步减少关键帧的数量。
用于映射系统的关键帧数量。
用于定位系统的关键帧的数量。
图 5 显示了根据估计方向识别搜索空间内关键帧子集的示例。
如上所述，地图的每个关键帧可以包括捕获关键帧的方向的指示。
因此，搜索空间内的关键帧A、B、C、D和D包括与每个关键帧相关联的关键帧方向。
系统可以将与用户相关联的系统的估计方向与搜索空间内的关键帧的关键帧方向进行比较，以确定搜索空间内的哪个关键帧子集用作位置候选。
在一个实施例中，系统定义阈值方向相似性。
然后，系统可以执行关键帧方向分析，以确定搜索空间内的哪些关键帧包括满足或超过阈值方向相似性的方向。
例如，如图5所示，关键帧方向分析可以包括分析关键帧A的方向A以确定方向A与估计方向之间的差异是否满足或超过阈值方向相似度。
关键帧方向分析可以包括对与其他关键帧相关联的其他方向执行类似的分析，例如关键帧B的方向B、关键帧C的方向C、关键帧D的方向D以及关键帧D的方向D。
图5进一步示出了围绕每个关键帧的圆圈。
搜索内的关键帧 A、D 和 E 的集合，指示关键帧 A、D 和 E 可以形成与用户关联的系统可以利用的关键帧的子集。
用于定位的子集。
因此，图 5 说明系统可以对搜索空间内的关键帧执行关键帧方向分析，以确定搜索空间内的关键帧子集以进行定位。
该技术可以允许系统进一步减少用于定位的候选关键帧的数量，从而以减少的计算成本和/或延迟来促进定位。
图 5 还说明了可以基于与 IMU 数据关联的置信度来定义或生成阈值方向相似性。
系统可以根据各种因素确定 IMU 置信度。
在 IMU 置信度较低的情况下，系统定义更宽的方向相似度阈值，以补偿估计方向中潜在的不准确性。
在其他情况下，IMU置信度较高，系统可以定义一个窄阈值方向相似度，这可以进一步提高重定位过程的效率。
因此，与环境内的用户相关联的系统可以利用系统的估计位置（基于GPS数据和/或IMU数据）和/或估计方向（基于IMU数据）来约束该环境的地图内的定位搜索空间。
环境来识别地图内关键帧的子集，并用作环境的候选关键帧定位。
因此，系统可以避免使用不包括在关键帧子集中的映射关键帧作为定位的候选关键帧，这可以提高与环境内的定位相关的效率。
如上面参考图2所示，当用户位于环境内的位置B时，可以通过与用户关联的系统获得跟踪数据（包括GPS数据、IMU数据和图像数据）。
在一个实施例中，与用户相关联的系统被配置为选择性地在环境中的不同跟踪模式之间转换。
有选择地在不同跟踪模式之间切换可以避免不必要的数据收集，从而节省电池和/或计算资源。
例如，图8是图2的环境，描绘了用户从区域内的位置A移动到区域的位置B。
如上所述，环境的映射可以省略视觉映射数据以便于在环境的树木覆盖区域内进行定位。
因此，与用户相关联的系统可以使用第一跟踪模式来跟踪系统在环境内的位置。
在一个实施例中，第一跟踪模式包括GPS跟踪。
在一个实施例中，当在第一跟踪模式下操作时，系统避免执行与SLAM相关的操作，例如捕获图像数据、提取特征、执行深度计算、跟踪帧到帧六自由度姿势等.，从而节省计算和/或电池资源。
例如，系统可以依靠GPS跟踪来维持系统相对于环境的粗略位置认知，并且当GPS跟踪指示系统基本上位于森林区域内时，系统可以避免获取图像数据。
当用户从位置A转移到位置B时，与该用户关联的系统可以检测到触发条件。
在一个实施例中，触发条件被配置为选择性地从第一跟踪模式切换到第二跟踪模式。
在一个实施例中，第二跟踪模式包括相对于第一跟踪模式的高保真跟踪模式。
例如，第二跟踪模式可以包括SLAM，其利用图像数据和IMU数据以厘米或毫米精度跟踪系统的六自由度姿态。
相关专利：微软专利|基于 GPS 和传感器的重定位的系统和方法微软专利申请名为“基于 GPS 和传感器的重定位的系统和方法”，最初于今年 6 月提交，最近获得美国批准，由美国专利局发布。
专利商标局。
版权声明：本文内容由互联网用户自发贡献，本站不拥有所有权，不承担相关法律责任。如果发现本站有涉嫌抄袭的内容，欢迎发送邮件 举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。
标签：
相关文章
06-17
06-17
06-18
最新文章
英国肖像画家用Tilt Brush探索VR雕塑
微软75亿美元联姻B Corp母公司，以3件VR大作作为嫁妆
传闻苹果AR-VR眼镜原型机将于下个月发布，量产推迟至2022年初
调查显示，大多数游戏玩家对虚拟现实不感兴趣
一睹购物未来，亚马逊VR购物在印度试水，带你畅游虚拟商务中心
这是Nvidia是这么解释什么是AR、VR、MR的，以及对应的区别
iPhone12 Pro完成了谷歌的使命，为苹果的AR眼镜铺平了道路
研发实践：在VR游戏中添加LiquidVRMultiView渲染