资讯
展览资讯 大型展会 灯光节 大型盛典 赛事 中标捷报 产品快讯 热门话题 艺术节 活动 演出 新闻 数艺报道 俱乐部签约
观点
大咖专访 观点洞察 书籍推荐 吐槽 设计观点 企业访谈 问答 趋势创新 论文 职场方法 薪资报价 数艺专访
幕后
幕后故事 团队访谈 经验分享 解密 评测 数艺访谈
干货
设计方案 策划方案 素材资源 教程 文案资源 PPT下载 入门宝典 作品合集 产品手册 电子书 项目对接
  • 0
  • 0
  • 0

分享

微软LaMAR:专为优化AR定位和3D映射而生

原创 2023-01-25

Esther | 编辑

自2019年发布以来,HoloLens 2已经应用于多种企业级场景,这些应用场景需要的不只是AR显示技术,AR定位也是一项关键且实用的功能。好的3D定位可将AR固定在正确的位置,这样就可以共享与空间相关的可视化信息。
微软表示:如果任何人用AR头显都可以在物理空间中放置虚拟内容,这些虚拟内容可长期保存,还可以和多人分享,那么AR才可能发挥出全部潜力。为了将AR更好的固定在空间中,将需要基于物理世界构建3D数字地图,这个地图可以定位保存在特定位置的AR,并作为供LBS AR参考的坐标。而构建这样的3D地图,将需要使用空间映射和视觉定位技术。
通常,训练视觉定位算法会使用2D图像,但识别平面图并不能模拟实际的AR定位过程。单个2D图像主要集中在空间中的特定位置。相比之下,AR映射需要采集密集的环境信息,并非只扫描特定的位置。此外,AR头显在定位空间时,需要通过复杂的数据来实现本地环境映射、生成基于空间的数据序列。这些数据包括:惯性数据、无线电信号、深度测量数据、相机姿态、传感器图像等等。这些数据只能在AR头显开启时收集,其余时间无法在本地实时更新。
为了进一步优化AR空间定位算法、加速培训过程,微软推出了LaMAR数据集,作为AR头显空间定位的基准。该数据集可用于训练视觉重定位算法,以提升持续性AR定位的效果。这个数据集包含了100个小时收集的定位数据,覆盖40千米距离、4.5万平方米空间。准确率达厘米级。除了AR头显外,LaMAR数据集也兼容移动设备。LaMAR的另一特点是多元化,记录了天气、环境光、运动等变量。
据青亭网了解,LaMAR由苏黎世微软混合显示和AI实验室、瑞士联邦理工学院(ETH苏黎世)联合研发,是这两家机构研发两年的成果。推出LaMAR的目的是,通过提供基于AR设备手机的多传感器数据,帮助科研人员快速解决AR环境映射和视觉定位的细节,训练出更高效的视觉算法。
细节方面,LaMAR包含多个数据序列,这些序列以不同颜色的路径进行表示,而这些路径实际上是由点云数据组成的。硬件方面,LaMAR使用了HoloLens 2头显和iPhone/iPad,数据来自于LiDAR、IMU、深度传感器、红外传感器。此外,还使用了NavVis M6、VLX等专业测绘系统,对场景进行3D空间建模。
除了数据外,LaMAR也展示了一种AR定位管道,这种管道可自动计算出AR设备的摄像头的实际位置,允许AR设备在机场、工厂等实际场景中更好的映射空间。LaMAR还展示了如何用WiFi或蓝牙信号传输来简化图像检索,以及通过传感器数据的时间来获取空间上下文信息,提升相机姿态预测的准确性。此外,还演示了用户启动AR应用、利用传感数据来定位摄像头姿态、并对比预构建的3D地图,这样一个实际应用的过程。
微软指出:尽管3D映射、AR定位技术在近年来取得了重大进展,但科研人员使用的数据基准并不实际,不能代表现实世界的AR场景。另外,市面上的3D场景数据通常规模较小,而且缺乏多样性,通常仅由固定的摄像头捕捉,缺乏惯性、无线电、深度数据等信息。其精准度大多也难以满足AR的需求。相比之下,LaMAR结合无线电信号,可将准确3D定位的时间从10秒降低至1.4秒(80%准确性)到3.58秒(70%准确性)。

参考:

https://www.collabora.com/news-and-blog/blog/2022/04/05/visual-inertial-tracking-support-for-monado-openxr/

( END)

 
每天五分钟,轻松了解前沿科技。    
         —— 青亭网  

阅读原文

* 文章为作者独立观点,不代表数艺网立场转载须知

本文内容由数艺网收录采集自微信公众号青亭网 ,并经数艺网进行了排版优化。转载此文章请在文章开头和结尾标注“作者”、“来源:数艺网” 并附上本页链接: 如您不希望被数艺网所收录,感觉到侵犯到了您的权益,请及时告知数艺网,我们表示诚挚的歉意,并及时处理或删除。

数字媒体艺术 新媒体艺术 科技艺术 AR定位 3D

11185 举报
  0
登录| 注册 后参与评论