- 0
- 0
- 0
分享
- 高通的AR眼镜,可以实时3D重建了!
-
2022-12-14
新智元报道
新智元报道
【新智元导读】依靠自监督神经网络单眼深度估计,高通眼镜可以实时3D重建了。
高通的AR眼镜,可以实时3D重建了!
当使用者戴上AR眼镜后,就实时生成了房间的3D影像。
AR眼镜显示的视角,就是用户所观察到的视角。而这些图像被输送到高通的低延迟深度估计模型中,预测的深度和相机的6自由度被提供给了重建模型。
「自我监督」的意思,是使用重投影损失来监督每个单目深度模型。
而实时生成的3D网格和平面非常准确,使物理世界与数字世界的沉浸式AR体验得以无缝对接。
办公环境深度图的相对误差最小可达10-20%,而深度估计延迟小于9ms。
Qualcomm AI Research:最新的3D感知前沿研究
在7月高通的一篇blog上,我们或许可以找到答案。
让我们来看看这篇博客——
世界是3D的,作为人类,我们是以3D的方式感知这世界世界。
与2D相比,3D感知具有许多优势,使我们能够更准确地感知和参与我们周围的世界——这就是为什么使机器具有这种能力这么重要。
例如,3D感知有助于在不同的光照条件下获得可靠的结果,为物体和场景识别提供可靠的线索,并且准确地估计尺寸、姿势和运动。
启用和增强关键用例
例如,要实现沉浸式 XR,在6自由度运动估计、避障、物体放置、逼真渲染、手势估计以及虚拟环境中的交互中,3D感知都至关重要。
3D感知极大地促进了沉浸式XR
3D感知为自动驾驶提供极大的助力,自动驾驶利用来自摄像头、LiDAR和雷达的3D数据流,让更安全的驾驶成为可能。
3D感知还可用于3D地图重建,它可以将车辆定位在道路上,寻找可通行的路面,避开障碍物,估计车辆、行人等物体的轨迹,进行路径规划等等。
3D感知需要克服的新挑战
现在,使3D感知的AI SOTA模型成为现实,并在受功率、热和性能限制的边缘设备上进行大规模的实际部署,一直是很大的挑战。
值得注意的是,有两类挑战很突出——数据和实施挑战。
与像素排列在均匀网格上的2D图像不同,3D点云非常稀疏且不均匀,这就需要在可访问性与内存之间取得一个平衡。
3D感知面临数据和实施挑战
使大规模3D感知成为现实
高通的专家通过全栈AI研究构建真实世界的部署,并创建了一个节能平台,使3D感知无处不在。
专家使用Qualcomm AI Stack工具包和SDK进行了全栈优化,实现了许多3D感知突破。
这其中的四个关键领域——深度估计、目标检测、后估计和场景理解的细节,如下所示。
3D感知研究的四个关键领域
跨不同模式的准确深度估计
研究院已经为单目和立体图像开发了 SOTA 监督和自我监督学习方法,这些方法不仅高效,而且非常准确。
除了模型架构之外,全栈优化还包括使用DONNA(提取最佳神经网络架构)进行神经架构搜索,以及使用AI 模型效率工具包 (AIMET)进行量化。
因此,高通在手机了展示了世界上第一个实时单眼深度估计,可以从单个图像创建3D图像。
高效准确的3D物体检测
3D物体检测是指寻找单个物体的位置和区域的感知任务。
例如,目标可能是在用于自动驾驶的 LiDAR 数据上检测所有车辆和行人的相应 3D 边界框。
专家正在使3D点云中的高效对象检测成为可能。
为此,他们开发了一种基于变换器的高效3D对象检测架构,这个架构利用的是在极地空间中提取的2D伪图像特征。
凭借更小、更快和更低功耗的模型,专家在LiDAR 3D点云上的车辆、行人和交通标志检测方面取得了最高的准确度分数。
低延迟和准确的3D姿势估计
对于XR应用程序,对于在虚拟环境中与虚拟对象进行直观交互,准确且低延迟的手部和身体姿势估计是至关重要的。
专家开发了一种具有动态改进功能的高效神经网络架构,以减少手部姿势估计的模型大小和延迟。
这个模型可以从2D图像解释3D的人体姿势和手部姿势,计算可扩展架构迭代改进了关键点检测,误差小于5毫米——这就实现了最佳的平均3D误差。
3D场景理解
专家开发了世界上第一个用于场景理解的基于变换器的逆向渲染。
经过端到端训练的管道从室内图像估计基于物理的场景属性,例如房间布局、表面法线、反照率(表面漫反射率)、材料类型、对象类别和照明估计等。
高通的AI模型可以更好地处理场景组件之间的全局交互,从而更好地消除形状、材料和照明的歧义。
目前,专家在所有3D感知的任务上都取得了SOTA结果,并支持高质量的AR应用程序,例如将逼真的虚拟对象插入到真实的场景中。
这个方法可以正确地估计光照,以逼真地插入物体,例如兔子
更多3D的感知突破即将到来
此外,随着机器学习研究工作的推进,高通的感知研究会比3D感知广泛得多。
在XR、相机、移动、自动驾驶、物联网等领域,会有更多感知设备出现。
我们的日常生活,在未来会大不相同。
-
阅读原文
* 文章为作者独立观点,不代表数艺网立场转载须知
- 本文内容由数艺网收录采集自微信公众号新智元 ,并经数艺网进行了排版优化。转载此文章请在文章开头和结尾标注“作者”、“来源:数艺网” 并附上本页链接: 如您不希望被数艺网所收录,感觉到侵犯到了您的权益,请及时告知数艺网,我们表示诚挚的歉意,并及时处理或删除。