—— 青亭网
- 0
- 0
- 0
分享
- Meta开放Project Aria Pilot数据集,未来将开发实时3D地图
-
原创 2022-06-27
Esther | 编辑
为了训练属于AR眼镜的视觉助手、提升AR定位能力,Meta早在2020年就开始通过Project Aria项目收集第一人称视频数据,用来训练AR眼镜的计算视觉算法。Meta表示:现有的计算机视觉算法主要是根据第三人称视角的照片和视频训练而成,因此总是以旁观者角度去感知周围环境。如果要让机器人、AR眼镜像人一样感知世界,那么将需要使用第一人称数据来训练,也就是人在执行各类任务时眼前看到的画面。
历经两年时间,Meta在新加坡、英国、美国等地陆续收集了大量第一人称视频数据。项目共有3000人参与数据收集,包括Meta员工、承包商、有偿的外部参与者等等,项目合作方包括卡内基梅隆大学、新加坡国立大学、宝马等等。数据采集环境包括Meta办公室、获得批准的私人住宅、公共场所。
最近,Meta将在美国拍摄的数据面向AI、ML科研人员开放,以加速机器感知和AI技术发展。Meta表示:发布Aria Pilot数据集的目的是,向外部科研人员展示一种可重复的研究基准,目的是推动第一人称计算机视觉、场景感知AI/ML算法的发展。
Aria Pilot数据集
据青亭网了解,这个数据集名为Project Aria Pilot,其中包含了159段第一人称视频,累计时长7小时,分别拍摄于每个5个地点。视频中包含了各种日常生活场景,比如洗碗、开门、做饭、在客厅使用手机、玩游戏、锻炼等等。除此之外,还包括利用多视角动捕系统拍摄的桌面交互数据,其中包含了人与物体交互的视频。此外,Aria Pilot数据集中还包含多个由演员拍摄的全天候视频,记录了Aria眼镜全天传感/捕捉环境数据的效果。
一个110°FOV的滚动快门RGB摄像头; 两个150°FOV全局快门单摄(用于SLAM和手势追踪); 两个80°FOV全局快门单摄(配备IR光源,用于眼球追踪); 两个1KHz IMU+气压计+磁力计+环境传感器; 七个48KHz空间麦克风; 一个1Hz GPS模块。
( END)
—— 青亭网
-
阅读原文
* 文章为作者独立观点,不代表数艺网立场转载须知
- 本文内容由数艺网收录采集自微信公众号青亭网 ,并经数艺网进行了排版优化。转载此文章请在文章开头和结尾标注“作者”、“来源:数艺网” 并附上本页链接: 如您不希望被数艺网所收录,感觉到侵犯到了您的权益,请及时告知数艺网,我们表示诚挚的歉意,并及时处理或删除。