
—— 青亭网

分享
原创 2022-07-19
Esther | 编辑
前不久,谷歌公布了一系列与AR导航、沉浸式立体地图相关的更新,让我们进一步了解谷歌3D地图的发展路径,包括基于海量街景数据合成3D,以及后续会在街景相机上加入LiDAR模组,来实现3D定位等等。
相比于Niantic、Snap等初创公司,谷歌LBS AR、3D地图领域更具优势,仅背靠谷歌地图、谷歌地球就拥有大量的环境和定位数据,因此扩展3D地图布局将更加顺利。
不仅如此,谷歌已经开始从多方面着手收集3D的环境数据。比如,谷歌母公司Alphabet旗下的自动驾驶汽车项目Waymo,近期就公布了图像合成模型NeRF的衍生版本:Block-NeRF,其特点是可通过自动驾驶汽车的传感器来收集街区的环境数据,并根据这些数据来合成大规模的3D场景。
关于Block-NeRF
据了解,NeRF简单来讲就是神经辐射场,原理是使用MLP神经网络隐式的学习一个静态3D场景,并通过静态图像,去渲染大规模3D场景的任意角度。
与此前谷歌的其他NeRF模型相比,Block-NeRF采用自动驾驶汽车Waymo用传感器收集的路面数据,来生成区域神经辐射场,并组合成3D场景。Block-NeRF不局限于车辆经过的路面场景,也可以3D重建完整的大规模环境。比如,Waymo利用Block-NeRF渲染了旧金山阿拉莫广场街区(约半平方公里),其中包括35个街区NeRF模型。
经过三个月时间,Waymo捕捉280万张图片,一些场景甚至需要超过13小时车程(1330次驾驶)收集的数据。Waymo表示:我们构建了迄今为止最大的神经辐射场,可渲染出旧金山的完整街区。
Block-NeRF的亮点是比NeRF方案渲染的环境规模更大,其规模可跨越城市多个街区,因此有潜力渲染城市规模的3D场景。实际上,Block-NeRF是将多个街区分解为单独的NeRF,并分别训练这些分区NeRF,然后通过进行组合而生成完整场景。
分区训练NeRF的好处是,可分解渲染时间,可快速扩展至任意大渲染规模,而且每一块NeRF都可以独立更新。
因此,利用Block-NeRF生成的3D场景可任意角度查看,而且可以调整一天中任意时间的光影等元素变化。
旧金山-格雷斯大教堂
旧金山-市中心街区
等等,怎么听上去像这么像是一个三维建模引擎,传统的引擎是基于虚拟场景建模,而Block-NeRF则是基于真实场景来建模,同样是建模,也见证了不同公司的不同视角。很显然,在面向LBS AR/MR的交互场景下,基于Block-NeRF的潜力无穷大。未来的AR将不局限于Local模式,基于真实世界的虚拟场景锚定将呈现完全不同的体验。
方案特点
随着技术发展,神经辐射场在给定一组相机姿态图像后,可实现照片级保真的3D重建和新视图合成。不过,早期的方案主要针对小规模场景、目标物体为中心进行重建,难以实现城市级的规模化3D重建(重建大场景时容易导致明显的伪影和低视觉保真度)。
大规模3D场景重建有多种用途,可用于自动驾驶、航空测量等领域。比如地图映射,为真实场景创建高保真的3D地图,以帮助机器人定位、导航和躲避障碍。此外,大规模场景建模也可用于闭环机器人模拟。
对于自动驾驶系统来讲,可生成任意视图的3D场景可提升导航的稳定性,因为3D场景模型记录了场景中可能出现的变化(比如环境照明条件、相机曝光、天气和时间变化、汽车和行人运动),因此在实际导航时,即使路面信息变化,车辆的轨迹也不容易被改变。
不过,这种动态变化的3D场景无法依赖一次性采集的环境数据,为了体现场景中不同区域的变化,这些区域分别需要独立的数据源。因此,Waymo在NeRF基础上进行扩展,将一个场景分为多个block/区域,并通过外观嵌入和学习姿态细化,以此开发了Block-NeRF模型,来计算动态环境变化。
相比于统一的NeRF模型,Block-NeRF更加模块化,其好处是降低渲染时间和对算力的依赖,在扩展3D场景规模时,无需重新训练整个网络。也就是说,只需要独立渲染每一个Block-NeRF的分区,然后根据它所在的位置,合称为3D场景。
这些NeRF模块可并行渲染和训练,在计算过程中可实现场景的平滑合成。同时,还优化了外观代码,以匹配环境光照条件,动态调整亮度权重。
而为了让Block-NeRF在不同环境中也能稳定捕捉数据,Waymo更改了几种架构设计,并为每个独立的NeRF加入外观嵌入、学习姿态细化和可控曝光功能。此外,为了提升NeRF模块的组合效果,还引入了一个专门的拼接匹配程序。
为了覆盖目标环境,Waymo会在每个交叉口放置一个Block-NeRF,可覆盖相关街道75%面积。这意味着两个相邻街区常常有50%试图重叠。这些NeRF模块的尺寸和布局可自定义,只要确保完整覆盖整个场景即可。
已建成2个合成数据集
为了展示研究成果,科研人员分别创建了基于旧金山阿拉莫光场和使命湾合成的3D场景。
据悉,阿拉莫广场面积960x570米,数据分别捕捉于6月、7月和8月,共由35个Block-NeRF组成,经过了38到48次数据收集训练,训练每个Block-NeRF分别使用了6.5万到10.8万张图像数据,累计采集时间为13.4小时(1330次数据采集)。
使命湾数据集则是一个对照数据,作为Block-NeRF的训练基准。该数据是在2020年11月一次性采集的,捕捉到的图像拥有一支的环境条件,采集时间超过100秒,包含1.08公里车程、1.2万张图像。
经过实验验证,科研人员发现Block-NeRF还存在一些局限,比如:
1)如果对象未正确遮盖,它们可能会导致生成的渲染中出现伪影,比如正确移除汽车后,常常还会留下汽车的影子。
2)另外,合成场景中的植被也打破了沉浸感,因为树叶会随风移动的特性,导致树木和植物的渲染结果模糊。
3)训练数据中可能会出现时间不一致的模块,需要手动重新训练。
值得注意的是,目前Block-NeRF还无法渲染动态对象,未来可以在优化过程中训练瞬态对象,或是直接对动态对象建模来解决这一问题。也可以通过分割掩模、边界框来分离Block-NeRF和单独可控的NeRF对象。
此外,还需要采用缓存技术、稀疏体积网格等方式,来优化NeRF渲染的计算成本、延迟。
参考:
https://waymo.com/intl/zh-cn/research/block-nerf/
( END)
* 文章为作者独立观点,不代表数艺网立场转载须知
广告 欺诈 淫秽 色情 侵权 骚扰、辱骂、歧视 敏感 违法 犯罪 反动、政治 其它
数艺网是一个信息获取、分享及传播的平台,我们尊重和鼓励数艺网用户创作的内容,认识到保护知识产权对数艺网生存与发展的重要性,承诺将保护知识产权作为数艺网运营的基本原则之一。
本条款原则如下:
1. 用户在数艺网上发表的全部原创内容(包括但不仅限于文章、案例/项目和评论),著作权均归用户本人所有。用户可授权第三方以任何方式使用,不需要得到数艺网的同意。
2. 数艺网上可由多人参与编辑的内容,包括但不限于案例/作品的认领、企业/机构的认领,所有参与编辑者均同意,相关知识产权归数艺网所有。
3. 数艺网提供的网络服务中包含的标识、版面设计、排版方式、文本、图片、图形等均受著作权、商标权及其它法律保护,未经相关权利人(含数艺网及其他原始权利人)同意,上述内容均不得在任何平台被直接或间接发布、使用、出于发布或使用目的的改写或再发行,或被用于其他任何商业目的。
4. 为了促进知识的分享和传播,用户将其在数艺网上发表的全部内容,授予数艺网免费的、不可撤销的、非独家使用许可,数艺网有权将该内容用于数艺网各种形态的产品和服务上,包括但不限于网站以及发表的应用或其他互联网产品。
5. 第三方若出于非商业目的,将用户在数艺网上发表的内容转载在数艺网之外的地方,应当在作品的正文开头的显著位置注明原作者姓名(或原作者在数艺网上使用的帐号名称),给出原始链接,注明「发表于数艺网」,并不得对作品进行修改演绎。若需要对作品进行修改,或用于商业目的,第三方应当联系用户获得单独授权,按照用户规定的方式使用该内容。
6. 数艺网为用户提供「保留所有权利,禁止转载」的选项。除非获得原作者的单独授权,任何第三方不得转载标注了「禁止转载」的内容,否则均视为侵权。
7. 在数艺网上传或发表的内容,用户应保证其为著作权人或已取得合法授权,并且该内容不会侵犯任何第三方的合法权益。如果第三方提出关于著作权的异议,数艺网有权根据实际情况删除相关的内容,且有权追究用户的法律责任。给数艺网或任何第三方造成损失的,用户应负责全额赔偿。
8. 如果任何第三方侵犯了数艺网用户相关的权利,用户同意授权数艺网或其指定的代理人代表数艺网自身或用户对该第三方提出警告、投诉、发起行政执法、诉讼、进行上诉,或谈判和解,并且用户同意在数艺网认为必要的情况下参与共同维权。
9. 数艺网有权但无义务对用户发布的内容进行审核,有权根据相关证据结合《侵权责任法》、《信息网络传播权保护条例》等法律法规及数艺网社区管理规定对侵权信息进行处理。
侵权举报
1.处理原则
数艺网作为新媒体艺术领域的分享交流平台,高度重视自由表达和个人、机构正当权利的平衡。依照法律规定删除违法信息是数艺网社区的法定义务,数艺网社区亦未与任何中介机构合作开展此项业务。
2.受理范围
受理数艺网社区内侵犯机构或个人合法权益的侵权举报,包括但不限于涉及个人隐私、造谣与诽谤、商业侵权。
a.涉及个人隐私:发布内容中直接涉及身份信息,如个人姓名、家庭住址、身份证号码、工作单位、私人电话等详细个人隐私;
b.造谣、诽谤:发布内容中指名道姓(包括自然人和机构)的直接谩骂、侮辱、虚构中伤、恶意诽谤等;
c.商业侵权:泄露机构商业机密及其他根据保密协议不能公开讨论的内容。
3.举报条件
用户在数艺网发表的内容仅表明其个人的立场和观点,并不代表数艺网的立场或观点。如果个人或机构发现数艺网上存在侵犯自身合法权益的内容,可以先尝试与作者取得联系,通过沟通协商解决问题。如您无法联系到作者,或无法通过与作者沟通解决问题,您可通过点击内容下方的举报按钮来向数艺网平台进行投诉。为了保证问题能够及时有效地处理,请务必提交真实有效、完整清晰的材料,否则投诉将无法受理。您需要向数艺网提供的投诉材料包括:
a. 权利人对涉嫌侵权内容拥有商标权、著作权和/或其他依法可以行使权利的权属证明,权属证明通常是营业执照或组织机构代码证;
b. 完整填写的通知书;附供下载的:侵权投诉通知书;
c. 举报人的身份证明,身份证明可以是身份证或护照;
d. 如果举报人非权利人,请举报人提供代表权利人进行举报的书面授权证明。
e. 为确保投诉材料的真实性,在侵权举报中,您还需要签署以下法律声明:
(1) 我本人为所举报内容的合法权利人;
(2) 我举报的发布在数艺网社区中的内容侵犯了本人相应的合法权益;
(3) 如果本侵权举报内容不完全属实,本人将承担由此产生的一切法律责任,并承担和赔偿数艺网因根据投诉人的通知书对相关帐号的处理而造成的任何损失,包括但不限于知乎因向被投诉方赔偿而产生的损失及数艺网名誉、商誉损害等。
4.处理流程
出于网络平台的监督属性,并非所有申请都必须受理。数艺网自收到举报的七个工作日内处理完毕并给出回复。处理期间,不提供任何电话、邮件及其他方式的查询服务。 出现数艺网已经删除或处理的内容,但是百度、谷歌等搜索引擎依然可以搜索到的现象,是因为百度、谷歌等搜索引擎自带缓存,此类问题数艺网无权也无法处理,因此相关申请不予受理。您可以自行联系搜索引擎服务商进行处理。 此为数艺网社区唯一的官方侵权投诉渠道,暂不提供其他方式处理此业务。 用户在数艺网中的商业行为引发的法律纠纷,由交易双方自行处理,与数艺网无关。
免责申明
1.数艺网不能对用户发表的回答或评论的正确性进行保证。
2.用户在数艺网发表的内容仅表明其个人的立场和观点,并不代表数艺网的立场或观点。作为内容的发表者,需自行对所发表内容负责,因所发表内容引发的一切纠纷,由该内容的发表者承担全部法律及连带责任。数艺网不承担任何法律及连带责任。
3.数艺网不保证网络服务一定能满足用户的要求,也不保证网络服务不会中断,对网络服务的及时性、安全性、准确性也都不作保证。
4.对于因不可抗力或数艺网不能控制的原因造成的网络服务中断或其它缺陷,数艺网不承担任何责任,但将尽力减少因此而给用户造成的损失和影响。
协议修改
1.根据互联网的发展和有关法律、法规及规范性文件的变化,或者因业务发展需要,数艺网有权对本协议的条款作出修改或变更,一旦本协议的内容发生变动,数艺网将会直接在数艺网网站上公布修改之后的协议内容,该公布行为视为数艺网已经通知用户修改内容。数艺网也可采用电子邮件或私信的传送方式,提示用户协议条款的修改、服务变更、或其它重要事项。
2.如果不同意数艺网对本协议相关条款所做的修改,用户有权并应当停止使用数艺网。如果用户继续使用数艺网,则视为用户接受数艺网对本协议相关条款所做的修改。
阅读并同意此认领协议方可认领案例
*认领案例的操作记录无法自行删除,请务必确保您参与该案例身份的真实性