NVIDIA逆向渲染方案3D MoMa详解，网格模型合成效果惊艳-数艺网

资讯: 展览资讯大型展会灯光节大型盛典赛事中标捷报产品快讯热门话题艺术节活动演出新闻数艺报道俱乐部签约

观点: 大咖专访观点洞察书籍推荐吐槽设计观点企业访谈问答趋势创新论文职场方法薪资报价数艺专访

幕后: 幕后故事团队访谈经验分享解密评测数艺访谈

干货: 设计方案策划方案素材资源教程文案资源 PPT下载入门宝典作品合集产品手册电子书项目对接

NVIDIA逆向渲染方案3D MoMa详解，网格模型合成效果惊艳: 2023-05-16

Esther | 编辑

如何利用2D图像直接生成3D？在3D游戏盛行、AR/VR和元宇宙受关注的当下，这似乎是一个亟待解决的问题。不管是对于3D平台，还是3D内容开发者，都难免面临着缺少内容资源的困扰。

除了手动3D建模外，游戏工作室通常也会采用摄影测量法来生成物理场景的3D数据，但这个过程同样复杂繁琐，不仅依赖人工设置拍摄方案，扫描后期的合成部分还需要烘焙、纹理参数化等多个手动调整步骤。而且硬件成本高、渲染管道复杂等等。因此，如果可以将现有的大量2D图像自动转化或合成为3D，那么将有望缩减大量的人工3D建模时间。

为了解决这一问题，谷歌这些年来一直在探索NeRF方案，也就是神经辐射场的3D合成技术。对于谷歌来讲，构建未来的3D地图、AR导航等应用，将需要大量3D物理场景数据，而通过NeRF模型，似乎可以直接将2D网图、自动驾驶汽车传感数据转化成3D环境模式。除此之外，谷歌在NeRF基础上还研发了mip-NeRF 360技术，可根据多张2D照片合成支持360°查看的场景内部结构和3D物体。

尽管如此，NeRF方案中的几何、材料和照明数据通常与神经网络纠缠，无法直接支持场景编辑。而且还需要使用Marching Cubes等工具，从神经网络中提取几何图像，才能在传统图形引擎中应用。这可能会导致较差的表面质量，尤其是在三角形数量较少的情况下。即使神经算法模型可以分割形状、材质和照明信息，目前其效果还不够理想，3D重建的质量较差。

因此，为了自动生成可直接导入图形引擎的3D模型，NVIDIA在今年的IEEE CVPR会议上公布了一项新的方案：3D MoMa。与市面上其他3D合成方案不同，3D MoMa可生成三角网格组成的3D模型，并可直接导入图形引擎。这项方案的重点是，可直接导入支持三角形建模的3D建模引擎、游戏引擎、电影渲染器，可以在手机、浏览器上运行。3D MoMa生成的3D模型自带三角形网格，这也是3D开发通用的语言，而将3D模型生成自动化，将有望加速艺术、游戏、影视等内容创作。

这意味着，不需要人工建模，就可以直接将2D图片转化成3D模型，并用来开发3D游戏、AR/VR等内容。利用3D MoMa，建筑师、设计师、艺术家、游戏开发者可快速创作3D对象，并修改比例、更改模型的材质，甚至可以修改照明效果。

我们知道，多边形（Polygon）是3D建模的一种方式，除此之外还有曲面建模、参数化建模、逆向建模等方式。逆向建模是一种不同的建模思路，其中还分为点云逆向建模、照片逆向建模、三维扫描逆向建模等技术。无论使用哪种逆向建模方案，结果通常都是转化为多边形或三角面的数字模型。

点云建模、三维扫描我们比较熟悉，比如用激光雷达、无人机等摄像头方案捕捉3D场景的点云数据，或是用手机进行3D扫描和建模等等。照片逆向建模方面，除了NVIDIA的3D MoMa外，谷歌采取了不同的方式，即利用神经辐射场NeRF模型来进行3D合成渲染，通过体积纹理来提取纹理数据，并利用可微分的切面和环境照明。

3D MoMa正是基于逆向渲染流程，可从2D图片中提取3D信息、材质和照明数据。而逆向渲染指的是，从一系列静态图片中获取物体的形状和材质信息，以及场景中的光照信息、相机参数，然后重建并合成3D物体模型或3D场景。NVIDIA表示：长期以来，逆向渲染被看作是统一计算机视觉和计算机图形学的“圣杯”。

和基于神经网络的多视图重建方法不同，3D MoMa合成的三角形网格的纹理和环境照明可根据空间位置而动态变化，无需修改就能直接在传统图形引擎中应用。3D MoMa生成的模型可用于高级场景编辑、材质分解和高质量视图插值。3D MoMa将逆向渲染任务的每一部分指定为由GPU加速的可微分元素，然后利用AI算法和NVIDIA GPU的原始算力来合成3D模型。

除了逆向渲染方式，3D MoMa还有一个关键点是可学习表面网格的拓扑结构和顶点位置，因此合成的3D几何模型更加准确。此外，3D MoMa还可以合成支持空间变化的材料，或是HDR环境照明。细节方面，3D MoMa采用基于图像的照明模型，场景中的环境光由高分辨率立方体贴图合成。