- 0
- 0
- 1
分享
- 探索3D高斯泼溅在数字文旅中的应用
-
原创 12-06
我们谈论不是用心雕琢的3D场景，而是一种经济的、可用的、规模化的数字化3D重建，这是我在看到“ 塞尔维亚不可移动文化遗产 3D 数字化平台 ”的项目介绍和示例项目后心里的想法，因为效果和互动确实一般，但是这个由塞尔维亚电子工程学院与塞尔维亚文化与信息部合作完成的项目确实给3D高斯泼溅（3DGS）的应用指引了一个方向，让预算有限的中小型文化遗产数字化有了一个切实可行的解决方案。
对于那些久负盛名的景点可以有充足的预算去做数字化（如下视频：微软与梵蒂冈合作的AI重现圣彼得大教堂虚拟参观），那么剩下那些预算不那么充足，却数量众多的宝贵的文化遗产，也许可以通过3D高斯泼溅更多的人在网上自由“漫游”，然后想去实地看看。
1 -为什么是3D高斯泼溅
因为你用手机就可以开始，比如装个Luma AI的APP，当然我这几次尝试都是用的稍微专业点儿的设备，无人机，这个现在也不是那么难找，另外我还看到了别人用360摄像头完成的还原，效果也非常不错，准备找时间去尝试一下。
来自 Olli Huttunen
如果你是无人机或者单反拍摄，那么还牵涉到图像处理和对齐，数据训练，这些当然会牵涉到一些专业知识，但是这些最终会形成一个自动化的流程，对于用户来说，这些都是无感的，就像使用Luma AI的APP一样，为什么我们不用Luma AI去尝试呢？因为它的训练参数是固定，不方便我们去测试不同参数的效果。
文末有链接，Varjo博客
除了可以用手机完成拍摄，3DGS还有另外一个优点可以在网页直接加载打开，上篇文章我给大家展示了网页中展示的示例，那么小程序也可以，其实VR眼镜也可以，因为与摄影测量和神经辐射场（NeRF）相比，高斯点云渲染所需计算资源较少，非常适合实时应用。这意味着硬件要求更低，可以实现更高的帧率，可以在虚拟现实中实现沉浸式观看这些逼真场景。
2 -为什么不是摄影测量和NeRFs
只要源图本身足够清晰，那么摄影测量就可以得到详细和准确的 3D 模型，拍摄对象可以是任何东西，从小物件到非常大的物体，如地形或大型建筑物。使用摄影测量创建的 3D 模型可以测量并具有比例，但是摄影测量通常难以处理反光、透明的表面，通常会在还原时产生破洞，手动修复虽然比较耗时，但对于摄影测量必不可少。
很多时候我们分不清楚NeRF和3DGS（可参考下面的视频）,因为NeRF同样没有Mesh网格。NeRF虽然能够动态捕捉光照、反射和透明度等效果，显著提升了真实感，能够创建细致甚至逼真的视觉效果，相比摄影测量更适合展示天空、地平线上的物体、室内空间的天花板等。但是训练和渲染速度较慢，渲染时的FPS帧率较低，不适合用实时互动、虚拟现实应用。
相比于 NeRF 和 摄影测量法，3DGS能够在较低的硬件要求下进行实时渲染，同时支持复杂光照和动态场景。尽管 NeRF 在渲染光照和视角变化方面更为复杂，但它对对计算需求较高，摄影测量法在精度上更具优势，在流程应用上也非常成熟，但是难以处理反光、透明的表面，需要手动介入修复。
3 -总结
我们谈论的是一种经济上可行的数字化文化遗产保护方式，2-3个人在1-2天就可以完成对一个中小规模场景的拍摄和还原，然后分享和永久的保存。
根据项目介绍，为了制作3D版本的圣彼得大教堂，Iconem 团队拍摄了超过 400,000 张高分辨率图像，花了三个星期使用无人机、相机和激光等各种设备扫描圣彼得大教堂，结合微软提供的AI和其它工具，使3D版本的圣彼得大教堂数字孪生达到毫米级精度。
我们周围还存在许多不那么知名的文化和历史瑰宝，对于这些小众景点，很多人对其数量、重要性及现状知之甚少，他们需要高精度的3D版本吗？
在“ 塞尔维亚不可移动文化遗产 3D 数字化平台 ”的项目介绍中有这么一段话：“文化遗产的保护面临的主要问题并非物资匮乏，而是知识的欠缺。”，如果能通过最新的技术让更多人看到和了解这些文化和历史瑰宝，我们有什么理由不去做呢？1-2天就可以，而且网页、小程序、VR眼镜、Apple Vision Pro都可以看到。
-
阅读原文
* 文章为作者独立观点，不代表数艺网立场转载须知
- 本文内容由数艺网收录采集自微信公众号大卫Hao ，并经数艺网进行了排版优化。转载此文章请在文章开头和结尾标注“作者”、“来源：数艺网” 并附上本页链接： 如您不希望被数艺网所收录，感觉到侵犯到了您的权益，请及时告知数艺网，我们表示诚挚的歉意，并及时处理或删除。
