中科院最新综述！3D Gaussian Splatting-卡咪卡咪哈-一个博客

作者：小柠檬 | 来源：3DCV

添加微信：dddvision，备注：方向+学校/公司+昵称，拉你入群。文末附行业细分群

3DGS综述：首篇综述

：A Survey on 3D Gaussian Splatting

第二篇综述

：相对比较全面，推荐精读 3D Gaussian as a New Vision Era: A Survey

第三篇综述：涵盖了更多最新进展 Recent Advances in 3D Gaussian Splatting

标题：Recent Advances in 3D Gaussian Splatting

链接：https://arxiv.org/abs/2403.11134

1、导读

本文概述了最近在3D高斯涂抹（3D Gaussian Splatting，3DGS）技术方面的研究进展。3DGS的出现极大地加速了新视角合成渲染的速度。与神经隐式表示（如神经辐射场NeRF）不同，3DGS利用一组高斯椭球来模拟场景，从而可以通过在图像中栅格化高斯椭球来高效渲染。除了快的渲染速度之外，3DGS的显式表示还便于编辑任务，如动态重建、几何编辑和物理模拟。本文首先介绍了3DGS如何实现快速且高质量的3D重建，包括从稀疏视图输入重建、从单视图输入重建等。然后，概述了使用3DGS实现的3D编辑技术，如几何编辑、外观编辑和物理模拟。最后，探讨了3DGS在下游应用中的潜力，如语义分割、SLAM和数字人。本文旨在帮助读者快速了解3DGS，并为该领域的未来研究提供启发。

图1:当前3D高斯分布方法的文献综述和分类结构。

2、基于3D重建的高斯泼溅

图2：3D高斯泼溅表示的代表性作品的简要时间线

主要涉及以下关键点：

传统点渲染技术：介绍传统点渲染技术，包括基于点的渲染和基于splat的渲染，以及后续改进，如抗锯齿渲染、提高渲染效率和解决不连续阴影等。

3D Gaussian Splatting：介绍3D Gaussian Splatting (3DGS)利用高斯椭圆体集来建模场景，通过光栅化高斯椭圆体到图像实现高效渲染。与NeRF相比，3DGS避免了点采样和神经网络查询，实现了更快的渲染速度。

质量提升：探讨如何提升3DGS的渲染质量，包括抗锯齿、视相关效果渲染、压缩和正则化等。

动态3D重建：介绍动态3DGS的建模方法，如基于位置编码的MLP网络和显式建模方法。

挑战性输入的3D重建：讨论3DGS在稀疏视角输入、无相机参数输入和大规模场景重建方面的进展。

表1：使用PSNR、SSIM和LPIPS指标对MipNeRF 360数据集上的新颖视图合成结果进行定量比较

图3：GaussianPro概述。相邻视图的法线方向一致性被认为可以产生更好的重建结果

表2：MipNeRF360数据集上不同压缩方法的比较

图4：EAGLES流程图，利用矢量量化(VQ)对高斯属性进行压缩

表3：使用PSNR、SSIM和LPIPS指标对D-NeRF数据集上的新视图合成结果进行定量比较

图5：Deformable3DGS的结果。给定一组单目多视图图像（a），该方法可以实现新颖的视图合成（b）和时间合成（c），并且与HyperNeRF [56]（d）相比具有更好的渲染质量图6：GaussianObject的结果。与之前基于NeRF的稀疏视图重建方法和最近的3DGS相比，GaussianObject仅从4个视图即可实现高质量的3D重建

综上所述，该部分主要围绕3DGS在3D重建方面的应用和发展进行了系统介绍。

3、基于3D编辑的高斯泼溅

主要涉及以下关键点：

几何编辑：介绍了基于3DGS的几何编辑方法，包括利用文本提示和语义信息进行3D补全和物体移除，重建和分割开放世界3D对象，以及利用交互式场景对象操作和暴露区域补全。

外观编辑：涵盖了基于3DGS的外观编辑方法，包括基于文本提示修改图像、分离纹理和光照以独立编辑、使用神经网络进行逆渲染等。

物理仿真：介绍了基于3DGS的物理仿真方法，包括使用离散粒子云进行基于物理的动力学和照片级渲染，结合位置基动力学进行渲染、视图合成和固体/流体动力学等。

图7:Gao等人的管道它允许大规模的几何体编辑绑定三维高斯到网格图8:通过分解材质和照明，GS-IR可以实现外观编辑，包括重新照明和材质操作

综上所述，该部分全面介绍了基于3DGS的几何编辑、外观编辑和物理仿真方面的研究进展。

4、GS应用

主要涵盖了3D Gaussian Splatting在以下领域的应用：

分割和理解：利用2D场景理解方法与3D高斯结合，进行实时的3D场景表示，包括基于SAM进行语义分割、利用CLIP/DINO提取密集语言特征等。

几何重建和SLAM：利用3D Gaussian Splatting进行几何重建和同时定位与映射。相比NeRF，3D Gaussian Splatting可以提供显式几何表示，有助于减轻不同视角间的错位。

数字人：利用3D Gaussian Splatting进行高效的全身和头部建模，以及头发和手部建模。此外，3D Gaussian Splatting还可以用于生成动画人类，实现高保真度的渲染。

3D/4D生成：利用扩散模型进行文本到3D/4D的生成，以及图像到3D的生成。此外，3D Gaussian Splatting还被应用于4D生成，如动态场景生成。

表4:使用PSNR、SSIM和LPIPS指标对Replica数据集上不同SLAM方法的新颖视图合成结果进行定量比较。

图9：PhysGaussian的流程。将3D高斯视为连续体，PhysGaussian产生真实的物理模拟结果图10：SuGaR的几何重建结果图11：GPS-Gaussian[23]、MonoGaussianAvatar[136]和MANUS[137]的结果。他们分别探索基于3DGS的全身、头部和手部建模方法图12：Luciddreamer的文本到3D生成结果。它从预先训练的2D扩散模型中提取生成先验，并使用建议的间隔评分匹配(ISM)目标，以根据文本提示实现3D生成图13:AYG的文本到4D生成结果。不同的动态4D序列用代表变形场动态的虚线显示

总的来说，3D Gaussian Splatting在分割理解、几何重建、数字人建模、以及生成任务中表现出良好的效果，并推动了这些领域的发展。

5、总结

本文概述了最近的3D高斯飞溅(3DGS)技术，它不仅说明了它如何起源于传统的基于点的渲染方法，而且还说明了它的快速渲染和3DGS表示的显式几何结构如何促进了一系列针对3D重建和3D编辑等应用的工作。虽然3DGS在不同的任务上大大提高了效率和结果质量，但三维高斯溅射仍然存在挑战，可以在未来的研究中加以改进。

本文仅做学术分享，如有侵权，请联系删文。

在这里给大家推荐3D视觉工坊联合Gigi主讲老师推出的新课《基于NeRF/Gaussian三维重建的全新SLAM算法》

主讲人介绍