快速提取精确且可编辑3D网格：一种基于Gaussian Splatting的方法

作者：韩立 | 来源：3DCV

在公众号「3DCV」后台，回复「原论文」可获取论文pdf和代码链接

添加v：dddvision，备注：3D高斯，拉你入群。文末附行业细分群

1、导读

我们介绍了一种从3D Gaussian Splatting表示中快速提取精确且可编辑的网格的方法。该方法利用Gaussian Splatting的渲染速度快、训练速度慢的特点，通过引入正则化项鼓励Gaussian Splatting表示与场景表面对齐，并使用Poisson重建方法从Gaussian Splatting表示中提取网格。此外，该方法还引入了一种优化策略，将Gaussian Splatting表示与网格一起优化，通过Gaussian Splatting渲染实现高效的编辑、雕塑、动画和重新光照。这种方法能够在几分钟内检索到具有更好渲染质量的可编辑网格，相比于从SDF中提取网格的方法需要几个小时。

2、贡献

正则化项，使高斯能准确捕捉场景的几何形状；

一种高效的算法，可在几分钟内从高斯中提取出精确的网格；

一种将高斯绑定到网格的方法，从而获得更精确的网格，与目前使用网格进行新颖视图合成的方法相比，渲染质量更高，并允许以多种不同方式编辑场景。

3、方法

从3D Gaussian Splatting表示中快速提取精确且可编辑的网格的方法。主要包括以下几个步骤：

引入正则化项，鼓励Gaussian Splatting表示与场景表面对齐。

使用Poisson重建方法从Gaussian Splatting表示中提取网格。

引入优化策略，将Gaussian Splatting表示与网格一起优化，实现高效的编辑、雕塑、动画和重新光照。

这个方法的优势在于，能够在短时间内检索到具有更好渲染质量的可编辑网格，相比于从SDF中提取网格的方法，效率大幅提升。

3.1、将高斯与曲面对齐

通过引入正则化项来使Gaussian Splatting表示与场景表面对齐。该方法的目标是鼓励Gaussians具有紧密排列和均匀分布的特性，从而在后续的优化过程中获得更高渲染质量的网格。

3.2、高效的网格提取

高效的网格提取：从Gaussian Splatting表示中快速提取精确且可编辑的网格的方法。该方法采用了一种优化策略，将Gaussian Splatting表示与网格一起优化，以实现高效的编辑、雕塑、动画和重新光照。为了证明该方法在重建高质量网格方面的优势，作者进行了实验，并将实验结果与其他网格提取算法进行了比较。

在实验中，作者优化了不同场景的Gaussian Splatting表示，并采用了以下几种网格提取方法：

使用非常精细的Marching Cubes算法提取网格；

使用Poisson重建方法，以高斯体的中心作为表面点云提取网格；

应用本文提出的网格提取方法提取不同场景的网格。

实验结果表明，与其他方法相比，本文提出的网格提取方法在渲染质量和编辑能力方面具有明显优势。在没有正则化项的情况下，Gaussians在优化后没有特殊的排列，这使得提取网格变得非常困难。而当引入正则化项后，即使使用非常精细的3D网格，Marching Cubes也能恢复出非常嘈杂的网格。相比之下，本文提出的全方法能够成功地重建出精确的网格，且效率较高。

3.3、将新的3D高斯分布绑定到网格上

如何通过将新的3D高斯分布绑定到网格上，来优化和编辑Gaussian Splatting场景。具体来说，主要介绍了以下几个关键点：

在已经提取出的网格的基础上，如何通过绑定新的3D高斯分布来细化和优化网格。

如何在保持高质量渲染的同时，使用高斯分布对网格进行编辑。

如何在几秒钟内从高斯分布中提取出具有更高细节的网格。

4、实验结果

实验对比了几种不同的网格提取方法，如Marching Cubes、Poisson重建等，以及它们在渲染质量和编辑能力方面的表现。为了评估所提出方法在细化和优化网格方面的效果，作者进行了一组对比实验。实验结果表明，所提出的方法在渲染质量和编辑能力方面具有明显优势。作者还对比了在不同场景下，所提出方法与现有方法的性能表现。实验结果显示，所提出的方法在处理3D高斯分布时具有较高的效率和准确性。同时还展示了在不同迭代次数下，所提出方法对3D高斯分布的细化效果。根据迭代次数的不同，细化过程的持续时间从几分钟到几小时不等。

5、总结

所提出的方法在3D Gaussian Splatting表示中快速提取精确且可编辑网格方面的优势。该方法通过引入正则化项鼓励Gaussian Splatting表示与场景表面对齐，并使用Poisson重建方法从Gaussian Splatting表示中提取网格。实验结果表明，所提出的方法在渲染质量和编辑能力方面具有显著提高，能够在短时间内检索到具有更好渲染质量的可编辑网格。与现有方法相比，所提出的方法在处理复杂场景时具有更高的效率和准确性。

3D视觉交流群

大家好，群里会第一时间发布3D计算机视觉方向的最前沿论文解读和交流分享，主要方向有：

视觉SLAM、激光SLAM、ORB-SLAM、Vins-Fusion、LOAM/LeGo-LOAM、cartographer、VIO、语义SLAM、滤波算法、多传感器融合、多传感器标定、MSCKF、动态SLAM、MOT SLAM、NeRF-SLAM、FAST-LIO、LVI-SAM、LIO-SAM、事件相机、GPS/RTK/UWB/IMU/码盘/TOF（iToF、dToF）、激光雷达、气压计、毫米波雷达、RGB-D相机、超声波等、机器人导航、相机标定、立体匹配、三维点云、结构光(面/线/散斑)、机械臂抓取（2D/3D）、2D缺陷检测、3D缺陷检测、6D位姿估计、相位偏折术、Halcon、光场重建、摄影测量、阵列相机、偏振三维测量、光度立体视觉、激光雷达、NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图、深度估计、Transformer、毫米波/激光雷达/视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、目标检测、3D目标检测、路径规划、轨迹预测、3D点云、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪、四旋翼建模、无人机飞控、求职、硬件选型、视觉产品落地、最新论文、3D视觉最新产品等综合交流群。

添加v: dddvision，备注：研究方向+学校/公司+昵称(如3D点云+清华+小草莓), 小助理会拉你入群。