Nov, 2023

SuGaR: 表面对齐的高斯点精炼用于高效 3D 网格重构和高质量网格渲染

PDF
TL;DR我们提出了一种方法，可以从 3D 高斯散点图中精确且非常快速地提取网格。该方法使用高斯散点图进行实际渲染，相较于 NeRFs 具有更快的训练速度。我们首先引入了一个鼓励高斯散点图与场景表面对齐的正则项，然后利用此对齐性通过 Poisson 重建方法从高斯散点图中提取网格，该方法快速、可扩展且能保留细节信息，与通常用于从神经隐式函数中提取网格的 Marching Cubes 算法形成对比。最后，我们引入了可选的优化策略，通过高斯散点图渲染将高斯散点图与网格表面绑定，在传统软件中通过操纵网格而非高斯散点图本身实现了易于编辑、雕刻、绑定、动画制作、合成和调光。与基于神经隐式函数的最先进方法相比，我们的方法可在几分钟内获取逼真渲染所需的可编辑网格，而不是使用数小时。同时，我们的方法提供更好的渲染质量。
发现论文，激发创造
  • NeuSG: 基于神经网络的隐式表面重建与 3D 高斯喷点引导

    神经隐式表面重建方法通过引导来自三维高斯化簇粘附的点云，结合来自神经隐式模型的表面预测精炼来提高细节的重建效果。

    Dec, 2023

  • PGSR: 基于平面的高斯点云着色用于高效和高保真度的表面重建

    通过引入基于平面的高斯点云猜测（PGSR）方法，本研究旨在实现高保真度的表面重建和高质量的渲染，以解决基于 3D 高斯斑点（3DGS）的重构方法中普遍存在的质量问题。实验结果表明，与基于 3DGS 和 NeRF 的方法相比，我们的方法在快速训练和渲染的同时保持了高保真度的渲染和几何重建效果。

    Jun, 2024

  • 3D 高斯点绘制的近期进展

    使用一组高斯椭球来模拟场景，从而实现高效渲染，3D 高斯喷涂表示法具有快速渲染、动态重建、几何编辑和物理模拟等优点。本文通过对最近的 3D 高斯喷涂方法进行文献综述，提供了一个 3D 高斯喷涂方法的分类，包括 3D 重建、3D 编辑和其他功能应用，以及传统的基于点的渲染方法和 3D 高斯喷涂的渲染公式，旨在帮助初学者快速了解这一领域并为经验丰富的研究者提供全面的概述，以推动 3D 高斯喷涂表示法的未来发展。

    Mar, 2024

  • 基于网格的高斯映射在实时大规模变形中的应用

    通过创新的基于网格的高斯喷洒（GS）表示方法，在保持高质量渲染结果的同时，实现了高质量的重构和有效的变形，每秒平均 65 帧。

    Feb, 2024

  • 3DGSR：基于 3D 高斯扩展通过隐式表面重建

    该研究论文介绍了一种包括隐式曲面重建、三维高斯光照插值以及体积渲染等方法组合的 3D 曲面重建技术，实现了高质量的三维曲面重建并保持了高效率和渲染质量。

    Mar, 2024

  • RaDe-GS：高斯投影深度

    高斯飞溅在新视角合成方面已被证明具有很高的效果，但对于重建细节丰富的 3D 形状尚未充分探索。本研究介绍了一种栅格化方法来渲染通用 3D 高斯飞溅的深度图和表面法线图，大大提高了形状重建的准确性，并保持高斯飞溅的计算效率。该方法在 DTU 数据集上达到与 NeuraLangelo 相当的 Chamfer 距离误差，并保持与传统高斯飞溅相似的训练和渲染时间。该方法是高斯飞溅的重要进展，可以直接集成到现有的基于高斯飞溅的方法中。

    Jun, 2024

  • GaMeS：基于网格的高斯散射自适应和修改

    最近几年，引入了一系列基于神经网络的图像渲染方法。其中，被广泛研究的神经辐射场（NeRF）依靠神经网络来表示三维场景，可以从少量的二维图像中合成逼真的视图。然而，大多数 NeRF 模型在训练和推理时间上都受到限制。相比之下，高斯喷洒（GS）是一种新颖的、领先技术的渲染点的技术，通过高斯分布来近似它们对图像像素的贡献，从而保证快速训练和实时渲染。GS 的一个缺点是缺乏对其条件的明确定义，因为需要对几十万个高斯分量进行条件建模。为了解决这个问题，我们引入了高斯网格喷洒（GaMeS）模型，它是网格和高斯分布的混合形式，在物体表面（网格）上固定所有高斯喷洒。我们方法的独特之处在于，仅根据高斯喷洒在网格上的位置来定义，允许在动画过程中自动调整位置、比例和旋转。因此，我们实现了在实时生成高质量视图方面的高质量渲染。此外，我们证明在没有预定义网格的情况下，可以在学习过程中调整初始网格。

    Feb, 2024

  • GaussianRoom: 利用 SDF 导引和单目线索改进的 3D 高斯点雨法用于室内场景重建

    通过将神经有向距离场（SDF）与三维高斯光斑（3DGS）相结合，我们提出了一个统一的优化框架，用于在室内场景中进行高质量的重建和实时速度的渲染。

    May, 2024

  • 基于网格吸附高斯喷溅的动态三维物体重建与模拟

    本文介绍了 Mesh-adsorbed Gaussian Splatting（MaGS）方法，它通过在网格表面生成互相吸附的网格 - 高斯三维表示，结合了三维高斯的渲染灵活性和网格的空间一致性，引入了可学习的 Relative Deformation Field（RDF）来更精确地捕捉每个三维高斯的运动，从而实现了高渲染准确性和逼真变形，在 D-NeRF 和 NeRF-DS 数据集上的实验表明，MaGS 在重建和模拟方面取得了竞争性的结果。

    Jun, 2024

  • GS-Octree: 强光条件下健壮的物体级别三维重建的基于八叉树的高斯插值

    融合了 3D 高斯喷洒与八叉树隐式表面表示的新方法用于重构精确几何，尤其适用于受强照明影响导致的镜面高光图像。

    Jun, 2024