May, 2024

从 NeRF 到高斯点，然后回来

PDF
TL;DR在机器人应用中，参数化表示如神经辐射场（NeRF）相较于非参数化表示如高斯分块（GS）更具泛化能力，但 GS 渲染速度更快。我们开发了一种在这两者之间进行转换的方法，既拥有 NeRF 的优势（在不同视图下具有更好的 PSNR、SSIM 和 LPIPS，并且具有紧凑的表示），又拥有 GS 的优势（实时渲染和易于修改表示），这些转换的计算成本相较于从头训练这两个方法来说很小。
robotics applicationsparametric representationsneural radiance fieldsgaussian splattingreal-time rendering
发现论文，激发创造
  • 基于视角的颜色和不透明度依赖的高斯分割算法

    我们提出了一种混合模型，使用高斯飞溅来表示三维物体的形状和 NeRF 的编码用于颜色和不透明度，从而更好地描述三维物体的阴影、光反射和透明度。

    Dec, 2023

  • 紧凑的三维高斯辐射场表示

    通过学习性的掩码策略和向量量化，我们减少了高斯点的数量和占用的存储空间，实现了高性能、快速训练、紧凑且实时的渲染，提供了一个全面的三维场景表示框架。

    Nov, 2023

  • 优化的三维高斯表示用于高质量动态场景重建

    使用变形的多层感知器（MLP）网络捕捉动态偏移的高斯点并通过哈希编码和小型 MLP 来表示点的颜色特征，引入可学习的去噪掩模结合去噪损失以从场景中消除噪点，通过静态约束和运动一致性约束减轻点的运动噪声，实验证明我们的方法在渲染质量和速度上超过了现有方法，同时显著减少了与 3D-GS 相关的内存使用，非常适用于新的视角合成和动态建图等任务。

    May, 2024

  • PyGS: 使用金字塔形状的三维高斯投影进行大规模场景表示

    通过使用金字塔式组装高斯函数的 3D 高斯喷射 (PyGS)，结合 NeRF 初始化，我们在多个大规模数据集上实现了显著的性能提升，并获得超过当前最先进方法 400 倍以上的渲染时间。

    May, 2024

  • SparseGS：使用高斯投影进行实时 360° 稀疏视图合成

    我们提出了一种从稀疏训练视角中训练一致的基于 3DGS 的辐射场的方法，通过集成深度先验、生成和显式约束来减少背景折叠、移除浮点值，并增强来自未见视角的一致性，实验证明我们的方法在 MipNeRF-360 数据集上以较少的训练和推理成本超过了基本的 3DGS 的 30.5% 和基于 NeRF 的方法的 15.6%。

    Nov, 2023

  • 面向三维感知生成对抗网络的高斯喷洒解码器

    本文介绍了一种将 NeRF-based 3D-aware GANs 的高渲染质量与 3D Gaussian Splatting 的灵活性和计算优势相结合的新方法。通过训练一个解码器，将隐式的 NeRF 表示映射到显式的 3D Gaussian Splatting 属性，我们可以首次将 3D GANs 的代表性多样性和质量整合到 3D Gaussian Splatting 的生态系统中。此外，我们的方法还允许高分辨率 GAN 反演和实时 GAN 编辑与 3D Gaussian Splatting 场景的结合。

    Apr, 2024

  • GaMeS：基于网格的高斯散射自适应和修改

    最近几年，引入了一系列基于神经网络的图像渲染方法。其中，被广泛研究的神经辐射场（NeRF）依靠神经网络来表示三维场景，可以从少量的二维图像中合成逼真的视图。然而，大多数 NeRF 模型在训练和推理时间上都受到限制。相比之下，高斯喷洒（GS）是一种新颖的、领先技术的渲染点的技术，通过高斯分布来近似它们对图像像素的贡献，从而保证快速训练和实时渲染。GS 的一个缺点是缺乏对其条件的明确定义，因为需要对几十万个高斯分量进行条件建模。为了解决这个问题，我们引入了高斯网格喷洒（GaMeS）模型，它是网格和高斯分布的混合形式，在物体表面（网格）上固定所有高斯喷洒。我们方法的独特之处在于，仅根据高斯喷洒在网格上的位置来定义，允许在动画过程中自动调整位置、比例和旋转。因此，我们实现了在实时生成高质量视图方面的高质量渲染。此外，我们证明在没有预定义网格的情况下，可以在学习过程中调整初始网格。

    Feb, 2024

  • SparseSat-NeRF: 稀疏遥感图像的密集深度监督神经辐射场

    使用稀疏卫星观测视图的 SpS-NeRF 方法通过密集深度监督以及传统半全局 MVS 匹配提供的互相关相似度指标，有效地生成数字表面模型，并与 NeRF 和 Sat-NeRF 进行对比。

    Sep, 2023

  • SGD：基于高斯点描和扩散先验的街景合成

    用新颖的方法结合扩散模型和多模态数据以提高三维高斯飞溅对未见视角的渲染效果，有效增强了自动驾驶模拟中街景的新视角合成技术。

    Mar, 2024

  • 如何改变 SLAM: 一项调查对 NeRFs 和三维高斯喷洒的影响

    通过最新的 radiance fields 进展提供首个对 SLAM 进展的综合概述，突出其背景、进化路径、优势和局限性，作为一个基础参考，突显其动态进展和特定挑战。

    Feb, 2024