本文介绍了一种将 NeRF-based 3D-aware GANs 的高渲染质量与 3D Gaussian Splatting 的灵活性和计算优势相结合的新方法。通过训练一个解码器，将隐式的 NeRF 表示映射到显式的 3D Gaussian Splatting 属性，我们可以首次将 3D GANs 的代表性多样性和质量整合到 3D Gaussian Splatting 的生态系统中。此外，我们的方法还允许高分辨率 GAN 反演和实时 GAN 编辑与 3D Gaussian Splatting 场景的结合。

Apr, 2024

使用变形的多层感知器（MLP）网络捕捉动态偏移的高斯点并通过哈希编码和小型 MLP 来表示点的颜色特征，引入可学习的去噪掩模结合去噪损失以从场景中消除噪点，通过静态约束和运动一致性约束减轻点的运动噪声，实验证明我们的方法在渲染质量和速度上超过了现有方法，同时显著减少了与 3D-GS 相关的内存使用，非常适用于新的视角合成和动态建图等任务。

May, 2024

通过学习性的掩码策略和向量量化，我们减少了高斯点的数量和占用的存储空间，实现了高性能、快速训练、紧凑且实时的渲染，提供了一个全面的三维场景表示框架。

Nov, 2023

最近几年，引入了一系列基于神经网络的图像渲染方法。其中，被广泛研究的神经辐射场（NeRF）依靠神经网络来表示三维场景，可以从少量的二维图像中合成逼真的视图。然而，大多数 NeRF 模型在训练和推理时间上都受到限制。相比之下，高斯喷洒（GS）是一种新颖的、领先技术的渲染点的技术，通过高斯分布来近似它们对图像像素的贡献，从而保证快速训练和实时渲染。GS 的一个缺点是缺乏对其条件的明确定义，因为需要对几十万个高斯分量进行条件建模。为了解决这个问题，我们引入了高斯网格喷洒（GaMeS）模型，它是网格和高斯分布的混合形式，在物体表面（网格）上固定所有高斯喷洒。我们方法的独特之处在于，仅根据高斯喷洒在网格上的位置来定义，允许在动画过程中自动调整位置、比例和旋转。因此，我们实现了在实时生成高质量视图方面的高质量渲染。此外，我们证明在没有预定义网格的情况下，可以在学习过程中调整初始网格。

Feb, 2024

在机器人应用中，参数化表示如神经辐射场（NeRF）相较于非参数化表示如高斯分块（GS）更具泛化能力，但 GS 渲染速度更快。我们开发了一种在这两者之间进行转换的方法，既拥有 NeRF 的优势（在不同视图下具有更好的 PSNR、SSIM 和 LPIPS，并且具有紧凑的表示），又拥有 GS 的优势（实时渲染和易于修改表示），这些转换的计算成本相较于从头训练这两个方法来说很小。

May, 2024

通过使用金字塔式组装高斯函数的 3D 高斯喷射 (PyGS)，结合 NeRF 初始化，我们在多个大规模数据集上实现了显著的性能提升，并获得超过当前最先进方法 400 倍以上的渲染时间。

May, 2024

基于神经渲染技术，本研究提出了一种使用 3D Half-Gaussian 核的方法，以改进当前 3D Gaussian splatting 方法的性能，在不影响渲染速度的情况下，在多个数据集上获得了最先进的渲染性能。

Jun, 2024

通过矩阵和张量分解技术，我们提出了一种新方法，即因式化三维高斯粒子点描（F-3DGS），通过高效的因式化，大大减少了存储需求，同时保持了渲染图像的质量。

May, 2024

使用一组高斯椭球来模拟场景，从而实现高效渲染，3D 高斯喷涂表示法具有快速渲染、动态重建、几何编辑和物理模拟等优点。本文通过对最近的 3D 高斯喷涂方法进行文献综述，提供了一个 3D 高斯喷涂方法的分类，包括 3D 重建、3D 编辑和其他功能应用，以及传统的基于点的渲染方法和 3D 高斯喷涂的渲染公式，旨在帮助初学者快速了解这一领域并为经验丰富的研究者提供全面的概述，以推动 3D 高斯喷涂表示法的未来发展。

Mar, 2024

通过 DeferredGS 方法，采用延迟着色技术，模拟环境光照并定义额外的属性对高斯粒子进行解耦和编辑，从而实现更逼真的重新光照效果，并在新视角合成和编辑任务方面表现出卓越性能。

Apr, 2024