Dec, 2023

COLMAP 免费的三维高斯糊点

PDF
TL;DR本文研究了神经渲染、相机位姿、Neural Radiance Fields、3D Gaussian Splatting 以及新视角合成等主题，通过使用显式几何表示和输入视频流的连续性，实现了无需任何 SfM 预处理的新视角合成。该方法在大运动变化下显著改善了先前方法在视角合成和相机姿态估计方面的性能。
neural renderingcamera posesneural radiance fields3d gaussian splattingnovel view synthesis
发现论文，激发创造
  • 三维几何感知的可变形高斯光斑在动态视图合成中的应用

    本文提出了一种 3D 几何感知可变形高斯喷洒方法，用于动态视图合成。我们的解决方案通过显式提取和融合 3D 几何特征来实现 3D 几何感知的变形建模，从而实现改进的动态视图合成和 3D 动态重建。

    Apr, 2024

  • 优化的三维高斯表示用于高质量动态场景重建

    使用变形的多层感知器（MLP）网络捕捉动态偏移的高斯点并通过哈希编码和小型 MLP 来表示点的颜色特征，引入可学习的去噪掩模结合去噪损失以从场景中消除噪点，通过静态约束和运动一致性约束减轻点的运动噪声，实验证明我们的方法在渲染质量和速度上超过了现有方法，同时显著减少了与 3D-GS 相关的内存使用，非常适用于新的视角合成和动态建图等任务。

    May, 2024

  • SparseGS：使用高斯投影进行实时 360° 稀疏视图合成

    我们提出了一种从稀疏训练视角中训练一致的基于 3DGS 的辐射场的方法，通过集成深度先验、生成和显式约束来减少背景折叠、移除浮点值，并增强来自未见视角的一致性，实验证明我们的方法在 MipNeRF-360 数据集上以较少的训练和推理成本超过了基本的 3DGS 的 30.5% 和基于 NeRF 的方法的 15.6%。

    Nov, 2023

  • 紧凑的三维高斯辐射场表示

    通过学习性的掩码策略和向量量化，我们减少了高斯点的数量和占用的存储空间，实现了高性能、快速训练、紧凑且实时的渲染，提供了一个全面的三维场景表示框架。

    Nov, 2023

  • 利用高斯光疙瘩从单目视频中进行自校准的 4D 新视图合成

    通过学习高保真度的 4D 高斯点云分割场景表征，自校准相机参数，以及联合优化相机参数和 3D 结构，我们的方法在 4D 新视图合成方面展现出了显著的改进。

    Jun, 2024

  • 面向三维感知生成对抗网络的高斯喷洒解码器

    本文介绍了一种将 NeRF-based 3D-aware GANs 的高渲染质量与 3D Gaussian Splatting 的灵活性和计算优势相结合的新方法。通过训练一个解码器，将隐式的 NeRF 表示映射到显式的 3D Gaussian Splatting 属性，我们可以首次将 3D GANs 的代表性多样性和质量整合到 3D Gaussian Splatting 的生态系统中。此外，我们的方法还允许高分辨率 GAN 反演和实时 GAN 编辑与 3D Gaussian Splatting 场景的结合。

    Apr, 2024

  • 3D 高斯点绘制的近期进展

    使用一组高斯椭球来模拟场景，从而实现高效渲染，3D 高斯喷涂表示法具有快速渲染、动态重建、几何编辑和物理模拟等优点。本文通过对最近的 3D 高斯喷涂方法进行文献综述，提供了一个 3D 高斯喷涂方法的分类，包括 3D 重建、3D 编辑和其他功能应用，以及传统的基于点的渲染方法和 3D 高斯喷涂的渲染公式，旨在帮助初学者快速了解这一领域并为经验丰富的研究者提供全面的概述，以推动 3D 高斯喷涂表示法的未来发展。

    Mar, 2024

  • 实时辐射场渲染的三维高斯喷洒

    我们提出了三个关键要素，可实现高质量的实时（大于等于 30 帧 / 秒）1080p 分辨率的新视图合成，其中包括使用 3D 高斯函数表示场景、优化 3D 高斯函数的相关参数以准确表示场景，并开发了一种快速的可见性感知渲染算法，以加速训练并实现实时渲染。

    Aug, 2023

  • 去模糊的三维高斯渲染

    我们提出了一种新颖的实时去模糊框架，利用小型多层感知机（MLP）操纵每个 3D 高斯的协方差来建模场景的模糊程度，从模糊的图像中重构出细节清晰的图像，实现实时渲染。

    Jan, 2024

  • PyGS: 使用金字塔形状的三维高斯投影进行大规模场景表示

    通过使用金字塔式组装高斯函数的 3D 高斯喷射 (PyGS)，结合 NeRF 初始化，我们在多个大规模数据集上实现了显著的性能提升，并获得超过当前最先进方法 400 倍以上的渲染时间。

    May, 2024