Dec, 2023

pixelSplat: 基于图像对的 3D 高斯扩散颗粒的可扩展通用 3D 重建

PDF
TL;DR我们介绍了 pixelSplat，这是一个前馈模型，可以从图像对中学习重建由 3D 高斯基元参数化的 3D 辐射场。我们的模型具有实时和内存高效的渲染，可进行可扩展训练和快速 3D 重建。为了克服稀疏和局部表示固有的局部最小值问题，我们预测了 3D 上的密集概率分布，并从该概率分布中采样高斯均值。我们通过参数化技巧使采样操作可微分，从而使得我们能够通过高斯平铺表示进行梯度反向传播。我们在现实世界的 RealEstate10k 和 ACID 数据集上对我们的方法进行了广泛的基线新视角合成基准测试，表明我们在重建可解释和可编辑的 3D 辐射场时，胜过现有最先进的光场转换器，并且加快了渲染速度 2.5 个数量级。
pixelsplat3d radiance fieldsgaussian primitivesreal-time renderingnovel view synthesis
发现论文，激发创造
  • MVSplat: 从稀疏多视角图像中高效的三维高斯粒子渲染

    我们提出了一种称为 MVSplat 的高效前馈 3D 高斯分割模型，通过稀疏多视图图像进行学习。为了准确定位高斯中心，我们通过在三维空间中进行平面扫描来建立成本体积表示，其中成本体积中存储的跨视图特征相似性可以为深度估计提供宝贵的几何线索。我们在只依靠光度监督的情况下，同时学习高斯原始图的透明度、协方差和球面谐波系数。通过广泛的实验评估，我们展示了成本体积表示在学习前馈高斯分割模型中的重要性。在大规模的 RealEstate10K 和 ACID 基准测试中，我们的模型以最快的前馈推断速度（22 帧 / 秒）实现了最先进的性能。与最新的最先进方法 pixelSplat 相比，我们的模型使用的参数数量少了 10 倍，推断速度更快了两倍，同时还提供更高的外观和几何质量以及更好的跨数据集泛化能力。

    Mar, 2024

  • 通过新型立体视角从高斯点云实现的曲面重建

    从高斯图形点渲染模型进行表面重构的方法能够产生更准确、更详细的重建结果，并且相较于其他方法，其计算时间更短。

    Apr, 2024

  • 喷溅图像：超快速单视角 3D 重建

    我们介绍了 Splatter Image，这是一种超快的单目三维物体重建方法，运行速度达到每秒 38 帧。Splatter Image 基于高斯颗粒化技术，该技术近期实现了实时渲染、快速训练和出色的多视角重建扩展性。我们首次将高斯颗粒化应用于单目重建领域。我们的方法基于学习，测试时只需要前馈评估一个神经网络即可完成重建。Splatter Image 的主要创新之处在于其设计意外地简单：它使用一个二维图像到图像的网络将输入图像映射到每个像素点上的一个三维高斯。因此，所得到的高斯形式呈现为一张图像，即 Splatter Image。我们进一步扩展了该方法，使用多个图像作为输入，并通过添加交叉视图注意力来实现。由于渲染器的速度（每秒 588 帧），我们可以在训练时只使用一个 GPU，在每次迭代中生成整个图像，以优化 LPIPS 等感知度量标准。在标准基准测试中，我们不仅展示了快速重建，而且在 PSNR、LPIPS 和其他度量标准方面相比最近和更昂贵的基线方法取得了更好的结果。

    Dec, 2023

  • 实时辐射场渲染的三维高斯喷洒

    我们提出了三个关键要素，可实现高质量的实时（大于等于 30 帧 / 秒）1080p 分辨率的新视图合成，其中包括使用 3D 高斯函数表示场景、优化 3D 高斯函数的相关参数以准确表示场景，并开发了一种快速的可见性感知渲染算法，以加速训练并实现实时渲染。

    Aug, 2023

  • 单视角三维重建中，一个像素价值高于三个 3D 高斯函数

    从单视图图像中学习 3D 场景表示是计算机视觉中长期存在的一个基本问题，具有从输入视图预测未见内容的固有模糊性。本文提出了一种分层 Splatter 图像方法，通过一种像素由一个父 3D 高斯和少量的子 3D 高斯来表示，解决了典型 Splatter 图像无法表示不能在输入视图中观察到的遮挡部分的问题。

    May, 2024

  • 去模糊的三维高斯渲染

    我们提出了一种新颖的实时去模糊框架，利用小型多层感知机（MLP）操纵每个 3D 高斯的协方差来建模场景的模糊程度，从模糊的图像中重构出细节清晰的图像，实现实时渲染。

    Jan, 2024

  • 3D 高斯点绘制的近期进展

    使用一组高斯椭球来模拟场景，从而实现高效渲染，3D 高斯喷涂表示法具有快速渲染、动态重建、几何编辑和物理模拟等优点。本文通过对最近的 3D 高斯喷涂方法进行文献综述，提供了一个 3D 高斯喷涂方法的分类，包括 3D 重建、3D 编辑和其他功能应用，以及传统的基于点的渲染方法和 3D 高斯喷涂的渲染公式，旨在帮助初学者快速了解这一领域并为经验丰富的研究者提供全面的概述，以推动 3D 高斯喷涂表示法的未来发展。

    Mar, 2024

  • 高斯 - SLAM：基于高斯投射的高清稠密 SLAM

    我们提出了一种新的稠密同时定位与建图（SLAM）方法，该方法使用高斯斑点作为场景表示。该新的表示方法能够实时重建和真实渲染真实世界和合成场景，并通过提出新的策略来扩展高斯斑点的应用，使其从多视角离线场景扩展到顺序单色 RGBD 输入数据的设置。此外，我们还将高斯斑点扩展到编码几何并通过跟踪在此场景表示上进行实验。我们的方法在真实世界和合成数据集上实现了最先进的渲染质量，同时在重建性能和运行时间方面具有竞争力。

    Dec, 2023

  • latentSplat：自动编码可变高斯用于快速可推广的 3D 重建

    我们提出了 latentSplat，一种在 3D 潜在空间中预测语义高斯分布并能够通过轻量级生成的 2D 架构进行解码的方法。我们的方法结合了基于回归的方法和生成模型，通过训练纯粹基于现有真实视频数据，在相同的方法中实现了高分辨率新视图的快速推断和 360 度泛化插值。latentSplat 在重建质量和泛化能力上优于先前的方法，并且对于高分辨率数据具有快速且可扩展的特性。

    Mar, 2024

  • RadSplat: 用于鲁棒实时渲染的辐射场引导高斯涂抹，每秒 900 + 帧

    本研究提出了一种名为 RadSplat 的轻量级方法，用于复杂场景的鲁棒实时渲染。该方法通过使用辐射场作为先验和监督信号来优化基于点的场景表示，提高了渲染质量和鲁棒优化。同时，我们开发了一种新颖的剪枝技术，减少了点的数量且保持高质量，使场景表示更小、更紧凑，并具有更快的推理速度。此外，我们提出了一种新颖的测试时间滤波方法，进一步加快了渲染速度，并可以扩展到更大的场景。实验证明，我们的方法实现了 900 + 帧每秒的复杂场景综合效果，达到了最先进水平。

    Mar, 2024