Dec, 2023

喷溅图像：超快速单视角 3D 重建

PDF
TL;DR我们介绍了 Splatter Image，这是一种超快的单目三维物体重建方法，运行速度达到每秒 38 帧。Splatter Image 基于高斯颗粒化技术，该技术近期实现了实时渲染、快速训练和出色的多视角重建扩展性。我们首次将高斯颗粒化应用于单目重建领域。我们的方法基于学习，测试时只需要前馈评估一个神经网络即可完成重建。Splatter Image 的主要创新之处在于其设计意外地简单：它使用一个二维图像到图像的网络将输入图像映射到每个像素点上的一个三维高斯。因此，所得到的高斯形式呈现为一张图像，即 Splatter Image。我们进一步扩展了该方法，使用多个图像作为输入，并通过添加交叉视图注意力来实现。由于渲染器的速度（每秒 588 帧），我们可以在训练时只使用一个 GPU，在每次迭代中生成整个图像，以优化 LPIPS 等感知度量标准。在标准基准测试中，我们不仅展示了快速重建，而且在 PSNR、LPIPS 和其他度量标准方面相比最近和更昂贵的基线方法取得了更好的结果。
发现论文，激发创造
  • 单视角三维重建中，一个像素价值高于三个 3D 高斯函数

    从单视图图像中学习 3D 场景表示是计算机视觉中长期存在的一个基本问题，具有从输入视图预测未见内容的固有模糊性。本文提出了一种分层 Splatter 图像方法，通过一种像素由一个父 3D 高斯和少量的子 3D 高斯来表示，解决了典型 Splatter 图像无法表示不能在输入视图中观察到的遮挡部分的问题。

    May, 2024

  • pixelSplat: 基于图像对的 3D 高斯扩散颗粒的可扩展通用 3D 重建

    我们介绍了 pixelSplat，这是一个前馈模型，可以从图像对中学习重建由 3D 高斯基元参数化的 3D 辐射场。我们的模型具有实时和内存高效的渲染，可进行可扩展训练和快速 3D 重建。为了克服稀疏和局部表示固有的局部最小值问题，我们预测了 3D 上的密集概率分布，并从该概率分布中采样高斯均值。我们通过参数化技巧使采样操作可微分，从而使得我们能够通过高斯平铺表示进行梯度反向传播。我们在现实世界的 RealEstate10k 和 ACID 数据集上对我们的方法进行了广泛的基线新视角合成基准测试，表明我们在重建可解释和可编辑的 3D 辐射场时，胜过现有最先进的光场转换器，并且加快了渲染速度 2.5 个数量级。

    Dec, 2023

  • 去模糊的三维高斯渲染

    我们提出了一种新颖的实时去模糊框架，利用小型多层感知机（MLP）操纵每个 3D 高斯的协方差来建模场景的模糊程度，从模糊的图像中重构出细节清晰的图像，实现实时渲染。

    Jan, 2024

  • 高斯散角法：3D 重建与新景象合成综述

    图像基于的三维重建是一项具有挑战性的任务，涉及从一组输入图像中推断出对象或场景的三维形状。基于学习的方法因其直接估计三维形状的能力而受到关注。本综述论文着重介绍了三维重建的最新技术，包括生成新颖未见视角的方法。论文提供了对高斯激波方法的最新发展的概述，包括输入类型、模型结构、输出表示和训练策略。未解决的挑战和未来的研究方向也得到了讨论。鉴于该领域的快速进展以及增强三维重建方法的众多机会，对算法进行全面的研究至关重要。因此，本研究全面概述了高斯激波最新进展。

    May, 2024

  • 高斯 - SLAM：基于高斯投射的高清稠密 SLAM

    我们提出了一种新的稠密同时定位与建图（SLAM）方法，该方法使用高斯斑点作为场景表示。该新的表示方法能够实时重建和真实渲染真实世界和合成场景，并通过提出新的策略来扩展高斯斑点的应用，使其从多视角离线场景扩展到顺序单色 RGBD 输入数据的设置。此外，我们还将高斯斑点扩展到编码几何并通过跟踪在此场景表示上进行实验。我们的方法在真实世界和合成数据集上实现了最先进的渲染质量，同时在重建性能和运行时间方面具有竞争力。

    Dec, 2023

  • 快速新视角合成的压缩 3D 高斯点云

    通过优化 3D 高斯飞溅表示法，将高保真度场景重建应用于稀疏图像集合的新视角合成，并通过压缩的 3D 高斯飞溅表示法，在显著降低内存消耗和提高渲染效率的基础上，实现了对方向性颜色和高斯参数进行压缩。在多个数据集上进行广泛实验，证明了该方法的鲁棒性和渲染速度。

    Nov, 2023

  • GaussianObject: 只需四张图像，使用高斯喷洒获得高质量三维物体

    从稀疏视图中重建和渲染 3D 物体是促进 3D 视觉技术应用和提高用户体验的关键。本文提出了 GaussianObject 框架，通过高斯散射达到高质量渲染，仅需 4 张输入图像，解决了构建多视角一致性和补充遗漏物体信息的困难，同时在多个数据集上显示出卓越的重建效果，超越现有方法。

    Feb, 2024

  • SpotlessSplats: 忽略 3D 高斯点状绘制中的干扰因素

    SpotlessSplats 是一种利用预先训练的通用特征和鲁棒优化相结合的方法，有效地忽略短暂的干扰因素，实现了在实时应用中视觉和定量上的最新重建质量。

    Jun, 2024

  • FDGaussian: 从单张图像中快速生成高斯喷溅的几何感知扩散模型

    通过引入 FDGaussian，我们提出了一种新颖的两阶段单图像 3D 重建框架，利用直接平面分解机制从二维输入中提取三维几何特征，实现生成一致的多视角图像，并结合对极注意力进一步加速高质量的三维对象重建。

    Mar, 2024

  • MVSplat: 从稀疏多视角图像中高效的三维高斯粒子渲染

    我们提出了一种称为 MVSplat 的高效前馈 3D 高斯分割模型，通过稀疏多视图图像进行学习。为了准确定位高斯中心，我们通过在三维空间中进行平面扫描来建立成本体积表示，其中成本体积中存储的跨视图特征相似性可以为深度估计提供宝贵的几何线索。我们在只依靠光度监督的情况下，同时学习高斯原始图的透明度、协方差和球面谐波系数。通过广泛的实验评估，我们展示了成本体积表示在学习前馈高斯分割模型中的重要性。在大规模的 RealEstate10K 和 ACID 基准测试中，我们的模型以最快的前馈推断速度（22 帧 / 秒）实现了最先进的性能。与最新的最先进方法 pixelSplat 相比，我们的模型使用的参数数量少了 10 倍，推断速度更快了两倍，同时还提供更高的外观和几何质量以及更好的跨数据集泛化能力。

    Mar, 2024