Mar, 2024

MVSplat: 从稀疏多视角图像中高效的三维高斯粒子渲染

PDF
TL;DR我们提出了一种称为 MVSplat 的高效前馈 3D 高斯分割模型，通过稀疏多视图图像进行学习。为了准确定位高斯中心，我们通过在三维空间中进行平面扫描来建立成本体积表示，其中成本体积中存储的跨视图特征相似性可以为深度估计提供宝贵的几何线索。我们在只依靠光度监督的情况下，同时学习高斯原始图的透明度、协方差和球面谐波系数。通过广泛的实验评估，我们展示了成本体积表示在学习前馈高斯分割模型中的重要性。在大规模的 RealEstate10K 和 ACID 基准测试中，我们的模型以最快的前馈推断速度（22 帧 / 秒）实现了最先进的性能。与最新的最先进方法 pixelSplat 相比，我们的模型使用的参数数量少了 10 倍，推断速度更快了两倍，同时还提供更高的外观和几何质量以及更好的跨数据集泛化能力。
发现论文，激发创造
  • FreeSplat: 室内场景的自由视角综合的通用化三维高斯点采样

    通过引入低成本跨视聚集、像素级三元组融合和简单有效的自由视图训练策略，我们提出了一个能够从长序列输入中重建几何一致的 3D 场景并实现自由视图合成的新方法 FreeSplat，研究结果表明其在不同数量的输入视图下，在新视图生成的颜色贴图质量和深度图准确性方面都达到了最新水平，并且 FreeSplat 的推断效率更高，能够有效减少冗余的高斯函数，为无需深度先验的大场景重建提供了可能。

    May, 2024

  • pixelSplat: 基于图像对的 3D 高斯扩散颗粒的可扩展通用 3D 重建

    我们介绍了 pixelSplat，这是一个前馈模型，可以从图像对中学习重建由 3D 高斯基元参数化的 3D 辐射场。我们的模型具有实时和内存高效的渲染，可进行可扩展训练和快速 3D 重建。为了克服稀疏和局部表示固有的局部最小值问题，我们预测了 3D 上的密集概率分布，并从该概率分布中采样高斯均值。我们通过参数化技巧使采样操作可微分，从而使得我们能够通过高斯平铺表示进行梯度反向传播。我们在现实世界的 RealEstate10k 和 ACID 数据集上对我们的方法进行了广泛的基线新视角合成基准测试，表明我们在重建可解释和可编辑的 3D 辐射场时，胜过现有最先进的光场转换器，并且加快了渲染速度 2.5 个数量级。

    Dec, 2023

  • InstantSplat：40 秒内无界稀疏姿态无关高斯点云绘制

    通过将点云表示与端到端的稠密立体模型相结合，InstantSplat 能够在不到 1 分钟的时间内从稀疏视图和无姿态图像中构建大规模场景的三维高斯平面，并显著提高 SSIM （32%）且同时降低绝对轨迹误差（ATE）80%。

    Mar, 2024

  • 3D 高斯补洞在少样本图像中的深度正则化优化

    通过引入密集深度图，用于减轻过拟合问题，我们提出了一种方法来优化具有有限图像数量的高斯喷洒。我们通过将众多高斯喷溅结合起来表示 3D 场景，取得了出色的视觉效果。我们使用预训练的单目深度估计模型获取深度图，然后通过稀疏 COLMAP 特征点对其进行缩放和偏移的调整。调整后的深度图有助于基于颜色的 3D 高斯喷溅优化，减轻浮动伪影并确保符合几何约束。我们在具有不同数量的少量图像的 NeRF-LLFF 数据集上验证了该方法，与仅依赖图像的原始方法相比，我们的方法展示了稳健的几何性能。

    Nov, 2023

  • 快速通用高斯投影立体视图重建

    MVSGaussian 是一种新的通用化的三维高斯表示方法，通过多视点立体视觉 (MVS) 有效重建未见过的场景，具有实时渲染速度和良好的综合质量。

    May, 2024

  • 快速新视角合成的压缩 3D 高斯点云

    通过优化 3D 高斯飞溅表示法，将高保真度场景重建应用于稀疏图像集合的新视角合成，并通过压缩的 3D 高斯飞溅表示法，在显著降低内存消耗和提高渲染效率的基础上，实现了对方向性颜色和高斯参数进行压缩。在多个数据集上进行广泛实验，证明了该方法的鲁棒性和渲染速度。

    Nov, 2023

  • MGS-SLAM: 单目稀疏跟踪与高斯建图并带深度平滑正则化

    基于高斯喷洒的稠密视觉同时定位与建图（VSLAM）引入了一种新的框架，通过独特地将先进的稀疏视觉里程计与稠密高斯喷洒场景表示相结合，从而消除了依赖于深度图的限制并增强了跟踪的稳健性。我们的系统在各种合成和真实数据集上的评估证明了其姿态估计的准确性超越了现有方法，达到了最先进的性能，并且在新颖视角合成保真度方面胜过以前的单目方法，与利用 RGB-D 输入的神经 SLAM 系统的结果相匹配。

    May, 2024

  • 喷溅图像：超快速单视角 3D 重建

    我们介绍了 Splatter Image，这是一种超快的单目三维物体重建方法，运行速度达到每秒 38 帧。Splatter Image 基于高斯颗粒化技术，该技术近期实现了实时渲染、快速训练和出色的多视角重建扩展性。我们首次将高斯颗粒化应用于单目重建领域。我们的方法基于学习，测试时只需要前馈评估一个神经网络即可完成重建。Splatter Image 的主要创新之处在于其设计意外地简单：它使用一个二维图像到图像的网络将输入图像映射到每个像素点上的一个三维高斯。因此，所得到的高斯形式呈现为一张图像，即 Splatter Image。我们进一步扩展了该方法，使用多个图像作为输入，并通过添加交叉视图注意力来实现。由于渲染器的速度（每秒 588 帧），我们可以在训练时只使用一个 GPU，在每次迭代中生成整个图像，以优化 LPIPS 等感知度量标准。在标准基准测试中，我们不仅展示了快速重建，而且在 PSNR、LPIPS 和其他度量标准方面相比最近和更昂贵的基线方法取得了更好的结果。

    Dec, 2023

  • SWAG: 使用外观条件高斯模型对野外图像进行粘贴

    通过将外观建模与无监督训练的瞬态高斯处理相结合，有效地处理来自非结构化野外图像集合的三维场景表示方法，在多样的照片场景和户外地标的多次获取实验中，实现了改进效率和技术水平。

    Mar, 2024

  • 特征分割以减少重叠度的优化新视角合成

    利用特征喷溅（FeatSplat）将三维高斯场的颜色信息编码到每个高斯特征向量中，进而通过小型 MLP 解码融合的特征向量以生成 RGB 像素值，且通过叠加相机嵌入来条件解码以包含视角信息。实验证明，该方法显著提高了对训练视图之外远离的低重叠视图的新视图合成，并展示了特征向量表示的能力不仅可以生成新视图的 RGB 值，还可以生成每个像素的语义标签。

    May, 2024