Splatt3R：来自未校准图像对的零-shot高斯喷溅
本文研究了神经渲染、相机位姿、Neural Radiance Fields、3D Gaussian Splatting以及新视角合成等主题，通过使用显式几何表示和输入视频流的连续性，实现了无需任何SfM预处理的新视角合成。该方法在大运动变化下显著改善了先前方法在视角合成和相机姿态估计方面的性能。
Dec, 2023
我们介绍了pixelSplat，这是一个前馈模型，可以从图像对中学习重建由3D高斯基元参数化的3D辐射场。我们的模型具有实时和内存高效的渲染，可进行可扩展训练和快速3D重建。为了克服稀疏和局部表示固有的局部最小值问题，我们预测了3D上的密集概率分布，并从该概率分布中采样高斯均值。我们通过参数化技巧使采样操作可微分，从而使得我们能够通过高斯平铺表示进行梯度反向传播。我们在现实世界的RealEstate10k和ACID数据集上对我们的方法进行了广泛的基线新视角合成基准测试，表明我们在重建可解释和可编辑的3D辐射场时，胜过现有最先进的光场转换器，并且加快了渲染速度2.5个数量级。
Dec, 2023
我们介绍了Splatter Image，这是一种超快的单目三维物体重建方法，运行速度达到每秒38帧。Splatter Image基于高斯颗粒化技术，该技术近期实现了实时渲染、快速训练和出色的多视角重建扩展性。我们首次将高斯颗粒化应用于单目重建领域。我们的方法基于学习，测试时只需要前馈评估一个神经网络即可完成重建。Splatter Image的主要创新之处在于其设计意外地简单：它使用一个二维图像到图像的网络将输入图像映射到每个像素点上的一个三维高斯。因此，所得到的高斯形式呈现为一张图像，即Splatter Image。我们进一步扩展了该方法，使用多个图像作为输入，并通过添加交叉视图注意力来实现。由于渲染器的速度（每秒588帧），我们可以在训练时只使用一个GPU，在每次迭代中生成整个图像，以优化LPIPS等感知度量标准。在标准基准测试中，我们不仅展示了快速重建，而且在PSNR、LPIPS和其他度量标准方面相比最近和更昂贵的基线方法取得了更好的结果。
Dec, 2023
我们提出了一种称为MVSplat的高效前馈3D高斯分割模型，通过稀疏多视图图像进行学习。为了准确定位高斯中心，我们通过在三维空间中进行平面扫描来建立成本体积表示，其中成本体积中存储的跨视图特征相似性可以为深度估计提供宝贵的几何线索。我们在只依靠光度监督的情况下，同时学习高斯原始图的透明度、协方差和球面谐波系数。通过广泛的实验评估，我们展示了成本体积表示在学习前馈高斯分割模型中的重要性。在大规模的RealEstate10K和ACID基准测试中，我们的模型以最快的前馈推断速度（22帧/秒）实现了最先进的性能。与最新的最先进方法pixelSplat相比，我们的模型使用的参数数量少了10倍，推断速度更快了两倍，同时还提供更高的外观和几何质量以及更好的跨数据集泛化能力。
Mar, 2024
图像基于的三维重建是一项具有挑战性的任务，涉及从一组输入图像中推断出对象或场景的三维形状。基于学习的方法因其直接估计三维形状的能力而受到关注。本综述论文着重介绍了三维重建的最新技术，包括生成新颖未见视角的方法。论文提供了对高斯激波方法的最新发展的概述，包括输入类型、模型结构、输出表示和训练策略。未解决的挑战和未来的研究方向也得到了讨论。鉴于该领域的快速进展以及增强三维重建方法的众多机会，对算法进行全面的研究至关重要。因此，本研究全面概述了高斯激波最新进展。
May, 2024
通过引入低成本跨视聚集、像素级三元组融合和简单有效的自由视图训练策略，我们提出了一个能够从长序列输入中重建几何一致的3D场景并实现自由视图合成的新方法FreeSplat，研究结果表明其在不同数量的输入视图下，在新视图生成的颜色贴图质量和深度图准确性方面都达到了最新水平，并且FreeSplat的推断效率更高，能够有效减少冗余的高斯函数，为无需深度先验的大场景重建提供了可能。
May, 2024
从单视图图像中学习3D场景表示是计算机视觉中长期存在的一个基本问题，具有从输入视图预测未见内容的固有模糊性。本文提出了一种分层Splatter图像方法，通过一种像素由一个父3D高斯和少量的子3D高斯来表示，解决了典型Splatter图像无法表示不能在输入视图中观察到的遮挡部分的问题。
May, 2024
SpotlessSplats是一种利用预先训练的通用特征和鲁棒优化相结合的方法，有效地忽略短暂的干扰因素，实现了在实时应用中视觉和定量上的最新重建质量。
Jun, 2024
本研究提出了一种名为Splatt3R的方法，针对从非校准的立体图像对中进行3D重建与新视角合成的挑战，消除了对相机参数和深度信息的依赖。该方法通过优化3D点云几何损失并引入新视角合成目标，从而避免了训练3D高斯喷溅时的局部最小值问题，这一创新显著提高了在自然图像中的泛化能力和性能。研究表明，Splatt3R可以以512 x 512分辨率以4FPS的速度重建场景，并实现实时渲染。
Aug, 2024