latentSplat:自动编码可变高斯用于快速可推广的 3D 重建
通过引入低成本跨视聚集、像素级三元组融合和简单有效的自由视图训练策略,我们提出了一个能够从长序列输入中重建几何一致的 3D 场景并实现自由视图合成的新方法 FreeSplat,研究结果表明其在不同数量的输入视图下,在新视图生成的颜色贴图质量和深度图准确性方面都达到了最新水平,并且 FreeSplat 的推断效率更高,能够有效减少冗余的高斯函数,为无需深度先验的大场景重建提供了可能。
May, 2024
我们介绍了 pixelSplat,这是一个前馈模型,可以从图像对中学习重建由 3D 高斯基元参数化的 3D 辐射场。我们的模型具有实时和内存高效的渲染,可进行可扩展训练和快速 3D 重建。为了克服稀疏和局部表示固有的局部最小值问题,我们预测了 3D 上的密集概率分布,并从该概率分布中采样高斯均值。我们通过参数化技巧使采样操作可微分,从而使得我们能够通过高斯平铺表示进行梯度反向传播。我们在现实世界的 RealEstate10k 和 ACID 数据集上对我们的方法进行了广泛的基线新视角合成基准测试,表明我们在重建可解释和可编辑的 3D 辐射场时,胜过现有最先进的光场转换器,并且加快了渲染速度 2.5 个数量级。
Dec, 2023
通过优化 3D 高斯飞溅表示法,将高保真度场景重建应用于稀疏图像集合的新视角合成,并通过压缩的 3D 高斯飞溅表示法,在显著降低内存消耗和提高渲染效率的基础上,实现了对方向性颜色和高斯参数进行压缩。在多个数据集上进行广泛实验,证明了该方法的鲁棒性和渲染速度。
Nov, 2023
通过将外观建模与无监督训练的瞬态高斯处理相结合,有效地处理来自非结构化野外图像集合的三维场景表示方法,在多样的照片场景和户外地标的多次获取实验中,实现了改进效率和技术水平。
Mar, 2024
我们提出了一种称为 MVSplat 的高效前馈 3D 高斯分割模型,通过稀疏多视图图像进行学习。为了准确定位高斯中心,我们通过在三维空间中进行平面扫描来建立成本体积表示,其中成本体积中存储的跨视图特征相似性可以为深度估计提供宝贵的几何线索。我们在只依靠光度监督的情况下,同时学习高斯原始图的透明度、协方差和球面谐波系数。通过广泛的实验评估,我们展示了成本体积表示在学习前馈高斯分割模型中的重要性。在大规模的 RealEstate10K 和 ACID 基准测试中,我们的模型以最快的前馈推断速度(22 帧 / 秒)实现了最先进的性能。与最新的最先进方法 pixelSplat 相比,我们的模型使用的参数数量少了 10 倍,推断速度更快了两倍,同时还提供更高的外观和几何质量以及更好的跨数据集泛化能力。
Mar, 2024
我们提出了一种新的稠密同时定位与建图(SLAM)方法,该方法使用高斯斑点作为场景表示。该新的表示方法能够实时重建和真实渲染真实世界和合成场景,并通过提出新的策略来扩展高斯斑点的应用,使其从多视角离线场景扩展到顺序单色 RGBD 输入数据的设置。此外,我们还将高斯斑点扩展到编码几何并通过跟踪在此场景表示上进行实验。我们的方法在真实世界和合成数据集上实现了最先进的渲染质量,同时在重建性能和运行时间方面具有竞争力。
Dec, 2023
提出了一种名为 Superpoint Gaussian Splatting(SP-GS)的新框架,该框架通过使用显式的 3D 高斯函数来重构场景,并将具有相似属性的高斯函数聚类成超点,从而实现了对动态场景的实时渲染,获得了最新的视觉质量。
Jun, 2024
利用特征喷溅(FeatSplat)将三维高斯场的颜色信息编码到每个高斯特征向量中,进而通过小型 MLP 解码融合的特征向量以生成 RGB 像素值,且通过叠加相机嵌入来条件解码以包含视角信息。实验证明,该方法显著提高了对训练视图之外远离的低重叠视图的新视图合成,并展示了特征向量表示的能力不仅可以生成新视图的 RGB 值,还可以生成每个像素的语义标签。
May, 2024
使用一组高斯椭球来模拟场景,从而实现高效渲染,3D 高斯喷涂表示法具有快速渲染、动态重建、几何编辑和物理模拟等优点。本文通过对最近的 3D 高斯喷涂方法进行文献综述,提供了一个 3D 高斯喷涂方法的分类,包括 3D 重建、3D 编辑和其他功能应用,以及传统的基于点的渲染方法和 3D 高斯喷涂的渲染公式,旨在帮助初学者快速了解这一领域并为经验丰富的研究者提供全面的概述,以推动 3D 高斯喷涂表示法的未来发展。
Mar, 2024
从 2D 图像中重建动态 3D 场景并随时间生成多样视角是一项具有挑战性的任务,本研究提出一种基于优化一组 4D 基元的方法,以近似表示动态场景的底层时空 4D 体积,通过特定的渲染程序,制造各种时间的新视角,该方法简单灵活,适用于捕捉复杂动态场景运动,实验结果在多个基准数据集上证明了其优秀的视觉质量和高效性。
Oct, 2023