LM-高斯:利用大型模型先验增强稀疏视图3D高斯绘制
我们提出了一种从稀疏训练视角中训练一致的基于3DGS的辐射场的方法,通过集成深度先验、生成和显式约束来减少背景折叠、移除浮点值,并增强来自未见视角的一致性,实验证明我们的方法在MipNeRF-360数据集上以较少的训练和推理成本超过了基本的3DGS的30.5%和基于NeRF的方法的15.6%。
Nov, 2023
通过应用渐进传播策略,并利用场景的先验知识和块匹配技术,我们提出了一种名为GaussianPro的新方法,来指导3D高斯聚类的密度化,验证实验证明了我们的方法在大规模和小规模场景上的有效性。
Feb, 2024
我们提出了一种称为MVSplat的高效前馈3D高斯分割模型,通过稀疏多视图图像进行学习。为了准确定位高斯中心,我们通过在三维空间中进行平面扫描来建立成本体积表示,其中成本体积中存储的跨视图特征相似性可以为深度估计提供宝贵的几何线索。我们在只依靠光度监督的情况下,同时学习高斯原始图的透明度、协方差和球面谐波系数。通过广泛的实验评估,我们展示了成本体积表示在学习前馈高斯分割模型中的重要性。在大规模的RealEstate10K和ACID基准测试中,我们的模型以最快的前馈推断速度(22帧/秒)实现了最先进的性能。与最新的最先进方法pixelSplat相比,我们的模型使用的参数数量少了10倍,推断速度更快了两倍,同时还提供更高的外观和几何质量以及更好的跨数据集泛化能力。
Mar, 2024
通过结构化的高斯表示和正则化优化,以及深度基于初始化来解决三维重建中稀疏输入图像的挑战,提高了与现有方法相比的重建质量。
Mar, 2024
图像基于的三维重建是一项具有挑战性的任务,涉及从一组输入图像中推断出对象或场景的三维形状。基于学习的方法因其直接估计三维形状的能力而受到关注。本综述论文着重介绍了三维重建的最新技术,包括生成新颖未见视角的方法。论文提供了对高斯激波方法的最新发展的概述,包括输入类型、模型结构、输出表示和训练策略。未解决的挑战和未来的研究方向也得到了讨论。鉴于该领域的快速进展以及增强三维重建方法的众多机会,对算法进行全面的研究至关重要。因此,本研究全面概述了高斯激波最新进展。
May, 2024
通过使用潜在扩散模型(LDM)的先验来解决360度3D场景的稀疏视图重建问题。我们展示了通过预训练的2D扩散模型经过精细调整可以大幅提高场景重建的方法SparseSplat360(Sp2360),该方法通过级联修补和伪影移除模型填补缺失的细节并清除新的视图。我们提出了一种迭代更新策略,将生成的伪新视图与拟合到初始稀疏输入的3D高斯模型进行融合,从而获得与观察输入一致且具有上下文的细节的多视图场景表示。在具有挑战性的Mip-NeRF360数据集上的评估结果表明,我们提出的2D到3D蒸馏算法显著改善了用于稀疏视图的正则化版本的3DGS的性能,并且在360度场景重建方面优于现有的稀疏视图重建方法。定性上,我们的方法可以从仅有9个输入视图生成具有前景和背景细节的完整360度场景。
May, 2024
本研究解决了稀疏视角三维重建中的信息不足和模型参数庞大的问题。采用自增强的粗到细高斯溅射策略,同时结合结构感知掩膜,显著提升了模型对稀疏输入和噪声的鲁棒性。实验结果表明,该方法在稀疏输入视图下在感知质量和效率上达到了最先进的性能。
Aug, 2024
本文针对稀视3D重建中的几项困难,提出了一种自增强的高斯喷溅方法,该方法结合结构感知掩模以提升稀视输入的表现。研究表明,新方法在感知质量和效率方面都达到了最先进的性能,尤其在处理稀少输入和噪声时表现出强大的鲁棒性。
Aug, 2024
本研究解决了从多视角图像数字化稀疏3D和4D场景重建时的性能瓶颈,尤其是在动态场景捕获需要大量摄像头的情况下。我们提出了一种优化策略,通过将斑点特征视作隐式神经场的输出,从而有效地正则化这些特征,显著提高了不同场景下的重建质量和一致性。该方法在静态和动态环境中均表现出色,为稀疏重建提供了有效解决方案。
Sep, 2024