结构感知掩模的自增强高斯喷溅稀视3D重建
从稀疏视图中重建和渲染3D物体是促进3D视觉技术应用和提高用户体验的关键。本文提出了GaussianObject框架,通过高斯散射达到高质量渲染,仅需4张输入图像,解决了构建多视角一致性和补充遗漏物体信息的困难,同时在多个数据集上显示出卓越的重建效果,超越现有方法。
Feb, 2024
我们提出了一种称为MVSplat的高效前馈3D高斯分割模型,通过稀疏多视图图像进行学习。为了准确定位高斯中心,我们通过在三维空间中进行平面扫描来建立成本体积表示,其中成本体积中存储的跨视图特征相似性可以为深度估计提供宝贵的几何线索。我们在只依靠光度监督的情况下,同时学习高斯原始图的透明度、协方差和球面谐波系数。通过广泛的实验评估,我们展示了成本体积表示在学习前馈高斯分割模型中的重要性。在大规模的RealEstate10K和ACID基准测试中,我们的模型以最快的前馈推断速度(22帧/秒)实现了最先进的性能。与最新的最先进方法pixelSplat相比,我们的模型使用的参数数量少了10倍,推断速度更快了两倍,同时还提供更高的外观和几何质量以及更好的跨数据集泛化能力。
Mar, 2024
通过结构化的高斯表示和正则化优化,以及深度基于初始化来解决三维重建中稀疏输入图像的挑战,提高了与现有方法相比的重建质量。
Mar, 2024
提出了一种能够隐式编码场景几何结构的结构感知高斯喷洒方法 (SAGS),通过基于本地-全局图表示促进复杂场景的学习并强制保持场景几何的有意义的点位移,与现有的 3D-GS 方法相比,在渲染质量和模型大小两方面都展现出卓越的性能,能够有效减轻之前方法的浮点和图像失真问题,并获得精确的深度图。
Apr, 2024
从单视图图像中学习3D场景表示是计算机视觉中长期存在的一个基本问题,具有从输入视图预测未见内容的固有模糊性。本文提出了一种分层Splatter图像方法,通过一种像素由一个父3D高斯和少量的子3D高斯来表示,解决了典型Splatter图像无法表示不能在输入视图中观察到的遮挡部分的问题。
May, 2024
本研究解决了稀疏视角三维重建中的信息不足和模型参数庞大的问题。采用自增强的粗到细高斯溅射策略,同时结合结构感知掩膜,显著提升了模型对稀疏输入和噪声的鲁棒性。实验结果表明,该方法在稀疏输入视图下在感知质量和效率上达到了最先进的性能。
Aug, 2024
本文提出了Splatt3R,一种无姿态、前馈的方法用于野外3D重建和新视角合成,解决了从未校准自然图像中直接预测3D高斯喷溅的问题。该方法在MASt3R的基础上进行扩展,能够同时处理3D结构和外观,相比传统方法,避免了训练3D高斯喷溅时的局部最小值。实验结果表明,Splatt3R在未校准图像上的泛化性能优异,且可实现实时渲染。
Aug, 2024
本研究针对稀疏视图三维场景重建问题,通过利用大规模视觉模型的先验信息来提升重建质量。提出了一种名为LM-Gaussian的新方法,结合立体先验和扩散基的优化过程,实现了在少量图像下的高质量重建,显著降低了数据获取需求,具有广泛的应用潜力。
Sep, 2024
本研究针对3D高斯喷溅(3DGS)在稀疏视点下表现不佳和高频伪影问题进行改进,提出了SVS-GS框架,结合3D高斯平滑滤波器以抑制伪影。通过引入深度梯度轮廓先验损失和动态深度掩膜,显著改善新视图合成中的几何一致性,实验结果验证了其在机器人和计算机视觉应用中的有效性。
Sep, 2024
本研究解决了从多视角图像数字化稀疏3D和4D场景重建时的性能瓶颈,尤其是在动态场景捕获需要大量摄像头的情况下。我们提出了一种优化策略,通过将斑点特征视作隐式神经场的输出,从而有效地正则化这些特征,显著提高了不同场景下的重建质量和一致性。该方法在静态和动态环境中均表现出色,为稀疏重建提供了有效解决方案。
Sep, 2024