自我集成高斯散点用于少量视图合成
我们提出了一种称为MVSplat的高效前馈3D高斯分割模型,通过稀疏多视图图像进行学习。为了准确定位高斯中心,我们通过在三维空间中进行平面扫描来建立成本体积表示,其中成本体积中存储的跨视图特征相似性可以为深度估计提供宝贵的几何线索。我们在只依靠光度监督的情况下,同时学习高斯原始图的透明度、协方差和球面谐波系数。通过广泛的实验评估,我们展示了成本体积表示在学习前馈高斯分割模型中的重要性。在大规模的RealEstate10K和ACID基准测试中,我们的模型以最快的前馈推断速度(22帧/秒)实现了最先进的性能。与最新的最先进方法pixelSplat相比,我们的模型使用的参数数量少了10倍,推断速度更快了两倍,同时还提供更高的外观和几何质量以及更好的跨数据集泛化能力。
Mar, 2024
图像基于的三维重建是一项具有挑战性的任务,涉及从一组输入图像中推断出对象或场景的三维形状。基于学习的方法因其直接估计三维形状的能力而受到关注。本综述论文着重介绍了三维重建的最新技术,包括生成新颖未见视角的方法。论文提供了对高斯激波方法的最新发展的概述,包括输入类型、模型结构、输出表示和训练策略。未解决的挑战和未来的研究方向也得到了讨论。鉴于该领域的快速进展以及增强三维重建方法的众多机会,对算法进行全面的研究至关重要。因此,本研究全面概述了高斯激波最新进展。
May, 2024
3D高斯光斑是一种用于3D视图合成的新方法,其相较于传统的神经渲染技术,能在保持更高清晰度的快速渲染速度的同时,获得隐式神经学习渲染结果。通过多种实验测试不同因素对3D高斯光斑模型的训练效率的影响,介绍了一种基于I3DS的合成模型性能改进评估解决方案。经过合理的微调后,I3DS相较于之前的模型性能获得了显著提升。
May, 2024
我们提出了DoGaussian方法,该方法通过将场景分解为K个块并在3DGS的训练过程中引入交替方向乘子方法(ADMM),在主节点上维护一个全局3DGS模型和K个从节点上的本地3DGS模型,从而加快了在大规模场景中的3DGS训练速度6倍以上,并同时实现了最先进的渲染质量。
May, 2024
本研究针对稀疏视图三维场景重建问题,通过利用大规模视觉模型的先验信息来提升重建质量。提出了一种名为LM-Gaussian的新方法,结合立体先验和扩散基的优化过程,实现了在少量图像下的高质量重建,显著降低了数据获取需求,具有广泛的应用潜力。
Sep, 2024
本研究针对3D高斯绘制在新视图合成中对准确相机姿态依赖的限制进行了探讨。通过优化外部相机参数以最小化光度残差,提出了一种新的方法,使得在无需准确姿态信息的情况下快速重建3D场景。研究结果表明,该方法在真实场景中具有快速收敛和高精度,显著提升了新视图合成的效率与效果。
Oct, 2024
本研究解决了在稀疏输入图像情况下,高斯点云渲染模型过拟合的问题。我们提出了一种基于3D高斯的新颖视图合成方法,该方法通过多阶段训练和匹配一致性约束,能够在没有预训练深度估计或扩散模型的情况下,准确渲染未覆盖训练图像的视角。实验结果表明,我们的方法在少量新视图合成中展现了竞争力或优越的性能。
Nov, 2024
本研究解决了现有Novel视图合成方法在稀疏输入情况下效果显著下降的问题。提出了一种结构一致的高斯点云方法(SCGaussian),通过匹配先验学习三维一致的场景结构,优化了高斯原件的位置。实验结果表明,该方法在处理复杂大场景时具有卓越的性能和高效率。
Nov, 2024
本文解决了在稀疏输入图像下,高斯采样在新视图合成中的过拟合问题。提出了一种基于3D高斯的新视图合成方法,通过多阶段训练方案和匹配一致性约束,能够在不依赖于预训练深度估计或扩散模型的情况下,准确渲染训练图像未覆盖的视角。实验证明,该方法在少样本新视图合成中具有竞争力或优越的性能。
Nov, 2024
本研究解决了在动态环境中使用仅有的两张无先验姿态图像进行高斯拟合这一问题。通过提出物体层级的双视图束调整和基于SE(3)场驱动的高斯训练方法,研究展示了在合成和真实场景上的高保真新视角合成,显著提高了动态场景的时间一致性和对象运动建模能力,对现有静态和已知姿态方法形成了有力的挑战。
Dec, 2024