基于频率的高斯点云重建中的视图选择
本文研究了神经渲染、相机位姿、Neural Radiance Fields、3D Gaussian Splatting以及新视角合成等主题,通过使用显式几何表示和输入视频流的连续性,实现了无需任何SfM预处理的新视角合成。该方法在大运动变化下显著改善了先前方法在视角合成和相机姿态估计方面的性能。
Dec, 2023
我们介绍了Splatter Image,这是一种超快的单目三维物体重建方法,运行速度达到每秒38帧。Splatter Image基于高斯颗粒化技术,该技术近期实现了实时渲染、快速训练和出色的多视角重建扩展性。我们首次将高斯颗粒化应用于单目重建领域。我们的方法基于学习,测试时只需要前馈评估一个神经网络即可完成重建。Splatter Image的主要创新之处在于其设计意外地简单:它使用一个二维图像到图像的网络将输入图像映射到每个像素点上的一个三维高斯。因此,所得到的高斯形式呈现为一张图像,即Splatter Image。我们进一步扩展了该方法,使用多个图像作为输入,并通过添加交叉视图注意力来实现。由于渲染器的速度(每秒588帧),我们可以在训练时只使用一个GPU,在每次迭代中生成整个图像,以优化LPIPS等感知度量标准。在标准基准测试中,我们不仅展示了快速重建,而且在PSNR、LPIPS和其他度量标准方面相比最近和更昂贵的基线方法取得了更好的结果。
Dec, 2023
使用3D高斯喷洒法重构动态场景,通过可调整的多层感知器(MLP)模型将场景的动态部分与静态部分分离,引入自适应窗口采样策略和自监督一致性损失来实现场景的时域一致性和高质量的可视化,达到了与竞争性能的动态场景高品质实时渲染。
Dec, 2023
图像基于的三维重建是一项具有挑战性的任务,涉及从一组输入图像中推断出对象或场景的三维形状。基于学习的方法因其直接估计三维形状的能力而受到关注。本综述论文着重介绍了三维重建的最新技术,包括生成新颖未见视角的方法。论文提供了对高斯激波方法的最新发展的概述,包括输入类型、模型结构、输出表示和训练策略。未解决的挑战和未来的研究方向也得到了讨论。鉴于该领域的快速进展以及增强三维重建方法的众多机会,对算法进行全面的研究至关重要。因此,本研究全面概述了高斯激波最新进展。
May, 2024
从单视图图像中学习3D场景表示是计算机视觉中长期存在的一个基本问题,具有从输入视图预测未见内容的固有模糊性。本文提出了一种分层Splatter图像方法,通过一种像素由一个父3D高斯和少量的子3D高斯来表示,解决了典型Splatter图像无法表示不能在输入视图中观察到的遮挡部分的问题。
May, 2024
本研究解决了稀疏视角三维重建中的信息不足和模型参数庞大的问题。采用自增强的粗到细高斯溅射策略,同时结合结构感知掩膜,显著提升了模型对稀疏输入和噪声的鲁棒性。实验结果表明,该方法在稀疏输入视图下在感知质量和效率上达到了最先进的性能。
Aug, 2024
本文针对稀视3D重建中的几项困难,提出了一种自增强的高斯喷溅方法,该方法结合结构感知掩模以提升稀视输入的表现。研究表明,新方法在感知质量和效率方面都达到了最先进的性能,尤其在处理稀少输入和噪声时表现出强大的鲁棒性。
Aug, 2024
本研究针对稀疏视图三维场景重建问题,通过利用大规模视觉模型的先验信息来提升重建质量。提出了一种名为LM-Gaussian的新方法,结合立体先验和扩散基的优化过程,实现了在少量图像下的高质量重建,显著降低了数据获取需求,具有广泛的应用潜力。
Sep, 2024
本研究解决了从多视角图像数字化稀疏3D和4D场景重建时的性能瓶颈,尤其是在动态场景捕获需要大量摄像头的情况下。我们提出了一种优化策略,通过将斑点特征视作隐式神经场的输出,从而有效地正则化这些特征,显著提高了不同场景下的重建质量和一致性。该方法在静态和动态环境中均表现出色,为稀疏重建提供了有效解决方案。
Sep, 2024
本研究针对3D高斯绘制在新视图合成中对准确相机姿态依赖的限制进行了探讨。通过优化外部相机参数以最小化光度残差,提出了一种新的方法,使得在无需准确姿态信息的情况下快速重建3D场景。研究结果表明,该方法在真实场景中具有快速收敛和高精度,显著提升了新视图合成的效率与效果。
Oct, 2024