基于对应关系指导的无运动结构三维高斯点云生成用于新视图合成
提出了基于3D高斯喷砂的少样本视角合成方法,通过高效地合成视图实现实时和照片般逼真的视角合成,方法称为FSGS,通过设计精巧的高斯解卷积处理稀疏初始化的SfM点,通过分布新的高斯函数填补空白区域中的局部细节,在高斯优化过程中整合大规模预训练的单眼深度估计器,通过在线增强视图引导几何优化达到最优解,FSGS在包括LLFF、Mip-NeRF360和Blender在内的各种数据集上实现了最先进的性能,包括准确性和渲染效率。
Dec, 2023
本文研究了神经渲染、相机位姿、Neural Radiance Fields、3D Gaussian Splatting以及新视角合成等主题,通过使用显式几何表示和输入视频流的连续性,实现了无需任何SfM预处理的新视角合成。该方法在大运动变化下显著改善了先前方法在视角合成和相机姿态估计方面的性能。
Dec, 2023
通过将点云表示与端到端的稠密立体模型相结合,InstantSplat能够在不到1分钟的时间内从稀疏视图和无姿态图像中构建大规模场景的三维高斯平面,并显著提高 SSIM (32%)且同时降低绝对轨迹误差(ATE)80%。
Mar, 2024
通过利用3D高斯喷洒方法,我们开发了一种无需相机姿态的稀疏视图合成的新构建和优化方法,通过在构建过程中使用单目深度和将像素投影回3D世界来逐步构建解决方案,并通过检测训练视图与对应的渲染图像之间的2D对应关系,我们开发了一种统一可微的管道来完成相机注册和相机姿态与深度的调整,最后进行反投影。我们引入了高斯喷洒中预期表面的新概念,这对我们的优化至关重要。这些步骤使得我们能够获得一个粗糙的解决方案,然后可以使用标准优化方法进行低通滤波和细化。在Tanks和Temples以及Static Hikes数据集上,我们展示了仅使用三个广泛间隔的视图的结果,显示出明显优于竞争方法的质量,包括那些具有近似相机姿态信息的方法。此外,我们的结果在使用一半数据集时,随着视图数量的增加而改善,并且在使用InstantNGP和高斯喷洒算法时超过了先前的方法。
May, 2024
通过联合优化相机姿态和场景表示,提出了首个基于3DGS的无SfM手术场景重建方法,利用光流先验引导从3D高斯获得的投影流,并引入一致性检查来过滤异常值,实验结果表明性能优越且高效。
Jul, 2024
本研究提出了一种名为Splatt3R的方法,针对从非校准的立体图像对中进行3D重建与新视角合成的挑战,消除了对相机参数和深度信息的依赖。该方法通过优化3D点云几何损失并引入新视角合成目标,从而避免了训练3D高斯喷溅时的局部最小值问题,这一创新显著提高了在自然图像中的泛化能力和性能。研究表明,Splatt3R可以以512 x 512分辨率以4FPS的速度重建场景,并实现实时渲染。
Aug, 2024
本文提出了Splatt3R,一种无姿态、前馈的方法用于野外3D重建和新视角合成,解决了从未校准自然图像中直接预测3D高斯喷溅的问题。该方法在MASt3R的基础上进行扩展,能够同时处理3D结构和外观,相比传统方法,避免了训练3D高斯喷溅时的局部最小值。实验结果表明,Splatt3R在未校准图像上的泛化性能优异,且可实现实时渲染。
Aug, 2024
本研究解决了单目物体姿态估计中对准确2D-3D对应关系的依赖问题,传统方法常需昂贵的CAD模型。我们提出的SGPose框架通过随机立方体初始化和高斯方法进行稀疏视图下的物体姿态估计,成功消除了对CAD模型的需求。实验表明,SGPose在稀疏视图限制下超越了现有方法,展现出其在现实应用中的潜力。
Sep, 2024
本研究针对三维重建中的视图选择问题,以尽可能少的输入图像进行高斯点云重建。通过在频率域对潜在视图进行排名,我们提出了一种新方法,有效估计了新视点的信息增益,克服了现有方法在模型架构和效率上的限制,实现了视图选择的最新成果,展现了其在图像基础三维重建中的潜力。
Sep, 2024
本研究针对3D高斯绘制在新视图合成中对准确相机姿态依赖的限制进行了探讨。通过优化外部相机参数以最小化光度残差,提出了一种新的方法,使得在无需准确姿态信息的情况下快速重建3D场景。研究结果表明,该方法在真实场景中具有快速收敛和高精度,显著提升了新视图合成的效率与效果。
Oct, 2024