通用物体作为少量视角合成的姿态探针
该论文提出了一种新的非刚性动态场景重建和新视角合成方法——NR-NeRF,该方法能够使用一个便携式消费级相机拍摄到的动态场景的 RGB 图像创建高质量的时空几何和外观表示,并且可以生成复杂的渲染场景。
Dec, 2020
本文提出了一个框架,它将传统的基于关键点的相机姿态优化与可逆神经渲染机制相结合。我们提出的3D场景表示Nerfels在本地密集而全局稀疏。通过仅在检测到本地特征的位置建模场景,我们的框架通过神经渲染器中的可优化代码调节机制有效地概括了场景中的未见局部区域,同时保持了稀疏3D地图表示的低内存占用。该模型可与现有的最先进的手工制作和学习本地特征姿态估计器相结合,提高在ScanNet宽摄像机基线场景评估时的性能。
Jun, 2022
本文提出了一种名为LU-NeRF的方法,通过利用放松姿态配置的放松姿态配置来同时估计相机姿态和神经辐射场, 通过局部到全局的优化和姿态同步等步骤, 在一般的SE(3)姿态设置下,无需对姿态先验进行强制约束,相比先前无姿态配置进行的NeRF试验表现更佳,这也使得其为特征基于的SfM管道提供了互补的选择。
Jun, 2023
这项工作涉及从立体对生成无姿态新视角合成的任务,在3D视觉中是一个具有挑战性和开创性的任务。通过设计一个利用共享表示的架构,无缝集成2D对应匹配、相机姿态估计和NeRF渲染,促进这些任务的协同增强,我们在整个模型准确性上通过提议的训练策略进行端到端的培训。通过对两个现实世界数据集的多样化室内和室外场景进行广泛评估,我们证明我们的方法在特征视角变化和缺乏精确相机姿态的场景中实现了相当大的改进。
Dec, 2023
本文研究了神经渲染、相机位姿、Neural Radiance Fields、3D Gaussian Splatting以及新视角合成等主题,通过使用显式几何表示和输入视频流的连续性,实现了无需任何SfM预处理的新视角合成。该方法在大运动变化下显著改善了先前方法在视角合成和相机姿态估计方面的性能。
Dec, 2023
CT-NeRF是一种仅使用RGB图像而不需要姿态和深度信息的增量重建优化管道,通过本地-全局捆绑调整和重投影几何图像距离约束,实现对相机姿态和场景结构的恢复,能够处理具有复杂轨迹的场景,并在新视角合成和姿态估计准确度方面优于现有方法。
Apr, 2024
该研究提出了一种基于NeuS2物体表示的流水线,通过自动化程序学习Structure-from-Motion(SfM)和物体无关分割,利用NeuS2的新视图合成和简单的剪切-粘贴增强生成真实感物体渲染,从而训练基于对应关系的SurfEmb姿态估计器。在多个数据集上进行评估,证明了该方法在无CAD模型和有限真实图像输入的情况下具有与基于CAD模型和PBR数据的方法竞争性能,且对轻微遮挡具有更好的准确性和鲁棒性。
Jul, 2024
本研究解决了使用少量未标定场景图像进行 NeRF 重建的问题,提出利用常见日常物体作为“姿态探针”的新方法。通过自动分割探针物体并采用双分支体积渲染优化,该方法在多个数据集上展现了卓越的姿态估计和新视图合成性能,特别在 COLMAP 努力不够的少视图和大基线场景中表现突出。
Aug, 2024