将分布式 NeRF 与三阶段鲁棒姿态优化相结合
CT-NeRF 是一种仅使用 RGB 图像而不需要姿态和深度信息的增量重建优化管道,通过本地 - 全局捆绑调整和重投影几何图像距离约束,实现对相机姿态和场景结构的恢复,能够处理具有复杂轨迹的场景,并在新视角合成和姿态估计准确度方面优于现有方法。
Apr, 2024
本文提出了一种名为 LU-NeRF 的方法,通过利用放松姿态配置的放松姿态配置来同时估计相机姿态和神经辐射场,通过局部到全局的优化和姿态同步等步骤, 在一般的 SE(3)姿态设置下,无需对姿态先验进行强制约束,相比先前无姿态配置进行的 NeRF 试验表现更佳,这也使得其为特征基于的 SfM 管道提供了互补的选择。
Jun, 2023
本文提出了一种基于像素灵活对齐以及帧级约束参数对齐的局部到全局检测方法 L2G-NeRF,该方法能够成功解决通过细节学习的 3D 表示及相机对齐的约束因素对神经辐射场的应用所带来的巨大限制。
Nov, 2022
本研究提出了一种名为 mĩp-NeRF 360 的模型,通过应用非线性场景参数化、在线蒸馏和一种新的基于畸变的正则化器,克服了 3D 场景中存在的挑战,在高度复杂的未限定真实世界场景中减少了均方误差 57%,能够提供逼真的合成视图和详细的深度图。
Nov, 2021
通过联合优化辐射场和相机姿态,利用截断深度先验实现了从未知相机姿态训练 NeRF 的新方法 TD-NeRF,通过三个关键进展:1)提出基于截断正态分布的新型基于深度的射线采样策略,改善了姿态估计的收敛速度和准确性;2)引入了逐步改进深度精确度的粗到精的训练策略,以克服局部最小值和改善深度几何;3)提出了更强鲁棒的帧间点约束,在训练期间增强了对深度噪声的鲁棒性。在三个数据集上的实验结果表明,TD-NeRF 在相机姿态和 NeRF 的联合优化中取得了优越的性能,超过了先前的工作,并生成了更准确的深度几何。
May, 2024
基于 NeRF 的人体表演姿态依赖渲染的新方法,通过将辐射场围绕 SMPL 人体模型进行扭曲,实现了新的表面对齐表示,可以通过骨骼关节参数和视点来实现动画化,并通过引入新的重新映射过程来实现高质量渲染。
Nov, 2023
本文介绍了一种新型的优化算法 DroNeRF,用于通过少量图像实现单目相机无人机在物体周围自主定位,实现实时三维重建。文章使用 Neural Radiance Fields 或 NeRF,以只依赖于物体几何学而不使用任何外部定位系统的方式计算单个无人机的最佳姿态,并评估了生成的新视图的质量,表现出更好的感知度。
Mar, 2023
通过 NeRF 的方法来实现对于图像的 View Synthesis, 本文提到了 NeRF 的成功之处以及在应用于大规模无界三维场景中进行改进,使其在 360° 的拍摄模式下提高拍摄质量。
Oct, 2020
本文提出将新视角合成应用于机器人重定位问题,通过 NeRF 类算法所渲染的额外合成数据集,从内部表示的三维场景几何形态中选择虚拟相机位置,进一步改进了姿态回归器的定位精度,结果大幅降低了 Cambridge 地标和 7 景数据集的误差,并将精度与基于结构的方法相媲美,无需架构修改或领域适应性约束,因为该方法允许几乎无限产生训练数据,我们调查了在公共基准数据集上进行训练所使用的数据大小和分布对相机姿态回归的限制,得出结论,姿态回归精度在很大程度上受到相对较小且有偏的数据集的限制,而非姿态回归模型解决本地化任务的能力。同时,采用合成的逼真且具有几何一致性的图像进行数据增强。
Oct, 2021