捆绑调整神经辐射场的局部到全局配准
本文提出了 Bundle-Adjusting Neural Radiance Fields (BARF) 用于训练 NeRF 从不完美(甚至未知)相机姿态学习神经 3D 表示,并展示了其在视图合成和定位视频序列方面的应用。
Apr, 2021
本文提出了一种基于神经辐射场(NeRF)的两阶段流程,通过标准化具有不同光照和阴影条件的图像来改善相机重定位,并在基于哈希编码的 NeRF 上实现场景表示,进一步利用重新设计的截断动态低通滤波器(TDLF)和数值梯度平均技术来解决网格化 NeRF 中的噪声图像梯度计算问题,实验证明我们的方法在不同光照条件下的相机重定位取得了最先进的结果。
May, 2024
CT-NeRF 是一种仅使用 RGB 图像而不需要姿态和深度信息的增量重建优化管道,通过本地 - 全局捆绑调整和重投影几何图像距离约束,实现对相机姿态和场景结构的恢复,能够处理具有复杂轨迹的场景,并在新视角合成和姿态估计准确度方面优于现有方法。
Apr, 2024
本文提出了一种无监督的 RGB-D 注册的新型框架 NeRF-UR,通过使用神经辐射场(NeRF)作为场景的全局模型,并利用输入和 NeRF 重构帧之间的一致性进行姿态优化,从而显著提高了在多视角一致性差的场景中的鲁棒性,并为注册模型提供更好的学习信号。通过在合成数据集 Sim-RGBD 上训练注册模型,并在真实数据上进行无监督微调,使我们的框架能够将特征提取和注册的能力从模拟迁移到现实场景。我们的方法在室内 RGB-D 数据集 ScanNet 和 3DMatch 上优于最先进的对手。
May, 2024
本文提出将新视角合成应用于机器人重定位问题,通过 NeRF 类算法所渲染的额外合成数据集,从内部表示的三维场景几何形态中选择虚拟相机位置,进一步改进了姿态回归器的定位精度,结果大幅降低了 Cambridge 地标和 7 景数据集的误差,并将精度与基于结构的方法相媲美,无需架构修改或领域适应性约束,因为该方法允许几乎无限产生训练数据,我们调查了在公共基准数据集上进行训练所使用的数据大小和分布对相机姿态回归的限制,得出结论,姿态回归精度在很大程度上受到相对较小且有偏的数据集的限制,而非姿态回归模型解决本地化任务的能力。同时,采用合成的逼真且具有几何一致性的图像进行数据增强。
Oct, 2021
提出了 GNeRF 框架,将生成对抗网络(GAN)与神经辐射场(NeRF)重建结合起来,应用于复杂场景的视角合成。该框架通过两个阶段的端到端优化,解决了较少研究的未知相机姿态外部场景问题,并在多种场景中取得了优异的效果。
Mar, 2021
本文提出了一种名为 LU-NeRF 的方法,通过利用放松姿态配置的放松姿态配置来同时估计相机姿态和神经辐射场,通过局部到全局的优化和姿态同步等步骤, 在一般的 SE(3)姿态设置下,无需对姿态先验进行强制约束,相比先前无姿态配置进行的 NeRF 试验表现更佳,这也使得其为特征基于的 SfM 管道提供了互补的选择。
Jun, 2023
描述了一种基于神经辐射场的方法,通过优化连续的体形变场使移动设备拍摄的照片 / 视频重建变形场景,旨在生成高度逼真的渲染图像。实验表明,该方法可使用手机拍摄的自拍照片 / 视频转换成可变形的 NeRF 模型,并在任意视点产生高保真度的视图。
Nov, 2020