LocoNeRF:一种基于 NeRF 的局部运动结构方法用于精确定位
本篇论文介绍了一个结合蒙特卡罗定位 (Monte Carlo localization) 和神经辐射场模型 (Neural Radiance Fields) 的机器人实时视觉定位方法 ——Loc-NeRF,它不依赖于初始位姿估计,可以使用机器人上的 RGB 相机在预训练的 NeRF 模型地图上实现实时本地化,相比现有技术能够更快地完成本地化。我们通过 Clearpath Jackal UGV 的真实数据验证了该方法的有效性,并将代码公开在一个 https URL 上。
Sep, 2022
本文提出将新视角合成应用于机器人重定位问题,通过 NeRF 类算法所渲染的额外合成数据集,从内部表示的三维场景几何形态中选择虚拟相机位置,进一步改进了姿态回归器的定位精度,结果大幅降低了 Cambridge 地标和 7 景数据集的误差,并将精度与基于结构的方法相媲美,无需架构修改或领域适应性约束,因为该方法允许几乎无限产生训练数据,我们调查了在公共基准数据集上进行训练所使用的数据大小和分布对相机姿态回归的限制,得出结论,姿态回归精度在很大程度上受到相对较小且有偏的数据集的限制,而非姿态回归模型解决本地化任务的能力。同时,采用合成的逼真且具有几何一致性的图像进行数据增强。
Oct, 2021
本文提出了一种名为 LU-NeRF 的方法,通过利用放松姿态配置的放松姿态配置来同时估计相机姿态和神经辐射场,通过局部到全局的优化和姿态同步等步骤, 在一般的 SE(3)姿态设置下,无需对姿态先验进行强制约束,相比先前无姿态配置进行的 NeRF 试验表现更佳,这也使得其为特征基于的 SfM 管道提供了互补的选择。
Jun, 2023
本研究提出了一种基于神经场的大规模重建系统,它利用激光雷达和视觉数据生成几何精确且具有照片级真实纹理的高质量重建,同时使用激光雷达 SLAM 系统提供深度和表面法线的强几何约束来改进传统的神经辐射场表示方法。
Mar, 2024
本研究提出使用神经辐射场(NeRF)作为视觉定位的场景表示,通过利用 NeRF 的内部特征建立精确的 2D-3D 匹配来提升定位性能。通过研究 NeRF 的隐式知识和探索不同的匹配网络架构、提取多层的编码器特征以及多种训练配置,引入了 NeRFMatch 作为高级的 2D-3D 匹配函数,并在 Cambridge Landmarks 等标准定位基准上取得了业界领先的定位性能。
Mar, 2024
本研究评估了 Neural Radiance Fields 在工业机器人应用中的潜力,并提出了一种替代 Structure from Motion 预处理的方法,通过基于机器人运动学的度量尺度确定了精确的相机姿态,表明在具有挑战性的场景中具有明显优势,并展示了在缺乏真实数据的情况下,应用集成方法估计合成新视图的质量的初步结果。
May, 2024
通过统一基于点的表示,本文提出了一种新颖的视觉定位框架 PNeRFLoc,结合传统的基于结构的方法和基于渲染的优化,利用神经辐射场(NeRF)模型与视觉定位的特征进行融合,以提高定位准确性和效率。在处理合成数据时表现出最佳性能,并在视觉定位基准数据集上与现有最先进方法持平。
Dec, 2023
利用 Neural Radiance Fields (NeRFs) 训练高分辨率 3D 重建,包括使用 HoloLens 数据提取内部摄像机姿态和通过结构光运动提取外部摄像机姿态,两者均通过姿态优化得到改善;结果表明,相较于传统的 Multi-View Stereo 密集重构方法,在完整性和细节层面上,NeRF 重建表现更好。
Apr, 2023
本文提出了一种新颖的基于 3D 场景描述符和转换器与 2D 图像进行直接匹配的视觉重新定位方法,NeRF 作为 3D 场景表示,在统一特征匹配和场景坐标回归的同时,本模型在两个训练阶段学习可推广的知识和场景先验知识。此外,为了提高本模型在训练和测试间的鲁棒性,本文提出了一个外观适应层来明确地对齐 3D 模型和查询图像。实验证明,本方法在多个基准测试上实现了比其他基于学习的方法更高的定位精度。
Apr, 2023
VRS-NeRF 是一种用于视觉重定位的高效准确的框架,通过稀疏神经辐射场的显式几何地图和隐式学习映射来提高精度和效率,实验证明,该方法在准确性上优于 APRs 和 SCRs,与 HMs 接近且更为高效。
Apr, 2024