对选定的 NeRF 特征进行高效可扩展定位的查询图像匹配
本研究提出使用神经辐射场(NeRF)作为视觉定位的场景表示,通过利用 NeRF 的内部特征建立精确的 2D-3D 匹配来提升定位性能。通过研究 NeRF 的隐式知识和探索不同的匹配网络架构、提取多层的编码器特征以及多种训练配置,引入了 NeRFMatch 作为高级的 2D-3D 匹配函数,并在 Cambridge Landmarks 等标准定位基准上取得了业界领先的定位性能。
Mar, 2024
本文提出了一种新颖的基于 3D 场景描述符和转换器与 2D 图像进行直接匹配的视觉重新定位方法,NeRF 作为 3D 场景表示,在统一特征匹配和场景坐标回归的同时,本模型在两个训练阶段学习可推广的知识和场景先验知识。此外,为了提高本模型在训练和测试间的鲁棒性,本文提出了一个外观适应层来明确地对齐 3D 模型和查询图像。实验证明,本方法在多个基准测试上实现了比其他基于学习的方法更高的定位精度。
Apr, 2023
本文提出了一种名为 LU-NeRF 的方法,通过利用放松姿态配置的放松姿态配置来同时估计相机姿态和神经辐射场,通过局部到全局的优化和姿态同步等步骤, 在一般的 SE(3)姿态设置下,无需对姿态先验进行强制约束,相比先前无姿态配置进行的 NeRF 试验表现更佳,这也使得其为特征基于的 SfM 管道提供了互补的选择。
Jun, 2023
提出了一种利用运动感知结构(Structure from Motion,SfM)技术,通过利用神经辐射场(Neural Radiance Fields,NeRF)技术来提高视觉定位精度的新方法,并进行了与现有方法的存储和精度比较。
Oct, 2023
基于图像的姿态估计方法,结合 NeRF 技术实现了实时的机器人应用,通过建立 2D-3D 对应关系和改进的点挖掘策略提高了准确性,并且在代表性数据集上的实验结果表明,相比于现有方法,推断效率提高了 90 倍,能够以 6 帧每秒的速度进行实时预测。
Apr, 2024
通过统一基于点的表示,本文提出了一种新颖的视觉定位框架 PNeRFLoc,结合传统的基于结构的方法和基于渲染的优化,利用神经辐射场(NeRF)模型与视觉定位的特征进行融合,以提高定位准确性和效率。在处理合成数据时表现出最佳性能,并在视觉定位基准数据集上与现有最先进方法持平。
Dec, 2023
本文提出将新视角合成应用于机器人重定位问题,通过 NeRF 类算法所渲染的额外合成数据集,从内部表示的三维场景几何形态中选择虚拟相机位置,进一步改进了姿态回归器的定位精度,结果大幅降低了 Cambridge 地标和 7 景数据集的误差,并将精度与基于结构的方法相媲美,无需架构修改或领域适应性约束,因为该方法允许几乎无限产生训练数据,我们调查了在公共基准数据集上进行训练所使用的数据大小和分布对相机姿态回归的限制,得出结论,姿态回归精度在很大程度上受到相对较小且有偏的数据集的限制,而非姿态回归模型解决本地化任务的能力。同时,采用合成的逼真且具有几何一致性的图像进行数据增强。
Oct, 2021
该论文引入了一种基于神经辐射场(NeRFs)的新方法,用于生成逼真的多视角训练数据。通过 NeRFs 创建了多样化的室内和室外多视角数据集,并利用透视投影几何指导下的最先进的特征检测器和描述器进行训练。实验证明,该方法在相对位姿估计、点云配准和单应性估计等标准基准测试上达到了竞争性或更优的性能,并且相较于现有方法需要更少的训练数据。
Mar, 2024
我们提出了 Drone-NeRF 框架,通过使用神经辐射场(NeRF)来增强适用于无人机倾斜摄影的无界大规模场景的高效重建,将场景根据摄像机位置和深度可见性划分为均匀的子块,在 NeRF 的并行训练中训练子场景,然后合并为完整场景,通过优化相机姿态和引导 NeRF 使用均匀采样器来完善模型,集成选择的样本提高准确性,哈希编码融合 MLP 加速密度表示,生成 RGB 和深度输出,该框架解决了与场景复杂性、渲染效率和无人机获取图像准确性相关的挑战,展示了有前景的能力。
Aug, 2023
本篇论文介绍了一个结合蒙特卡罗定位 (Monte Carlo localization) 和神经辐射场模型 (Neural Radiance Fields) 的机器人实时视觉定位方法 ——Loc-NeRF,它不依赖于初始位姿估计,可以使用机器人上的 RGB 相机在预训练的 NeRF 模型地图上实现实时本地化,相比现有技术能够更快地完成本地化。我们通过 Clearpath Jackal UGV 的真实数据验证了该方法的有效性,并将代码公开在一个 https URL 上。
Sep, 2022