VRS-NeRF:稀疏神经辐射场的视觉重定位
本文提出了一种使用神经辐射场(NeRF)生成训练样本的场景坐标回归(SCR)方法,并且通过设计 NeRF 来预测渲染数据的不确定性,在像素级别揭示数据的可靠性;将 SCR 公式化为带有认识不确定性的深度证据学习,用来评估信息获取与场景坐标质量;基于不确定性的三个方面,形成了一种新的视角选择策略,极大地提高了数据效率。实验结果表明,我们的方法能够选择带来最大信息增益的样本,并以最高效率提高性能。
Oct, 2023
我们引入了一种新颖的单目视觉里程计(VO)系统 NeRF-VO,它整合了基于学习的稀疏视觉里程计用于低延迟相机跟踪和神经辐射场景表示用于复杂的密集重建和新视角合成。我们的系统使用稀疏视觉里程计初始化相机位姿,并从单目深度预测网络获取视角相关的密集几何先验。我们将位姿和密集几何的尺度统一起来,将它们视为监督信号来训练神经隐式场景表示。NeRF-VO 通过联合优化关键帧位姿和底层密集几何,在边缘项渲染的过程中训练辐射场,展现了出色的场景表示的光度和几何保真度,在各种合成和真实世界的数据集上超过了最先进的方法,在姿态估计准确性、新视角合成保真度和密集重建质量方面都取得了更好的性能,并且在相机跟踪频率更高和 GPU 内存消耗更少的情况下。
Dec, 2023
本文提出将新视角合成应用于机器人重定位问题,通过 NeRF 类算法所渲染的额外合成数据集,从内部表示的三维场景几何形态中选择虚拟相机位置,进一步改进了姿态回归器的定位精度,结果大幅降低了 Cambridge 地标和 7 景数据集的误差,并将精度与基于结构的方法相媲美,无需架构修改或领域适应性约束,因为该方法允许几乎无限产生训练数据,我们调查了在公共基准数据集上进行训练所使用的数据大小和分布对相机姿态回归的限制,得出结论,姿态回归精度在很大程度上受到相对较小且有偏的数据集的限制,而非姿态回归模型解决本地化任务的能力。同时,采用合成的逼真且具有几何一致性的图像进行数据增强。
Oct, 2021
本研究提出使用神经辐射场(NeRF)作为视觉定位的场景表示,通过利用 NeRF 的内部特征建立精确的 2D-3D 匹配来提升定位性能。通过研究 NeRF 的隐式知识和探索不同的匹配网络架构、提取多层的编码器特征以及多种训练配置,引入了 NeRFMatch 作为高级的 2D-3D 匹配函数,并在 Cambridge Landmarks 等标准定位基准上取得了业界领先的定位性能。
Mar, 2024
通过统一基于点的表示,本文提出了一种新颖的视觉定位框架 PNeRFLoc,结合传统的基于结构的方法和基于渲染的优化,利用神经辐射场(NeRF)模型与视觉定位的特征进行融合,以提高定位准确性和效率。在处理合成数据时表现出最佳性能,并在视觉定位基准数据集上与现有最先进方法持平。
Dec, 2023
本文提出了一种新颖的基于 3D 场景描述符和转换器与 2D 图像进行直接匹配的视觉重新定位方法,NeRF 作为 3D 场景表示,在统一特征匹配和场景坐标回归的同时,本模型在两个训练阶段学习可推广的知识和场景先验知识。此外,为了提高本模型在训练和测试间的鲁棒性,本文提出了一个外观适应层来明确地对齐 3D 模型和查询图像。实验证明,本方法在多个基准测试上实现了比其他基于学习的方法更高的定位精度。
Apr, 2023
本文提出了一种基于神经辐射场(NeRF)的两阶段流程,通过标准化具有不同光照和阴影条件的图像来改善相机重定位,并在基于哈希编码的 NeRF 上实现场景表示,进一步利用重新设计的截断动态低通滤波器(TDLF)和数值梯度平均技术来解决网格化 NeRF 中的噪声图像梯度计算问题,实验证明我们的方法在不同光照条件下的相机重定位取得了最先进的结果。
May, 2024
使用稀疏卫星观测视图的 SpS-NeRF 方法通过密集深度监督以及传统半全局 MVS 匹配提供的互相关相似度指标,有效地生成数字表面模型,并与 NeRF 和 Sat-NeRF 进行对比。
Sep, 2023
提出了一种利用运动感知结构(Structure from Motion,SfM)技术,通过利用神经辐射场(Neural Radiance Fields,NeRF)技术来提高视觉定位精度的新方法,并进行了与现有方法的存储和精度比较。
Oct, 2023
VMRF is an innovative NeRF that can effectively train without requiring prior knowledge in camera poses or camera pose distributions through its view matching scheme and feature transport plan.
Jul, 2022