使用有条件的神经辐射场进行视觉定位的 NeRF-Loc
本研究提出使用神经辐射场(NeRF)作为视觉定位的场景表示,通过利用 NeRF 的内部特征建立精确的 2D-3D 匹配来提升定位性能。通过研究 NeRF 的隐式知识和探索不同的匹配网络架构、提取多层的编码器特征以及多种训练配置,引入了 NeRFMatch 作为高级的 2D-3D 匹配函数,并在 Cambridge Landmarks 等标准定位基准上取得了业界领先的定位性能。
Mar, 2024
通过统一基于点的表示,本文提出了一种新颖的视觉定位框架 PNeRFLoc,结合传统的基于结构的方法和基于渲染的优化,利用神经辐射场(NeRF)模型与视觉定位的特征进行融合,以提高定位准确性和效率。在处理合成数据时表现出最佳性能,并在视觉定位基准数据集上与现有最先进方法持平。
Dec, 2023
本文提出了一种基于神经辐射场(NeRF)的两阶段流程,通过标准化具有不同光照和阴影条件的图像来改善相机重定位,并在基于哈希编码的 NeRF 上实现场景表示,进一步利用重新设计的截断动态低通滤波器(TDLF)和数值梯度平均技术来解决网格化 NeRF 中的噪声图像梯度计算问题,实验证明我们的方法在不同光照条件下的相机重定位取得了最先进的结果。
May, 2024
本篇论文介绍了一个结合蒙特卡罗定位 (Monte Carlo localization) 和神经辐射场模型 (Neural Radiance Fields) 的机器人实时视觉定位方法 ——Loc-NeRF,它不依赖于初始位姿估计,可以使用机器人上的 RGB 相机在预训练的 NeRF 模型地图上实现实时本地化,相比现有技术能够更快地完成本地化。我们通过 Clearpath Jackal UGV 的真实数据验证了该方法的有效性,并将代码公开在一个 https URL 上。
Sep, 2022
本文提出了一种使用神经辐射场(NeRF)生成训练样本的场景坐标回归(SCR)方法,并且通过设计 NeRF 来预测渲染数据的不确定性,在像素级别揭示数据的可靠性;将 SCR 公式化为带有认识不确定性的深度证据学习,用来评估信息获取与场景坐标质量;基于不确定性的三个方面,形成了一种新的视角选择策略,极大地提高了数据效率。实验结果表明,我们的方法能够选择带来最大信息增益的样本,并以最高效率提高性能。
Oct, 2023
通过 NeRF 的方法来实现对于图像的 View Synthesis, 本文提到了 NeRF 的成功之处以及在应用于大规模无界三维场景中进行改进,使其在 360° 的拍摄模式下提高拍摄质量。
Oct, 2020
我们提出了一种基于局部风格转移的 NeRF 风格化框架,利用哈希网格编码来学习外观和几何组件的嵌入,并通过优化外观分支并保持几何分支固定来实现风格化,使用分割网络和二分图匹配来建立样式图像和内容图像之间的区域对应关系,实验证明我们的方法在新视角合成方面得到了合理的风格化结果,并通过操纵和自定义区域对应关系具有灵活的可控性。
Sep, 2023
VRS-NeRF 是一种用于视觉重定位的高效准确的框架,通过稀疏神经辐射场的显式几何地图和隐式学习映射来提高精度和效率,实验证明,该方法在准确性上优于 APRs 和 SCRs,与 HMs 接近且更为高效。
Apr, 2024
本文提出将新视角合成应用于机器人重定位问题,通过 NeRF 类算法所渲染的额外合成数据集,从内部表示的三维场景几何形态中选择虚拟相机位置,进一步改进了姿态回归器的定位精度,结果大幅降低了 Cambridge 地标和 7 景数据集的误差,并将精度与基于结构的方法相媲美,无需架构修改或领域适应性约束,因为该方法允许几乎无限产生训练数据,我们调查了在公共基准数据集上进行训练所使用的数据大小和分布对相机姿态回归的限制,得出结论,姿态回归精度在很大程度上受到相对较小且有偏的数据集的限制,而非姿态回归模型解决本地化任务的能力。同时,采用合成的逼真且具有几何一致性的图像进行数据增强。
Oct, 2021
本文提出了一种叫做 NeRF 综合的新任务,利用 NeRF 补丁范例的结构内容构建大尺寸的新辐射场,我们提出了一种两阶段的方法来综合新场景,控制场景的照明效果采用阴影指导而不是分离场景,我们表明了我们的方法可以生成高质量的结果,对曲面上的新场景进行综合,增强了我们所提出的 NeRF 综合方法的实用性。
Jun, 2023