基于点云神经辐射场的视觉定位
本研究提出使用神经辐射场(NeRF)作为视觉定位的场景表示,通过利用 NeRF 的内部特征建立精确的 2D-3D 匹配来提升定位性能。通过研究 NeRF 的隐式知识和探索不同的匹配网络架构、提取多层的编码器特征以及多种训练配置,引入了 NeRFMatch 作为高级的 2D-3D 匹配函数,并在 Cambridge Landmarks 等标准定位基准上取得了业界领先的定位性能。
Mar, 2024
本文提出了一种新颖的基于 3D 场景描述符和转换器与 2D 图像进行直接匹配的视觉重新定位方法,NeRF 作为 3D 场景表示,在统一特征匹配和场景坐标回归的同时,本模型在两个训练阶段学习可推广的知识和场景先验知识。此外,为了提高本模型在训练和测试间的鲁棒性,本文提出了一个外观适应层来明确地对齐 3D 模型和查询图像。实验证明,本方法在多个基准测试上实现了比其他基于学习的方法更高的定位精度。
Apr, 2023
本文提出将新视角合成应用于机器人重定位问题,通过 NeRF 类算法所渲染的额外合成数据集,从内部表示的三维场景几何形态中选择虚拟相机位置,进一步改进了姿态回归器的定位精度,结果大幅降低了 Cambridge 地标和 7 景数据集的误差,并将精度与基于结构的方法相媲美,无需架构修改或领域适应性约束,因为该方法允许几乎无限产生训练数据,我们调查了在公共基准数据集上进行训练所使用的数据大小和分布对相机姿态回归的限制,得出结论,姿态回归精度在很大程度上受到相对较小且有偏的数据集的限制,而非姿态回归模型解决本地化任务的能力。同时,采用合成的逼真且具有几何一致性的图像进行数据增强。
Oct, 2021
该论文介绍了一种新的基于神经网络点云的辐射场模型 ——Point-NeRF,它结合了 NeRF 和深度多视图立体成像两种方法的优点,可用于高质量的视图合成和快速的场景几何重建。Point-NeRF 可以通过射线行走的渲染管道有效地渲染神经点特征,相对于 NeRF 具有快速训练和处理 3D 重建错误和异常数据的优势。
Jan, 2022
该论文引入了一种基于神经辐射场(NeRFs)的新方法,用于生成逼真的多视角训练数据。通过 NeRFs 创建了多样化的室内和室外多视角数据集,并利用透视投影几何指导下的最先进的特征检测器和描述器进行训练。实验证明,该方法在相对位姿估计、点云配准和单应性估计等标准基准测试上达到了竞争性或更优的性能,并且相较于现有方法需要更少的训练数据。
Mar, 2024
提出了一种新型的泛化神经辐射场(NeRF)范式,通过基于点而非基于图像的渲染构建了可泛化的神经场,称之为可泛化神经点场(GPF)。该模型通过显式建模可见性并将其与神经特征相结合,提出了一种非均匀取样策略以提高渲染速度和重构质量,并利用特征增强的可学习内核在具有差异性几何结构的区域缓解形变。该研究表明,相比于其他方法和基准数据集,该模型在三个数据集上无论在泛化还是微调设置下,都能提供更好的几何形状、视角一致性和渲染质量,初步证明了该新范式在泛化 NeRF 中的潜力。
Jan, 2024
本文提出了 D-NeRF 方法,将神经辐射场扩展到动态领域,允许从单个相机围绕场景重建和渲染对象的新图像。通过将时间作为系统的额外输入,并将学习过程分为两个主要阶段,可以同时学习两个映射,实现控制相机视图和时间变量以及物体移动的目的。
Nov, 2020
本文提出了一种基于神经辐射场(NeRF)的两阶段流程,通过标准化具有不同光照和阴影条件的图像来改善相机重定位,并在基于哈希编码的 NeRF 上实现场景表示,进一步利用重新设计的截断动态低通滤波器(TDLF)和数值梯度平均技术来解决网格化 NeRF 中的噪声图像梯度计算问题,实验证明我们的方法在不同光照条件下的相机重定位取得了最先进的结果。
May, 2024
SfMNeRF 提出了一种基于神经辐射场的方法,结合自监督深度估计方法对样本进行重构,同时利用极线和光度一致性等约束构建 3D 场景几何图像,提高了神经辐射场的表现,实现了更好地合成新视角。
Apr, 2023
本文提出了一种使用神经辐射场(NeRF)生成训练样本的场景坐标回归(SCR)方法,并且通过设计 NeRF 来预测渲染数据的不确定性,在像素级别揭示数据的可靠性;将 SCR 公式化为带有认识不确定性的深度证据学习,用来评估信息获取与场景坐标质量;基于不确定性的三个方面,形成了一种新的视角选择策略,极大地提高了数据效率。实验结果表明,我们的方法能够选择带来最大信息增益的样本,并以最高效率提高性能。
Oct, 2023