Mar, 2024

完美匹配：探索 NeRF 特征进行视觉定位

PDF
TL;DR本研究提出使用神经辐射场（NeRF）作为视觉定位的场景表示，通过利用 NeRF 的内部特征建立精确的 2D-3D 匹配来提升定位性能。通过研究 NeRF 的隐式知识和探索不同的匹配网络架构、提取多层的编码器特征以及多种训练配置，引入了 NeRFMatch 作为高级的 2D-3D 匹配函数，并在 Cambridge Landmarks 等标准定位基准上取得了业界领先的定位性能。
neural radiance fieldsvisual localization2d-3d matchesnerfmatchlocalization performance
发现论文，激发创造
  • 使用有条件的神经辐射场进行视觉定位的 NeRF-Loc

    本文提出了一种新颖的基于 3D 场景描述符和转换器与 2D 图像进行直接匹配的视觉重新定位方法，NeRF 作为 3D 场景表示，在统一特征匹配和场景坐标回归的同时，本模型在两个训练阶段学习可推广的知识和场景先验知识。此外，为了提高本模型在训练和测试间的鲁棒性，本文提出了一个外观适应层来明确地对齐 3D 模型和查询图像。实验证明，本方法在多个基准测试上实现了比其他基于学习的方法更高的定位精度。

    Apr, 2023

  • 基于点云神经辐射场的视觉定位

    通过统一基于点的表示，本文提出了一种新颖的视觉定位框架 PNeRFLoc，结合传统的基于结构的方法和基于渲染的优化，利用神经辐射场（NeRF）模型与视觉定位的特征进行融合，以提高定位准确性和效率。在处理合成数据时表现出最佳性能，并在视觉定位基准数据集上与现有最先进方法持平。

    Dec, 2023

  • NeRF++：分析和改进神经辐射场

    通过 NeRF 的方法来实现对于图像的 View Synthesis, 本文提到了 NeRF 的成功之处以及在应用于大规模无界三维场景中进行改进，使其在 360° 的拍摄模式下提高拍摄质量。

    Oct, 2020

  • 神经辐射场（NeRFs）：综述与一些最近的发展

    Neural Radiance Field (NeRF) is a framework representing a 3D scene with MLP, achieving state-of-the-art photorealistic image renderings for view synthesis and expanding capabilities to generate views from dynamic scene representations with fewer images for training.

    Apr, 2023

  • 基于神经辐射场的视觉渲染方法综述

    近年来，神经辐射场（NeRF）在计算机视觉和图形领域取得了显着进展，为解决 3D 场景理解、新视角合成、人体重建、机器人等关键任务提供了强有力的技术支持。本文对过去两年内关于 NeRF 的研究文献进行了深入分析，在详细阐述 NeRF 核心架构的基础上，讨论了 NeRF 的各种改进策略，以及在不同应用场景中的案例研究，展示了其在不同领域的实际应用价值。同时，本文还详细介绍了 NeRF 模型训练所需的关键资源，最后提出了关于 NeRF 未来发展趋势和潜在挑战的前瞻性讨论，旨在为该领域的研究人员提供研究灵感，促进相关技术的进一步发展。

    Mar, 2024

  • Enhance-NeRF: 神经辐射场的多重性能评估

    该研究通过提出 Enhance-NeRF 模型，增强神经放射场（NeRF）在虚拟现实和增强现实等领域的三维重建应用，改进了场景识别和学习能力，有望广泛应用于照明、材质和形状的室外场景重建，具备插拔式的易用性，并能够与其他 NeRF-based 模型轻松集成。

    Jun, 2023

  • LENS: 借助 NeRF 合成增强的本地化

    本文提出将新视角合成应用于机器人重定位问题，通过 NeRF 类算法所渲染的额外合成数据集，从内部表示的三维场景几何形态中选择虚拟相机位置，进一步改进了姿态回归器的定位精度，结果大幅降低了 Cambridge 地标和 7 景数据集的误差，并将精度与基于结构的方法相媲美，无需架构修改或领域适应性约束，因为该方法允许几乎无限产生训练数据，我们调查了在公共基准数据集上进行训练所使用的数据大小和分布对相机姿态回归的限制，得出结论，姿态回归精度在很大程度上受到相对较小且有偏的数据集的限制，而非姿态回归模型解决本地化任务的能力。同时，采用合成的逼真且具有几何一致性的图像进行数据增强。

    Oct, 2021

  • 基于神经辐射场的不确定性感知视觉定位

    本文提出了一种使用神经辐射场（NeRF）生成训练样本的场景坐标回归（SCR）方法，并且通过设计 NeRF 来预测渲染数据的不确定性，在像素级别揭示数据的可靠性；将 SCR 公式化为带有认识不确定性的深度证据学习，用来评估信息获取与场景坐标质量；基于不确定性的三个方面，形成了一种新的视角选择策略，极大地提高了数据效率。实验结果表明，我们的方法能够选择带来最大信息增益的样本，并以最高效率提高性能。

    Oct, 2023

  • NeRF 融合：基于 NeRF 的大规模场景表示

    本文介绍了一种名为 NeRFuser 的架构，它可以在不需要访问大量用于生成它们的图像集的情况下，对 NeRF（神经辐射场）进行注册和混合。NeRFuser 使用 re-rendering 技术进行注册，提出了基于采样的反距离加权进行混合，经实验证明具有鲁棒性。

    May, 2023

  • 对选定的 NeRF 特征进行高效可扩展定位的查询图像匹配

    MatLoc-NeRF 是一种使用选定的 NeRF 特征的基于匹配的定位框架，以提高效率和准确度，通过采用可学习的特征选择机制来消除对所有 NeRF 特征或附加描述符的需求，并利用姿态感知场景分区策略和场景分割器提供快速的粗略初始姿态估计。与现有的基于 NeRF 的定位方法相比，MatLoc-NeRF 在公共大规模数据集上表现出了更高的效率和准确度。

    Jun, 2024