Oct, 2021

LENS: 借助 NeRF 合成增强的本地化

PDF
TL;DR本文提出将新视角合成应用于机器人重定位问题，通过 NeRF 类算法所渲染的额外合成数据集，从内部表示的三维场景几何形态中选择虚拟相机位置，进一步改进了姿态回归器的定位精度，结果大幅降低了 Cambridge 地标和 7 景数据集的误差，并将精度与基于结构的方法相媲美，无需架构修改或领域适应性约束，因为该方法允许几乎无限产生训练数据，我们调查了在公共基准数据集上进行训练所使用的数据大小和分布对相机姿态回归的限制，得出结论，姿态回归精度在很大程度上受到相对较小且有偏的数据集的限制，而非姿态回归模型解决本地化任务的能力。同时，采用合成的逼真且具有几何一致性的图像进行数据增强。
发现论文，激发创造
  • 基于神经辐射场的工业机器人应用中的新视角合成

    本研究评估了 Neural Radiance Fields 在工业机器人应用中的潜力，并提出了一种替代 Structure from Motion 预处理的方法，通过基于机器人运动学的度量尺度确定了精确的相机姿态，表明在具有挑战性的场景中具有明显优势，并展示了在缺乏真实数据的情况下，应用集成方法估计合成新视图的质量的初步结果。

    May, 2024

  • 完美匹配：探索 NeRF 特征进行视觉定位

    本研究提出使用神经辐射场（NeRF）作为视觉定位的场景表示，通过利用 NeRF 的内部特征建立精确的 2D-3D 匹配来提升定位性能。通过研究 NeRF 的隐式知识和探索不同的匹配网络架构、提取多层的编码器特征以及多种训练配置，引入了 NeRFMatch 作为高级的 2D-3D 匹配函数，并在 Cambridge Landmarks 等标准定位基准上取得了业界领先的定位性能。

    Mar, 2024

  • 通过同步局部未优化的 NeRF 获取场景和位姿估计

    本文提出了一种名为 LU-NeRF 的方法，通过利用放松姿态配置的放松姿态配置来同时估计相机姿态和神经辐射场，通过局部到全局的优化和姿态同步等步骤， 在一般的 SE（3）姿态设置下，无需对姿态先验进行强制约束，相比先前无姿态配置进行的 NeRF 试验表现更佳，这也使得其为特征基于的 SfM 管道提供了互补的选择。

    Jun, 2023

  • 无阴影神经光辐射场中的相机重新定位

    本文提出了一种基于神经辐射场（NeRF）的两阶段流程，通过标准化具有不同光照和阴影条件的图像来改善相机重定位，并在基于哈希编码的 NeRF 上实现场景表示，进一步利用重新设计的截断动态低通滤波器（TDLF）和数值梯度平均技术来解决网格化 NeRF 中的噪声图像梯度计算问题，实验证明我们的方法在不同光照条件下的相机重定位取得了最先进的结果。

    May, 2024

  • 通过渐进相机布置提升 NeRF 在复杂环境中的质量

    优化 NeRF 模型时，良好的数据样本和有效的相机位置选择对于最终重建的可视化质量至关重要。本研究提出了一种算法，能够以最少的假设来提供改善可视化质量的新相机位置，并在各方面优于基线和类似方法。

    Aug, 2023

  • 基于点云神经辐射场的视觉定位

    通过统一基于点的表示，本文提出了一种新颖的视觉定位框架 PNeRFLoc，结合传统的基于结构的方法和基于渲染的优化，利用神经辐射场（NeRF）模型与视觉定位的特征进行融合，以提高定位准确性和效率。在处理合成数据时表现出最佳性能，并在视觉定位基准数据集上与现有最先进方法持平。

    Dec, 2023

  • 基于隐式姿态正则化的无姿态神经辐射场

    IR-NeRF 通过引入隐式姿态正则化来改善对真实图像的姿态估计鲁棒性，实现了卓越的新视角合成，并在多个合成和真实数据集上持续优于现有技术。

    Aug, 2023

  • 基于比较性神经辐射场（NeRF）的 HoloLens 轨迹和运动结构摄像机姿态三维分析

    利用 Neural Radiance Fields (NeRFs) 训练高分辨率 3D 重建，包括使用 HoloLens 数据提取内部摄像机姿态和通过结构光运动提取外部摄像机姿态，两者均通过姿态优化得到改善；结果表明，相较于传统的 Multi-View Stereo 密集重构方法，在完整性和细节层面上，NeRF 重建表现更好。

    Apr, 2023

  • CT-NeRF：复杂轨迹下的逐步优化神经辐射场与姿态

    CT-NeRF 是一种仅使用 RGB 图像而不需要姿态和深度信息的增量重建优化管道，通过本地 - 全局捆绑调整和重投影几何图像距离约束，实现对相机姿态和场景结构的恢复，能够处理具有复杂轨迹的场景，并在新视角合成和姿态估计准确度方面优于现有方法。

    Apr, 2024

  • IL-NeRF：具备相机姿态对齐的神经光辐射场的增量学习

    IL-NeRF 是一种用于增量训练 NeRF 的新框架，通过选择过去的摄像机姿态作为参考点，初始化和对齐传入图像数据的摄像机姿态，然后进行联合优化摄像机姿态和基于回放的 NeRF 知识蒸馏，实现了更高的渲染质量。

    Dec, 2023