Mar, 2024

IFFNeRF：从单一图像和 NeRF 模型中的初始无需初始化且快速的 6DoF 姿态估计

PDF
TL;DR我们介绍了 IFFNeRF 以估计给定图像的六自由度（6DoF）相机姿态，基于神经辐射场（NeRF）的形成。IFFNeRF 专门设计用于实时操作，并消除了需要靠近所需解的初始姿态猜测的需求。IFFNeRF 利用 Metroplis-Hasting 算法从 NeRF 模型中采样表面点。通过对这些采样点投射射线并通过像素级视图合成来推断每个射线的颜色。然后，通过在查询图像和结果束之间选择对应关系来估计相机姿态作为最小二乘问题的解。我们通过学习的注意机制促进这个过程，将查询图像嵌入与参数化射线的嵌入进行匹配，从而与图像相关的射线相匹配。通过合成和实际评估环境，我们表明我们的方法相对于 iNeRF 可以提高 80.1％的角度和 67.3％的平移误差准确性，同时在消费硬件上以 34fps 运行并且不需要初始姿态猜测。
发现论文，激发创造
  • INeRF: 反演神经辐射场用于姿势估计

    iNeRF 是一种基于 “倒置” 神经辐射场（NeRF）的框架，它可以通过合成图像与观察图像像素之间的残差最小化来实现无网格姿态估计。实验表明，iNeRF 可以应用于复杂的真实场景中，还可以执行目录级别物体姿态估计。

    Dec, 2020

  • 无相机已知参数的神经辐射场（Neural Radiance Fields）--NeRF--

    本文提出 NeRF-- 用于学习相机内参和位姿，在各种相机运动情况下实现了准确的相机参数估计，并且在合成数据集 BLEFF 上实现了可比较的新视角渲染质量，为 2D 图像生成 3D 场景的任务提供了新思路。

    Feb, 2021

  • BID-NeRF：基于逆向神经辐射场的 RGB-D 图像姿态估计

    我们旨在改进反转神经辐射场（iNeRF）算法，将图像姿态估计问题定义为基于 NeRF 的迭代线性优化。通过扩展具有基于深度的损失函数的本地化优化目标，引入基于多图像的损失函数，省略层次化采样以提高收敛速度并扩展收敛基。

    Oct, 2023

  • DroNeRF：多智能体实时无人机姿态优化计算神经辐射场

    本文介绍了一种新型的优化算法 DroNeRF，用于通过少量图像实现单目相机无人机在物体周围自主定位，实现实时三维重建。文章使用 Neural Radiance Fields 或 NeRF，以只依赖于物体几何学而不使用任何外部定位系统的方式计算单个无人机的最佳姿态，并评估了生成的新视图的质量，表现出更好的感知度。

    Mar, 2023

  • 基于隐式姿态正则化的无姿态神经辐射场

    IR-NeRF 通过引入隐式姿态正则化来改善对真实图像的姿态估计鲁棒性，实现了卓越的新视角合成，并在多个合成和真实数据集上持续优于现有技术。

    Aug, 2023

  • UP-NeRF: 无限制姿态先验的神经辐射场

    使用 UP-NeRF（无约束姿势先验的神经辐射场）优化 NeRF 以处理无约束图像集合和瞬态遮挡，通过优化颜色不敏感特征场和独立模块来处理瞬态遮挡，实现更鲁棒的姿势估计及深度监督。在具有挑战性的互联网照片集合（Phototourism 数据集）中，我们的方法相比基准方法如 BARF 及其变体表现出优越性能。

    Nov, 2023

  • 基于比较性神经辐射场（NeRF）的 HoloLens 轨迹和运动结构摄像机姿态三维分析

    利用 Neural Radiance Fields (NeRFs) 训练高分辨率 3D 重建，包括使用 HoloLens 数据提取内部摄像机姿态和通过结构光运动提取外部摄像机姿态，两者均通过姿态优化得到改善；结果表明，相较于传统的 Multi-View Stereo 密集重构方法，在完整性和细节层面上，NeRF 重建表现更好。

    Apr, 2023

  • IL-NeRF：具备相机姿态对齐的神经光辐射场的增量学习

    IL-NeRF 是一种用于增量训练 NeRF 的新框架，通过选择过去的摄像机姿态作为参考点，初始化和对齐传入图像数据的摄像机姿态，然后进行联合优化摄像机姿态和基于回放的 NeRF 知识蒸馏，实现了更高的渲染质量。

    Dec, 2023

  • CT-NeRF：复杂轨迹下的逐步优化神经辐射场与姿态

    CT-NeRF 是一种仅使用 RGB 图像而不需要姿态和深度信息的增量重建优化管道，通过本地 - 全局捆绑调整和重投影几何图像距离约束，实现对相机姿态和场景结构的恢复，能够处理具有复杂轨迹的场景，并在新视角合成和姿态估计准确度方面优于现有方法。

    Apr, 2024

  • 将 NeRF 与特征匹配相结合的一步姿态估计

    基于图像的姿态估计方法，结合 NeRF 技术实现了实时的机器人应用，通过建立 2D-3D 对应关系和改进的点挖掘策略提高了准确性，并且在代表性数据集上的实验结果表明，相比于现有方法，推断效率提高了 90 倍，能够以 6 帧每秒的速度进行实时预测。

    Apr, 2024