Dec, 2023

NeRF-VO：基于神经辐射场的实时稀疏视觉里程计

PDF
TL;DR我们引入了一种新颖的单目视觉里程计（VO）系统 NeRF-VO，它整合了基于学习的稀疏视觉里程计用于低延迟相机跟踪和神经辐射场景表示用于复杂的密集重建和新视角合成。我们的系统使用稀疏视觉里程计初始化相机位姿，并从单目深度预测网络获取视角相关的密集几何先验。我们将位姿和密集几何的尺度统一起来，将它们视为监督信号来训练神经隐式场景表示。NeRF-VO 通过联合优化关键帧位姿和底层密集几何，在边缘项渲染的过程中训练辐射场，展现了出色的场景表示的光度和几何保真度，在各种合成和真实世界的数据集上超过了最先进的方法，在姿态估计准确性、新视角合成保真度和密集重建质量方面都取得了更好的性能，并且在相机跟踪频率更高和 GPU 内存消耗更少的情况下。
发现论文，激发创造
  • NeRF-SLAM：神经辐射场实时稠密单目 SLAM

    提出了一种新的基于几何和光学的三维地图制图方法，利用稠密单目 SLAM 和实时分层体积神经辐射场技术，通过提供估计准确的位姿和深度图的相关不确定性，实时适应神经辐射场的场景。通过采用提出的基于不确定性的深度损失，实现了良好光学和几何精度，在实时和单目成像的情况下比竞争方法更精确 (最高提高 179% 的 PSNR 和 86% 的 L1 深度)。

    Oct, 2022

  • 神经辐射世界中的仅视觉机器人导航

    利用神经辐射场（Neural Radiance Fields）的连续体密度和 RGB 值的神经网络，以及基于射线追踪的方式生成真实照片，我们提出了一种利用机载 RGB 摄像头的算法，使机器人在 NeRF 表示的 3D 场景中导航，并通过一种优化算法避免与高密度区域的碰撞，并在线重新规划路径。

    Oct, 2021

  • SPARF: 稀疏且有噪声姿势的神经辐射场

    这篇论文提出了一种基于多视角几何约束、利用稀疏输入视角和深度一致性损失函数的方法: Sparse Pose Adjusting Radiance Field (SPARF)，以在仅有少数宽基线输入图像的情况下 (尽低至 3 张)，实现新视角合成，同时在多个具有挑战性的数据集上取得了新的最先进结果。

    Nov, 2022

  • 单目视频下动态场景的非刚性神经辐射场重建和新视角合成

    该论文提出了一种新的非刚性动态场景重建和新视角合成方法 ——NR-NeRF，该方法能够使用一个便携式消费级相机拍摄到的动态场景的 RGB 图像创建高质量的时空几何和外观表示，并且可以生成复杂的渲染场景。

    Dec, 2020

  • 利用神经辐射场进行未知空间物体姿态估计的接近操作

    通过使用神经辐射场（NeRF）方法和离散图像集合，本研究提出了一种新的方法来在未知目标中估计航天器的 6D 姿态，实现了在未知目标上应用已知目标 CAD 模型的现有航天器姿态估计器，从而实现了自主汇合与接近操作。

    May, 2024

  • 神经可形变体素网格用于快速优化动态视角合成

    本文提出了一种基于先进的体素网格优化的快速变形辐射场方法来处理动态场景，该方法包括两个模块，采用变形网格存储动态特征和密度和色彩网格来模拟场景几何和密度，并将遮挡进行显式建模以进一步提高渲染质量。实验结果表明，本方法在仅用 20 分钟的训练时间下，达到了与 D-NeRF 相当的性能，比 D-NeRF 快 70 倍以上，显示了该方法的高效性。

    Jun, 2022

  • VMRF: 视图匹配神经辐射场

    VMRF is an innovative NeRF that can effectively train without requiring prior knowledge in camera poses or camera pose distributions through its view matching scheme and feature transport plan.

    Jul, 2022

  • DroNeRF：多智能体实时无人机姿态优化计算神经辐射场

    本文介绍了一种新型的优化算法 DroNeRF，用于通过少量图像实现单目相机无人机在物体周围自主定位，实现实时三维重建。文章使用 Neural Radiance Fields 或 NeRF，以只依赖于物体几何学而不使用任何外部定位系统的方式计算单个无人机的最佳姿态，并评估了生成的新视图的质量，表现出更好的感知度。

    Mar, 2023

  • VRS-NeRF：稀疏神经辐射场的视觉重定位

    VRS-NeRF 是一种用于视觉重定位的高效准确的框架，通过稀疏神经辐射场的显式几何地图和隐式学习映射来提高精度和效率，实验证明，该方法在准确性上优于 APRs 和 SCRs，与 HMs 接近且更为高效。

    Apr, 2024

  • 从多视角几何学中学习神经辐射场

    MVG-NeRF 组合了传统的多视角几何算法和神经辐射场 (NeRF) 用于基于图像的三维重建。我们提出使用像素级深度和法线来引导 NeRF 优化，以提高所估计表面的质量。实验结果表明，该方法可以从图像中获取干净的三维网格，同时在新视角合成方面具有竞争力的表现。

    Oct, 2022