Dec, 2023

NeRF-VO：基于神经辐射场的实时稀疏视觉里程计

HTML
PDF
TL;DR我们引入了一种新颖的单目视觉里程计（VO）系统NeRF-VO，它整合了基于学习的稀疏视觉里程计用于低延迟相机跟踪和神经辐射场景表示用于复杂的密集重建和新视角合成。我们的系统使用稀疏视觉里程计初始化相机位姿，并从单目深度预测网络获取视角相关的密集几何先验。我们将位姿和密集几何的尺度统一起来，将它们视为监督信号来训练神经隐式场景表示。NeRF-VO通过联合优化关键帧位姿和底层密集几何，在边缘项渲染的过程中训练辐射场，展现了出色的场景表示的光度和几何保真度，在各种合成和真实世界的数据集上超过了最先进的方法，在姿态估计准确性、新视角合成保真度和密集重建质量方面都取得了更好的性能，并且在相机跟踪频率更高和GPU内存消耗更少的情况下。
发现论文，激发创造
  • LS-VO：学习稠密光学子空间用于鲁棒地视觉里程计估计

    本文提出了一种新颖的深度网络结构来解决相机自我运动估计问题，并使用自编码器网络找到光流场的非线性表示，从而显著提高了估计性能。

    Sep, 2017

  • 自监督端到端视觉里程计的几何一致性

    该论文提出了一种利用几何结构作为自我监督信号的无监督深度视觉里程计学习范例，并表明这种方法与监督学习方法在性能上的竞争力相当。

    Apr, 2018

  • 无监督单目视觉里程计的位姿图优化

    本文提出一种基于无监督学习的单目视觉里程计系统，结合图优化和回路检测，利用神经网络构建一个包含多视图6DoF约束的窗口位姿图，并提出了一种姿态周期一致性损失来改善性能和鲁棒性，进而构建全局位姿图进行优化，实验结果表明该方法具有良好的性能和精度。

    Mar, 2019

  • 深度视觉里程计的选择性存储和姿态细化

    本研究提出了一种视觉里程计框架，采用三个组件：内存、优化和特征集中。在几个基准数据集上进行的实验证明，相比于现有的学习方法，该方法在纹理不佳和突发运动等复杂环境下具有更优异的性能。

    Apr, 2019

  • 视觉里程计再探：应该学习什么？

    本文提出了一种单目视觉里程计算法，它结合了基于几何方法和深度学习的思想，并利用两个卷积神经网络进行深度估计和光流估计。在KITTI数据集上的实验表明，该算法具有较强的鲁棒性和良好的性能。

    Sep, 2019

  • VMRF: 视图匹配神经辐射场

    VMRF is an innovative NeRF that can effectively train without requiring prior knowledge in camera poses or camera pose distributions through its view matching scheme and feature transport plan.

    Jul, 2022

  • NeRF-SLAM：神经辐射场实时稠密单目SLAM

    提出了一种新的基于几何和光学的三维地图制图方法，利用稠密单目SLAM和实时分层体积神经辐射场技术，通过提供估计准确的位姿和深度图的相关不确定性，实时适应神经辐射场的场景。通过采用提出的基于不确定性的深度损失，实现了良好光学和几何精度，在实时和单目成像的情况下比竞争方法更精确(最高提高179%的PSNR和86%的L1深度)。

    Oct, 2022

  • 端到端学习的基于事件和图像的视觉里程计

    RAMP-VO是第一个端到端学习的事件-图像式视觉里程计系统，它利用了新颖的RAMP编码器，比现有异步编码器快8倍，准确性高出20%；RAMP-VO还采用了一种新颖的姿态预测技术，用于初始化时预测未来的姿态。尽管仅在模拟环境中进行训练，RAMP-VO在传统的真实世界基准测试以及新引入的Apollo和Malapert着陆序列上分别比基于图像和事件的方法提高了52%和20%，为太空中的稳健异步视觉里程计铺平了道路。

    Sep, 2023

  • 带姿态监督的显著稀疏视觉里程计

    该论文提出了一种新的混合视觉里程计（VO）框架，利用仅姿态监督来平衡鲁棒性和对大量标注的需求，并采用自我监督的同态学习和随机基于补丁的显著点检测策略，提高系统在各种具有挑战性的环境中的泛化能力。该方法在标准数据集上具有竞争力的性能，并在极端和未知场景中表现出更高的鲁棒性和泛化能力，甚至超过基于密集光流监督的最先进方法。

    Apr, 2024

  • VRS-NeRF：稀疏神经辐射场的视觉重定位

    VRS-NeRF是一种用于视觉重定位的高效准确的框架，通过稀疏神经辐射场的显式几何地图和隐式学习映射来提高精度和效率，实验证明，该方法在准确性上优于APRs和SCRs，与HMs接近且更为高效。

    Apr, 2024