UnDeepVO: 无监督深度学习单目视觉里程计
本文提出了一种新的、基于深度循环卷积神经网络(RCNNs)的单目 VO 的端到端框架,通过该框架,可以直接从一系列原始 RGB 图像(视频)中推断出姿态,同时具备学习有效特征表示、深度循环神经网络中的序列动力学和关系的功能,实验验证了该技术具备与传统 VO 系统相当的竞争力。
Sep, 2017
本文探讨单图像的深度预测问题。通过直观运动估计技术的启发式方法,可以进行无监督的深度卷积神经网络学习,同时结合了一种新的深度归一化策略,实验结果显示优于现有的监督方法。
Dec, 2017
本文提出一种基于无监督深度学习框架 UnDEMoN,用于直接从单目图像中确定密集深度图和 6 自由度相机姿态信息的方法。我们通过引入一个新的目标函数,同时最小化空间和时间重建损失,使用双线性采样核定义这些损失,并使用 Charbonnier 惩罚函数进行惩罚,提高了深度和自我运动估计的性能。我们的方法不需要进行粗到细的策略,提高了估计的准确性,并与现有的有监督和无监督方法在 KITTI 驾驶数据集上进行了性能比较。
Aug, 2018
本文提出了一种基于生成对抗网络的无监督学习框架,从未标记的RGB图像序列中预测场景的6自由度姿态相机运动和单目深度图,并在KITTI和Cityscapes数据集上给出了详细的定量和定性评估,结果表明该方法优于现有传统和无监督深度VO方法,提供更好的姿态估计和深度恢复结果。
Sep, 2018
本文提出一种基于无监督学习的单目视觉里程计系统,结合图优化和回路检测,利用神经网络构建一个包含多视图6DoF约束的窗口位姿图,并提出了一种姿态周期一致性损失来改善性能和鲁棒性,进而构建全局位姿图进行优化,实验结果表明该方法具有良好的性能和精度。
Mar, 2019
本文提出了一种单目视觉里程计算法,它结合了基于几何方法和深度学习的思想,并利用两个卷积神经网络进行深度估计和光流估计。在KITTI数据集上的实验表明,该算法具有较强的鲁棒性和良好的性能。
Sep, 2019
提出一个新的单目视觉里程计框架D3VO,它利用三个层次的深度网络——深度、姿态和不确定性估计,并使用自监督单目深度估计网络训练了预测亮度变换参数,提高了深度估计精度和提供了学习到的光度残差加权函数,进而实现前端跟踪和后端非线性优化。在KITTI里程测量基准和EuRoC MAV数据集上测试表明,D3VO在单目视觉里程计方面的表现优于传统方法和其他最先进的VO方法,同时仅使用一个相机就可以实现与最先进的立体/ LiDAR里程测量和最先进的视觉惯性里程测量相媲美的结果。
Mar, 2020
利用基于自注意力机制的TSformer-VO模型,将单目视觉里程计作为视频理解任务,从视频片段中提取特征并通过端到端的方式估计摄像机的6-DoF位姿,取得了与基于几何和深度学习的方法相比具有竞争力的业内领先表现。
May, 2023
我们引入了一种新颖的单目视觉里程计(VO)系统NeRF-VO,它整合了基于学习的稀疏视觉里程计用于低延迟相机跟踪和神经辐射场景表示用于复杂的密集重建和新视角合成。我们的系统使用稀疏视觉里程计初始化相机位姿,并从单目深度预测网络获取视角相关的密集几何先验。我们将位姿和密集几何的尺度统一起来,将它们视为监督信号来训练神经隐式场景表示。NeRF-VO通过联合优化关键帧位姿和底层密集几何,在边缘项渲染的过程中训练辐射场,展现了出色的场景表示的光度和几何保真度,在各种合成和真实世界的数据集上超过了最先进的方法,在姿态估计准确性、新视角合成保真度和密集重建质量方面都取得了更好的性能,并且在相机跟踪频率更高和GPU内存消耗更少的情况下。
Dec, 2023