自监督尺度恢复用于单目深度和自运动估计
本文介绍了一种基于几何一致性损失和自发现遮罩的深度估计和自我运动估计模型,模型能够处理运动物体和目标的遮挡问题并保证不同样本间的比例一致性。从实验结果来看,我们提出的深度估计模型在 KITTI 数据集上性能最好,并且我们提出的自动驾驶路线规划模型相对于之前的模型在预测全局一致的相机轨迹上有着很大的优势。
Aug, 2019
本文提出了一种无监督学习框架,通过使用视图合成作为监督信号,同时训练深度和相机位姿估计网络以完成从非结构化视频序列中的单目深度和相机运动估计的任务。经验评估表明,我们的方法具备与基于监督方法使用地面真值位姿或深度进行训练的方法相当的单目深度估计能力,并且在相似的输入设置下,姿态估计表现良好。
Apr, 2017
提出了一种新颖的无监督学习深度和自我运动的方法,它主要基于对场景的推断 3D 几何形状进行对齐,并与基于光度学营养和有效性掩模的 2D 损失相结合,最终得出在 KITTI 数据集上的优越结果。
Feb, 2018
通过使用广义时空上下文、姿势一致性约束和精心设计的光度损失掩蔽,我们将自监督单目深度和自我运动估计扩展到大基线多摄像机装置,从而学习生成密集、一致且具有尺度感的点云,这种点云与典型的 LiDAR 扫描仪具有相同的完整全景 360 度视场,并且我们提出了一种新的尺度一致评估指标更适用于多摄像头设置。
Mar, 2021
本文提出了一种单目深度估计器 SC-Depth,它只需要使用未标记的视频进行训练,并能在推理时实现尺度一致的预测。我们的贡献包括:(i) 我们提出了一种几何一致性损失,惩罚相邻视角之间预测深度的不一致性;(ii) 我们提出了自动定位违反基本静态场景假设并在训练过程中引起噪声信号的移动对象的自我发现掩码;(iii) 我们通过详细的消融研究证明了每个组件的功效,并展示了在 KITTI 和 NYUv2 数据集中高质量的深度估计结果。此外,由于具有尺度一致性预测的能力,我们展示了我们训练的单目深层网络可以轻松地集成到 ORB-SLAM2 系统中以实现更强大和准确的跟踪。提出的混合 Pseudo-RGBD SLAM 在 KITTI 中具有很强的性能,并且在没有额外训练的情况下很好地推广到 KAIST 数据集。最后,我们提供了几个演示以进行定性评估。
May, 2021
本文提出了一种新的基于 IMU 的深度感知与姿态估计方法 DynaDepth,可以通过整合视觉和运动信息,解决单目序列尺度模糊问题,并且通过 EKF 实现更好的泛化能力和鲁棒性。该模型在 KITTI 和 Make3D 数据集上表现出色。
Jul, 2022
本文提出了两个改进方法,以提高深度估计和 ego-motion 估计的性能:使用 Lie group 属性强制实现图像之间的几何一致性,实现了一种关注机制,以便在存在图像重建损坏的情况下关注感兴趣的图像区域。在 KITTI 数据集上的实验结果表明,我们的方法改进了 state-of-the-art 的性能。
Apr, 2020
建立了一种自监督深度和相机自运动估计系统,能够预测准确的深度图、相机姿态和相机内部参数,并通过基于成本体积的监督方式提高了估计的准确性。
Aug, 2023