姿势约束用于一致的自监督单目深度和自我运动
本文介绍了一种基于几何一致性损失和自发现遮罩的深度估计和自我运动估计模型,模型能够处理运动物体和目标的遮挡问题并保证不同样本间的比例一致性。从实验结果来看,我们提出的深度估计模型在 KITTI 数据集上性能最好,并且我们提出的自动驾驶路线规划模型相对于之前的模型在预测全局一致的相机轨迹上有着很大的优势。
Aug, 2019
本文提出一种新的尺度恢复 loss 方法,通过强制实现已知摄像机高度和估计出的摄像机高度之间的一致性,以生成度量(缩放)深度和自运动预测。结果表明,我们提出的方法在网络重新训练方面具有其他尺度恢复技术无法实现的优势,并且我们的自运动网络能够比仅在测试时恢复尺度的类似方法产生更准确的估计结果。
Sep, 2020
本文介绍了一种通过自监督学习获得单目序列深度和姿态的方法,该方法不需要基础数据的支持,增加了更强的几何量和时间图像序列内部一致性的约束条件,能够显著提高单目图像序列深度和相对姿态估计的性能。
Sep, 2019
本文提出了一种单目深度估计器 SC-Depth,它只需要使用未标记的视频进行训练,并能在推理时实现尺度一致的预测。我们的贡献包括:(i) 我们提出了一种几何一致性损失,惩罚相邻视角之间预测深度的不一致性;(ii) 我们提出了自动定位违反基本静态场景假设并在训练过程中引起噪声信号的移动对象的自我发现掩码;(iii) 我们通过详细的消融研究证明了每个组件的功效,并展示了在 KITTI 和 NYUv2 数据集中高质量的深度估计结果。此外,由于具有尺度一致性预测的能力,我们展示了我们训练的单目深层网络可以轻松地集成到 ORB-SLAM2 系统中以实现更强大和准确的跟踪。提出的混合 Pseudo-RGBD SLAM 在 KITTI 中具有很强的性能,并且在没有额外训练的情况下很好地推广到 KAIST 数据集。最后,我们提供了几个演示以进行定性评估。
May, 2021
本研究针对相对姿态在视觉测距和同时定位与地图构建中的重要性,介绍了一种基于自我监督学习的方法,同时优化相对姿态和目标图像深度,并通过引入在自我监督框架中被极线几何约束的匹配损失来弥合几何损失和光度损失之间的差距。在 KITTI 数据集上基于自适应估计运动的实验结果证实了该方法的效果优于现有的无监督自我运动估计方法。
Feb, 2019
本文提出了一种新的基于 IMU 的深度感知与姿态估计方法 DynaDepth,可以通过整合视觉和运动信息,解决单目序列尺度模糊问题,并且通过 EKF 实现更好的泛化能力和鲁棒性。该模型在 KITTI 和 Make3D 数据集上表现出色。
Jul, 2022
通过使用广义时空上下文、姿势一致性约束和精心设计的光度损失掩蔽,我们将自监督单目深度和自我运动估计扩展到大基线多摄像机装置,从而学习生成密集、一致且具有尺度感的点云,这种点云与典型的 LiDAR 扫描仪具有相同的完整全景 360 度视场,并且我们提出了一种新的尺度一致评估指标更适用于多摄像头设置。
Mar, 2021
通过解决自监督联合深度姿态学习中的比例不一致问题,我们提出了一种新颖的系统,利用了三角化模块来恢复比例到三维结构,并使用变换后的深度图对深度误差进行计算和复制 Projection Check 。
Apr, 2020
本文提出了一种无监督学习框架,通过使用视图合成作为监督信号,同时训练深度和相机位姿估计网络以完成从非结构化视频序列中的单目深度和相机运动估计的任务。经验评估表明,我们的方法具备与基于监督方法使用地面真值位姿或深度进行训练的方法相当的单目深度估计能力,并且在相似的输入设置下,姿态估计表现良好。
Apr, 2017