SCIPaD:将空间线索融入无监督姿态深度联合学习
自监督单眼深度估计 (SPIdepth) 是一种在自动驾驶和机器人领域应用广泛的方法,通过加强姿势网络提升深度估计的能力,在捕捉细粒度场景结构方面取得了显著进展,通过在 KITTI 和 Cityscapes 等基准数据集上的实验证明了该方法的卓越性能,超越了现有方法。尤其值得注意的是,SPIdepth 的性能超越了无监督模型,并且在度量数据的微调后超过了现有方法,仅通过一张图像进行推断,超越了利用视频序列进行推断的方法,充分展示了该方法在实际应用中的有效性和效率。本研究对于自监督单眼深度估计具有重要的意义,强调了加强姿势信息在推进实际应用中的场景理解方面的重要性。
Apr, 2024
本研究提出了一种利用单目和立体相机视频中的连续帧进行深度估计的自监督联合学习框架,其中使用了隐式深度线索提取器来利用动态和静态线索产生有用的深度建议,并通过引入高维注意力模块来提取清晰的全局变换。实验证明,所提出的框架在 KITTI 和 Make3D 数据集上优于现有技术。
Jun, 2020
本文提出了一种单目深度估计器 SC-Depth,它只需要使用未标记的视频进行训练,并能在推理时实现尺度一致的预测。我们的贡献包括:(i) 我们提出了一种几何一致性损失,惩罚相邻视角之间预测深度的不一致性;(ii) 我们提出了自动定位违反基本静态场景假设并在训练过程中引起噪声信号的移动对象的自我发现掩码;(iii) 我们通过详细的消融研究证明了每个组件的功效,并展示了在 KITTI 和 NYUv2 数据集中高质量的深度估计结果。此外,由于具有尺度一致性预测的能力,我们展示了我们训练的单目深层网络可以轻松地集成到 ORB-SLAM2 系统中以实现更强大和准确的跟踪。提出的混合 Pseudo-RGBD SLAM 在 KITTI 中具有很强的性能,并且在没有额外训练的情况下很好地推广到 KAIST 数据集。最后,我们提供了几个演示以进行定性评估。
May, 2021
我们提出了一种在不同光照条件下进行深度估计的方法,该方法通过多传感器融合的方式解决了低照度区域光度学信息不足的问题。我们的方法利用丰富的合成数据首先近似了三维场景结构,并通过学习从稀疏到(粗糙的)密集深度图的映射及其预测不确定性来引导深度的精修,从而提高了稀疏深度处理的效果。我们在 nuScenes 数据集上展示了该方法在不同场景中的改进表现。
May, 2024
本文介绍了一种通过自监督学习获得单目序列深度和姿态的方法,该方法不需要基础数据的支持,增加了更强的几何量和时间图像序列内部一致性的约束条件,能够显著提高单目图像序列深度和相对姿态估计的性能。
Sep, 2019
通过解决自监督联合深度姿态学习中的比例不一致问题,我们提出了一种新颖的系统,利用了三角化模块来恢复比例到三维结构,并使用变换后的深度图对深度误差进行计算和复制 Projection Check 。
Apr, 2020
本研究提出一种方法,利用单眼光度一致性为唯一的监督,联合训练深度、自我运动估计和物体相对于场景的稠密三维平移场的估计,通过已知 3D 平移场的稀疏性和对于刚性移动物体的恒定性进行正则化,有效提高了单眼深度预测模型的准确性。
Oct, 2020
通过一种自监督学习框架,提出一种基于动态关注模块的两阶段投影管道,以明确解耦相机自我运动和物体运动,并提出了一种基于对比采样一致性的物体运动场估计方法,该方法在自监督单目深度估计、物体运动分割、单目场景流估计和视觉里程表任务上均优于现有的最先进算法。
Oct, 2021
该研究提出了 SegICP,一种用于实现物体识别和位姿估计的新型解决方案,它采用卷积神经网络和多假设点云注册相结合的方法,实现了强大的像素级语义分割和准确的实时六自由度姿势估计,快速提高了机器人系统的感知速度和稳健性。
Mar, 2017
本文提出了一种用于估计一致密集深度图和相机姿态的算法,该算法基于学习的深度先验和几何优化相结合,不需要输入相机姿态,并能够在包括噪声、抖动、运动模糊和卷帘快门失真等多种挑战性条件下实现稳健的重建。
Dec, 2020