使用三维几何约束从单 ocular 视频中无监督学习深度和自我运动
本文提出了一种无监督学习框架,通过使用视图合成作为监督信号,同时训练深度和相机位姿估计网络以完成从非结构化视频序列中的单目深度和相机运动估计的任务。经验评估表明,我们的方法具备与基于监督方法使用地面真值位姿或深度进行训练的方法相当的单目深度估计能力,并且在相似的输入设置下,姿态估计表现良好。
Apr, 2017
本文提出了一种新的基于单目视频多个掩模的无监督深度和自我运动学习方法,该方法通过几何关系过滤了不匹配的像素,提高了无监督学习的效率和准确性,并在 KITTI 数据集上表现良好。
Apr, 2021
本文介绍了一种基于几何一致性损失和自发现遮罩的深度估计和自我运动估计模型,模型能够处理运动物体和目标的遮挡问题并保证不同样本间的比例一致性。从实验结果来看,我们提出的深度估计模型在 KITTI 数据集上性能最好,并且我们提出的自动驾驶路线规划模型相对于之前的模型在预测全局一致的相机轨迹上有着很大的优势。
Aug, 2019
本研究提出了一种新的方法,使用相邻视频帧的一致性作为监督信号,同时从单目视频中学习深度预测、自运动、目标运动和相机内参数,并且首次实现对相机内参进行无监督学习,从而能够在任意未知来源的视频中提取准确的深度和运动信息。此方法在 Cityscapes、KITTI 和 EuRoC 数据集上验证了正确性,并取得了新的最佳性能。
Apr, 2019
我们提出了一种既利用结构又利用语义的方法,用于单目无监督学习深度和自我运动,模拟单个物体的运动并联合学习它们的三维运动矢量以及深度和自我运动,尤其适用于挑战性的动态场景,本文是 Casser 等人的扩展版本。
Jun, 2019
本文提出了一种自监督学习框架,从视频中估算单个对象的运动和单眼深度,并将对象运动建模为六个自由度刚体变换;此外,该方法还使用实例分割掩码引入对象信息,并通过引入新的几何约束损失项消除运动预测的尺度歧义,实验结果表明,该框架在不需要外部注释的情况下处理数据并能够捕捉对象的运动,与自监督研究方法相比,在 3D 场景流预测方面有更好的表现,对动态区域的视差预测也有所贡献。
Dec, 2019
本研究提出一种方法,利用单眼光度一致性为唯一的监督,联合训练深度、自我运动估计和物体相对于场景的稠密三维平移场的估计,通过已知 3D 平移场的稀疏性和对于刚性移动物体的恒定性进行正则化,有效提高了单眼深度预测模型的准确性。
Oct, 2020
我们提出了一种全面的联合训练框架,该框架在单目相机设置中明确建模多个动态对象、自我运动和深度而不需要监督,并且具有高效的深度和运动估算,并通过实验证明了其优于现有深度和运动估算方法。
Dec, 2019
本文提出了两个改进方法,以提高深度估计和 ego-motion 估计的性能:使用 Lie group 属性强制实现图像之间的几何一致性,实现了一种关注机制,以便在存在图像重建损坏的情况下关注感兴趣的图像区域。在 KITTI 数据集上的实验结果表明,我们的方法改进了 state-of-the-art 的性能。
Apr, 2020
本文提出了 GeoNet,这是一个基于联合无监督学习的框架,可用于从视频中估计单眼深度、光流和 Ego-motion。基于 3D 场景几何关系,由我们的框架以端到端的方式联合学习。实验结果表明,在 KITTI 驾驶数据集中,我们的方法在三个任务中均取得了最先进的成果,优于以前的无监督方法,并与受监督方法相当。
Mar, 2018