CVPRDec, 2019

视频中的自监督物体运动和深度估计

PDF
TL;DR本文提出了一种自监督学习框架，从视频中估算单个对象的运动和单眼深度，并将对象运动建模为六个自由度刚体变换；此外，该方法还使用实例分割掩码引入对象信息，并通过引入新的几何约束损失项消除运动预测的尺度歧义，实验结果表明，该框架在不需要外部注释的情况下处理数据并能够捕捉对象的运动，与自监督研究方法相比，在 3D 场景流预测方面有更好的表现，对动态区域的视差预测也有所贡献。
发现论文，激发创造
  • 视频中深度和自运动的无监督学习

    本文提出了一种无监督学习框架，通过使用视图合成作为监督信号，同时训练深度和相机位姿估计网络以完成从非结构化视频序列中的单目深度和相机运动估计的任务。经验评估表明，我们的方法具备与基于监督方法使用地面真值位姿或深度进行训练的方法相当的单目深度估计能力，并且在相似的输入设置下，姿态估计表现良好。

    Apr, 2017

  • 单目视频的逐帧深度与运动学习

    我们提出了一种全面的联合训练框架，该框架在单目相机设置中明确建模多个动态对象、自我运动和深度而不需要监督，并且具有高效的深度和运动估算，并通过实验证明了其优于现有深度和运动估算方法。

    Dec, 2019

  • 关注和对比学习的联合深度和运动场估计

    通过一种自监督学习框架，提出一种基于动态关注模块的两阶段投影管道，以明确解耦相机自我运动和物体运动，并提出了一种基于对比采样一致性的物体运动场估计方法，该方法在自监督单目深度估计、物体运动分割、单目场景流估计和视觉里程表任务上均优于现有的最先进算法。

    Oct, 2021

  • 基于隐式线索的深度估计自监督联合学习框架

    本研究提出了一种利用单目和立体相机视频中的连续帧进行深度估计的自监督联合学习框架，其中使用了隐式深度线索提取器来利用动态和静态线索产生有用的深度建议，并通过引入高维注意力模块来提取清晰的全局变换。实验证明，所提出的框架在 KITTI 和 Make3D 数据集上优于现有技术。

    Jun, 2020

  • 单目视频下自监督式人体深度估计

    该研究论文提出了一个自监督学习的方法，用于估计细节丰富的人体深度，并通过照片一致性损失以及 SMPL 模型和 3D 非刚性运动来解决非刚性运动问题，无需真实数据，更容易应用于实际数据集中，最终实验表明其性能表现优异。

    May, 2020

  • 单目视频中的无监督尺度一致深度与自运动估计

    本文介绍了一种基于几何一致性损失和自发现遮罩的深度估计和自我运动估计模型，模型能够处理运动物体和目标的遮挡问题并保证不同样本间的比例一致性。从实验结果来看，我们提出的深度估计模型在 KITTI 数据集上性能最好，并且我们提出的自动驾驶路线规划模型相对于之前的模型在预测全局一致的相机轨迹上有着很大的优势。

    Aug, 2019

  • 使用三维几何约束从单 ocular 视频中无监督学习深度和自我运动

    提出了一种新颖的无监督学习深度和自我运动的方法，它主要基于对场景的推断 3D 几何形状进行对齐，并与基于光度学营养和有效性掩模的 2D 损失相结合，最终得出在 KITTI 数据集上的优越结果。

    Feb, 2018

  • 从相机运动和视频对象分割学习物体深度

    本论文致力于解决如何从摄像机测量的数据中，使用视频目标分割技术学习估计物体深度的问题，为此我们首先引入了一个多样化的，可扩展的数据集，其次设计了一种新颖的深度学习网络，该网络仅使用分割掩模和不合格的摄像机运动即可估计物体深度，我们的方法可以通过机器人和车载摄像头，在不同领域进行定位目标和避开障碍物的实验。

    Jul, 2020

  • 使用多层蒙版进行单目深度和自我运动的无监督学习

    本文提出了一种新的基于单目视频多个掩模的无监督深度和自我运动学习方法，该方法通过几何关系过滤了不匹配的像素，提高了无监督学习的效率和准确性，并在 KITTI 数据集上表现良好。

    Apr, 2021

  • 动态场景下的无监督单目深度学习

    本研究提出一种方法，利用单眼光度一致性为唯一的监督，联合训练深度、自我运动估计和物体相对于场景的稠密三维平移场的估计，通过已知 3D 平移场的稀疏性和对于刚性移动物体的恒定性进行正则化，有效提高了单眼深度预测模型的准确性。

    Oct, 2020