May, 2021

移动 SLAM: 弹性场景中全无监督深度学习

PDF
TL;DR该研究提出了一种基于深度学习的方法来将视频分解为三维几何（摄像机和深度）、运动物体和它们的运动，其中没有监督。通过最小化合成图像和对应真实图像之间的误差，可以完全无监督地训练预测姿态和深度的深度网络，同时在图像的小区域内预测不同的姿态，实现 6D 物体运动的丰富模型，实现了在 KITTI 上无监督里程计和深度预测的非常有竞争力的性能，同时在 EPIC-Kitchens 上实现了自动恢复深度、里程、对象分割或运动的新能力。
deep networks3d geometryunsupervised learningobject motionpose estimation
发现论文，激发创造
  • 视频中深度和自运动的无监督学习

    本文提出了一种无监督学习框架，通过使用视图合成作为监督信号，同时训练深度和相机位姿估计网络以完成从非结构化视频序列中的单目深度和相机运动估计的任务。经验评估表明，我们的方法具备与基于监督方法使用地面真值位姿或深度进行训练的方法相当的单目深度估计能力，并且在相似的输入设置下，姿态估计表现良好。

    Apr, 2017

  • 视频中的自监督物体运动和深度估计

    本文提出了一种自监督学习框架，从视频中估算单个对象的运动和单眼深度，并将对象运动建模为六个自由度刚体变换；此外，该方法还使用实例分割掩码引入对象信息，并通过引入新的几何约束损失项消除运动预测的尺度歧义，实验结果表明，该框架在不需要外部注释的情况下处理数据并能够捕捉对象的运动，与自监督研究方法相比，在 3D 场景流预测方面有更好的表现，对动态区域的视差预测也有所贡献。

    Dec, 2019

  • 每个像素都很重要：利用整体三维运动理解进行无监督几何学习

    本文通过在未标记视频上观看，利用深度卷积神经网络来学习单张图像的三维几何估计，通过将像素水平的三维物体运动加入到学习框架中，提供了整体的三维场景流理解并有助于单张图像的几何估计。

    Jun, 2018

  • 低维物体运动多目标发现

    本文提出一种基于像素几何和物体运动模型的运动预测方法，通过将图像分为运动一致的区域并利用深度构建最佳匹配的流场基础来减少从单个图像重建流场的不确定性，并在场景结构和物体运动建模方面取得了最新的结果，同时对预测深度图的评估显示出可靠的单眼深度估计性能。

    Jul, 2023

  • DO3D: 自监督学习单目视频的分解目标感知 3D 运动和深度

    提出了一种自监督方法，可以从单目视频中联合学习 3D 运动和深度。通过利用深度和运动网络相互协作来准确建模现实场景的几何和动态，进而改进了深度估计和 3D 动作估计的性能。

    Mar, 2024

  • 自然场景视频中的深度估计：来自未知相机的无监督单目深度学习

    本研究提出了一种新的方法，使用相邻视频帧的一致性作为监督信号，同时从单目视频中学习深度预测、自运动、目标运动和相机内参数，并且首次实现对相机内参进行无监督学习，从而能够在任意未知来源的视频中提取准确的深度和运动信息。此方法在 Cityscapes、KITTI 和 EuRoC 数据集上验证了正确性，并取得了新的最佳性能。

    Apr, 2019

  • 强健性遇上深度学习：一种端到端的混合流水线用于无监督学习自我运动

    本文提出一种方法，将深度学习光流和单目视差的预测与基于模型的优化过程相结合，用于瞬时相机姿态估计，并在 KITTI 数据集上展示了最新的结果

    Dec, 2018

  • 单目视频中的无监督尺度一致深度与自运动估计

    本文介绍了一种基于几何一致性损失和自发现遮罩的深度估计和自我运动估计模型，模型能够处理运动物体和目标的遮挡问题并保证不同样本间的比例一致性。从实验结果来看，我们提出的深度估计模型在 KITTI 数据集上性能最好，并且我们提出的自动驾驶路线规划模型相对于之前的模型在预测全局一致的相机轨迹上有着很大的优势。

    Aug, 2019

  • 机器人定位与建图终稿 —— 用于自监督式深度视觉测距的顺序对抗学习

    使用深度神经网络进行图像生成任务以提取高级特征，进而估计视觉里程碑的深度和位姿，同时利用光流和循环神经网络以及生成对抗网络改进深度和位姿的估计精度。

    Sep, 2023

  • 挑战性环境下的无监督视频深度学习

    提出了基于光流的新训练范式，它通过提供更清晰的训练目标和处理非纹理区域来降低无监督学习的难度，并处理室内环境中的挑战，实验结果与全监督方法相当。

    Oct, 2019