Dec, 2018

强健性遇上深度学习：一种端到端的混合流水线用于无监督学习自我运动

PDF
TL;DR本文提出一种方法，将深度学习光流和单目视差的预测与基于模型的优化过程相结合，用于瞬时相机姿态估计，并在 KITTI 数据集上展示了最新的结果
unsupervised deep learningoptical flowmonocular disparitymodel-based optimizationcamera pose
发现论文，激发创造
  • 使用双层优化进行光流和自我运动的联合无监督学习

    利用几何约束将光流和相机运动估计问题融合为一个双层优化问题，进一步优化了基于无监督深度学习框架的光流估计和相机运动估计的质量，相较于其他无监督学习方法，获得了更好的结果。

    Feb, 2020

  • UFD-PRiME: 通过像素级刚体运动估计进行光流和立体深度的无监督联合学习

    用联合训练的方式估计光流与视差，进而获取更精细的遮挡与物体边界，同时估计动态物体的刚体运动。

    Oct, 2023

  • 从单目视频中无监督学习深度、相机姿态和光流

    DFPNet 是一种联合学习系统，通过单眼图像序列估计单眼景深、光流和自身运动（相机姿态），使用单一的复合损失函数进行训练，并使用超参数调整来使模型的大小小于目前市场上同类模型的 5％以下。在 KITTI 和 Cityscapes 驾驶数据集上进行评估，结果表明我们的模型在所有三个任务上的表现都可以媲美目前市场上同类模型的表现，即使模型大小明显更小。

    May, 2022

  • 视频中深度和自运动的无监督学习

    本文提出了一种无监督学习框架，通过使用视图合成作为监督信号，同时训练深度和相机位姿估计网络以完成从非结构化视频序列中的单目深度和相机运动估计的任务。经验评估表明，我们的方法具备与基于监督方法使用地面真值位姿或深度进行训练的方法相当的单目深度估计能力，并且在相似的输入设置下，姿态估计表现良好。

    Apr, 2017

  • GeoNet: 密集深度、光流和相机位姿的无监督学习

    本文提出了 GeoNet，这是一个基于联合无监督学习的框架，可用于从视频中估计单眼深度、光流和 Ego-motion。基于 3D 场景几何关系，由我们的框架以端到端的方式联合学习。实验结果表明，在 KITTI 驾驶数据集中，我们的方法在三个任务中均取得了最先进的成果，优于以前的无监督方法，并与受监督方法相当。

    Mar, 2018

  • 光流、深度和自运动的无监督事件学习

    提出了一种基于事件相机的无监督学习框架，通过事件流中的运动信息来学习运动，该框架包含用于事件的输入表示、用于预测运动的神经网络、用于运动补偿的方法以及用于测量运动模糊的损失函数，并使用该框架训练了两个网络，一个用于预测光流，另一个用于预测自运动和深度。最后，使用 Multi Vehicle Stereo Event Camera 数据集进行了定量和定性结果的评估。

    Dec, 2018

  • 从稀疏事件数据无监督学习密集光流、深度和自运动

    本研究针对动态视觉传感器（DVS）输出的稀疏事件数据，提出了一种轻量级、无监督学习的深度、光流和自我运动估计的机器学习架构，称为 ECN。本研究是第一个仅使用上述稀疏事件数据产生密集深度和光流的单目管道，网络工作在自监督模式下，仅有 150k 个参数，通过实验证明本架构在低光照环境下也有优良性能。

    Sep, 2018

  • 非刚性残余流和自我运动的自监督学习

    提出了一种端到端场景流学习的替代方法，通过联合估计非刚性残留流和动态 3D 场景的自运动流来学习场景流，引入了自监督信号以增强模型训练，能够将场景流分解为非刚性流和自运动流并且在当前最先进的监督方法上取得了更好的表现。

    Sep, 2020

  • 单目视频中的无监督尺度一致深度与自运动估计

    本文介绍了一种基于几何一致性损失和自发现遮罩的深度估计和自我运动估计模型，模型能够处理运动物体和目标的遮挡问题并保证不同样本间的比例一致性。从实验结果来看，我们提出的深度估计模型在 KITTI 数据集上性能最好，并且我们提出的自动驾驶路线规划模型相对于之前的模型在预测全局一致的相机轨迹上有着很大的优势。

    Aug, 2019

  • 基于光流和伪深度图的密集单目运动分割：一种零样本方法

    我们提出了一种创新的混合方法，既利用深度学习方法又利用基于光流的传统方法来进行密集运动分割，而无需进行任何训练。

    Jun, 2024