ECCVSep, 2018

DF-Net: 无监督联合学习深度和光流，使用交任务一致性

PDF
TL;DR这篇论文提出了一种利用几何一致性作为监督信号的无监督学习框架，可以同时训练单视角深度预测和光流估计模型，在训练过程中，所有网络均进行联合优化，在测试时可以单独应用，实验证明该方法与现有的无监督方法相比具有竞争优势。
unsupervised learningdepth predictionoptical flow estimationgeometric consistencycross-task consistency loss
发现论文，激发创造
  • 从单目视频中无监督学习深度、相机姿态和光流

    DFPNet 是一种联合学习系统，通过单眼图像序列估计单眼景深、光流和自身运动（相机姿态），使用单一的复合损失函数进行训练，并使用超参数调整来使模型的大小小于目前市场上同类模型的 5％以下。在 KITTI 和 Cityscapes 驾驶数据集上进行评估，结果表明我们的模型在所有三个任务上的表现都可以媲美目前市场上同类模型的表现，即使模型大小明显更小。

    May, 2022

  • 通过观看双目视频联合无监督学习光流和深度

    本文研究利用深度神经网络观看视频，通过利用立体视频中的几何规则共同解决深度和光流两个任务。实验证明，我们的结果明显优于其他现有算法。

    Oct, 2018

  • FG-Depth: 基于光流引导的无监督单目深度估计

    本文介绍了一种名为 FG-Depth 的简单而有效的框架，通过利用预训练的 Flow-Net 的先验知识来引导优化，从而打破了无监督单眼深度估计的瓶颈，提出了流蒸馏损失和基于先验流的掩模来提高模型性能以及消除噪声，实验结果表明，该方法在 KITTI 和 NYU-Depth-v2 数据集上均达到了最领先的效果。

    Jan, 2023

  • 动态物体的联合自监督深度和光流估计

    本研究提出了一种基于深度学习的深度估计方法，通过将光流信息与深度估计相结合，在预测不同运动情况下的深度时减小像素包裹误差和光学向量，利用自我监督深度估计方法对不同运动区域进行独立估计并组合为完整的深度，能够比 KITTI Depth 数据集上的现有深度估计器表现更好，同时在 KITTI Flow 2015 数据集上也达到了竞争性的光流性能。

    Sep, 2023

  • UFD-PRiME: 通过像素级刚体运动估计进行光流和立体深度的无监督联合学习

    用联合训练的方式估计光流与视差，进而获取更精细的遮挡与物体边界，同时估计动态物体的刚体运动。

    Oct, 2023

  • GeoNet: 密集深度、光流和相机位姿的无监督学习

    本文提出了 GeoNet，这是一个基于联合无监督学习的框架，可用于从视频中估计单眼深度、光流和 Ego-motion。基于 3D 场景几何关系，由我们的框架以端到端的方式联合学习。实验结果表明，在 KITTI 驾驶数据集中，我们的方法在三个任务中均取得了最先进的成果，优于以前的无监督方法，并与受监督方法相当。

    Mar, 2018

  • FlowDepth: 光流与自监督单目深度估计的解耦

    通过动态的运动流模块及深度感知模糊和成本体积稀疏损失，在自我监督多帧方法中解决了深度估计中的运动物体、光流和光度误差问题，并在实验中表现出超越其他方法的性能。

    Mar, 2024

  • DDFlow: 用未标注数据蒸馏学习光流

    DDFlow 是一种基于数据净化的方法，可从未标注的数据中学习光流估计。该方法使用可靠的预测来指导学生网络学习光流，并能够为被遮挡像素进行光流估计，从而实现了更高的准确性。在 Flying Chairs、MPI Sintel、KITTI 2012 和 2015 基准测试中，DDFlow 的性能显著优于所有现有的无监督学习方法，同时实现了实时运行。

    Feb, 2019

  • 基于 Flow-Motion 和深度网络的单目立体视觉及其应用

    本研究提出了一种基于学习的单眼立体视觉方法，可扩展到多个目标帧的深度信息融合，具有优秀的精度和效率。

    Sep, 2019

  • 无监督深度极线流算法用于静态或动态场景

    本文提出了一种基于全局几何约束的无监督深度学习光流方法 - Deep Epipolar Flow，并通过对多种强制使用对极约束的光流评估方式进行研究以及提出低秩约束和子空间并集约束来训练以缓解动态场景中存在多个运动时可能出现的 “鸡生蛋” 的问题。该方法在各种基准数据集上表现出卓越的性能，具有与监督方法相当的竞争性，并且优于最先进的无监督深度学习方法。

    Apr, 2019