CVPRApr, 2019

SelFlow: 光流的自监督学习

PDF
TL;DR本研究提出了一种自监督学习的方法，通过利用非遮挡像素估计可靠的光流，用于学习虚假的遮挡。同时，通过设计一个简单的 CNN 来利用多帧的时间信息来获得更好的光流估计。该方法在 MPI Sintel、KITTI 2012 和 2015 等多个挑战基准测试中取得了最佳性能，并且该自监督预训练模型为监督微调提供了极好的初始化，其微调后的模型在三个数据集上均取得了最先进的结果。
发现论文，激发创造
  • 自我监督学习的跨像素光流相似度

    采用动态光流来监督静态图像的表示，通过学习嵌入像素以达到其光流向量之间的相似性，我们设计了一种无需手工标注的学习卷积神经图像表示的新方法，这个新方法优于以往的运用动态光流学习卷积神经网络的方法，并在语义分割等领域首屈一指。

    Jul, 2018

  • 自监督单目场景流估计

    本文提出的单目场景流（Scene Flow）估计方法基于一个卷积神经网络（CNN），通过充分考虑光流代价体积，成功估算出深度和三维运动。我们采用了自监督学习方法，利用三维损失函数和遮挡推理来提高估计精度。实验结果表明，该方法在单目场景流估计领域取得了最佳性能，同时在光流和单目深度估计子任务上也获得了很好的结果。

    Apr, 2020

  • 流场监控下的半监督光流学习

    提出了一种在没有 ground truth flows 的情况下实现 fine tuning 的实用方法，该方法基于 self-supervision 和使用 flow supervisor 实现了更稳定收敛和更好的准确性，在 Sintel 和 KITTI 基准上实现了有意义的改进。

    Jul, 2022

  • 自监督多帧单眼场景流

    本文通过自监督学习介绍了一种基于多帧单目场景流网络的方法，该方法在保持实时效率的同时显著提高了准确性，并通过在 KITTI 数据集上进行测试达到了自我监督学习中的最新水平。

    May, 2021

  • 利用时间动态建模在多帧动态环境中进行无监督光流学习

    本文提出了一种基于时空动态模型的无监督光流估计方法，使用视图合成的自我监督学习来提供可靠的运动先验信息，利用邻帧的运动先验来改善光流估计中遮挡区域的监督，采用自我监督知识蒸馏来让模型理解物体在连续动态环境中的运动模式，实验证明该方法在无监督光流估计中取得了最先进的性能并具有记忆开销优势。

    Apr, 2023

  • ProFlow: 光流预测学习

    本文提出了一种基于卷积神经网络（CNN）的无监督在线学习方法，用于为每帧单独估计运动模型，通过前后向的运动关系实现运动信息的推导，并能够解决非刚性运动估计的主要限制，与没有运动预测的基线相比，在 KITTI 2012、KITTI 2015 和 MPI Sintel 三项基准测试中表现出了长达 27％的一致性改进。

    Jun, 2018

  • 具备遮挡感知的光流无监督学习

    本文研究了卷积神经网络在无监督学习下学习光流预测的能力；提出了一种新的模型来显式模拟遮挡问题，并使用新颖的变换方式来更好地学习大运动；在 Flying Chairs，MPI-Sintel 和 KITTI 标准数据集上进行了测试，结果表明在 KITTI 数据集上无监督方法的效果优于有监督方法，尤其在该数据集上，我们的方法表现出色。

    Nov, 2017

  • 引导式光流学习

    本文研究使用代理真实数据进行卷积神经网络的无监督学习，以估计光流。通过使用经典方法生成的代理真实数据来指导 CNN 学习，我们的指导式学习方法在三个标准基准数据集上表现优异，但完全无监督且可以在实时运行。

    Feb, 2017

  • DDFlow: 用未标注数据蒸馏学习光流

    DDFlow 是一种基于数据净化的方法，可从未标注的数据中学习光流估计。该方法使用可靠的预测来指导学生网络学习光流，并能够为被遮挡像素进行光流估计，从而实现了更高的准确性。在 Flying Chairs、MPI Sintel、KITTI 2012 和 2015 基准测试中，DDFlow 的性能显著优于所有现有的无监督学习方法，同时实现了实时运行。

    Feb, 2019

  • SeFlow: 无人驾驶中的自监督场景流方法

    本文提出了一种自我监督方法 SeFlow，能够通过将动态点进行分类来改善学习场景流流程的性能，尤其是在物体的细节上，从而实现自主车辆精确预测和理解环境动态变化的能力。

    Jul, 2024