Feb, 2019

DDFlow: 用未标注数据蒸馏学习光流

HTML
PDF
TL;DRDDFlow是一种基于数据净化的方法，可从未标注的数据中学习光流估计。该方法使用可靠的预测来指导学生网络学习光流，并能够为被遮挡像素进行光流估计，从而实现了更高的准确性。在Flying Chairs、MPI Sintel、KITTI 2012和2015基准测试中，DDFlow的性能显著优于所有现有的无监督学习方法，同时实现了实时运行。
发现论文，激发创造
  • 基础回归：通过亮度恒定和运动平滑无监督学习光流

    本文提出了一种无监督的方法，使用组合数据项和空间项的损失函数训练convnets来预测两幅图像之间的光流，并在KITTI数据集上的实验证明了该方法的有效性。

    Aug, 2016

  • FlowNet 2.0: 使用深度网络演化的光流估计

    本文提出了一种基于端到端学习的光流估计方法，该方法通过数据给特定学习任务提供重要信息，并且采用了堆叠式架构及对小运动专门优化的子网络，使得计算速度得到了提升，同时精度与业界领先的方法相当；相比于原始的FlowNet，FlowNet 2.0 计算速度基本不降反升，估计误差降低了超过50%。

    Dec, 2016

  • UnFlow: 双向Census损失的光流无监督学习

    本研究提出一种利用基于能量的方法进行光流估计的无监督学习方法以替代对真实场景难以获得的像素精确度地面实况数据的依赖，此方法在KITTI基准测试中的表现优于以往的无监督深度网络，甚至比仅在合成数据集上进行训练的类似监督方法更准确，在KITTI 2012和2015基准测试中具有竞争优势。

    Nov, 2017

  • 模型重要，训练同样重要: 一项用于光流估计的CNN实证研究

    通过简单和成熟的原则，包括金字塔处理，扭曲和成本体积处理，我们设计了一种紧凑但有效的CNN模型PWC-Net进行光流估计，并通过相同的训练过程对FlowNetC进行重新训练，提高了56%的准确性，并进一步改进了训练过程，将PWC-Net在Sintel上的准确性提高了10％，在KITTI 2012和2015上提高了20％，该模型在Robust Vision Challenge的光流比赛中获胜。

    Sep, 2018

  • SelFlow: 光流的自监督学习

    本研究提出了一种自监督学习的方法，通过利用非遮挡像素估计可靠的光流，用于学习虚假的遮挡。同时，通过设计一个简单的CNN来利用多帧的时间信息来获得更好的光流估计。该方法在MPI Sintel、KITTI 2012和2015等多个挑战基准测试中取得了最佳性能，并且该自监督预训练模型为监督微调提供了极好的初始化，其微调后的模型在三个数据集上均取得了最先进的结果。

    Apr, 2019

  • 类比学习：基于变换的可靠监督用于无监督光流估计

    本文提出了一种使用变换提供的可靠监督信息的框架，通过使用数据增强技术来运行另一个向前传递的过程，并使用原始数据的转换后的预测结果作为自我监督信号，从而得到了多帧轻量级网络的最佳精度。

    Mar, 2020

  • UPFlow：无监督光流学习的上采样金字塔

    提出无监督学习方法，通过改善金字塔网络的上采样和学习来估计光流，具有自引导上采样模块和金字塔蒸馏损失，并将两个组件相结合，该方法在多个基准测试中均取得了最佳性能。

    Dec, 2020

  • 从静止图像中学习光流

    本文介绍了一种从真实图片中快速生成大量准确的光流标注的框架，该框架利用单目深度估计网络构建可能的点云，通过虚拟相机运动合成新视角和对应的光流场，实现对现有数据的有效利用，并提高了视觉光流网络在真实场景中的泛化和特化性能。

    Apr, 2021

  • AutoFlow: 学习更好的训练集，用于光流预测

    AutoFlow是一个简单而有效的方法，通过可学习超参数控制每一层的运动、形状和外观, 优化模型在目标数据集上的表现，可以渲染用于光流训练的合成数据，并在PWC-Net和RAFT的预训练中达到最先进的精度。

    Apr, 2021

  • UnSAMFlow: 由分割任意模型指导的无监督光流

    我们提出了一种利用最新的基础模型Segment Anything Model（SAM）的非监督流网络UnSAMFlow，通过加入适应SAM蒙版的自监督语义增强模块、基于单应性的新平滑度定义以及简单而有效的蒙版特征模块，能够在对象周围生成清晰的光流估计，优于KITTI和Sintel数据集上的最先进方法，并且在跨领域上具有很好的泛化能力且运行效率高。

    May, 2024