Dec, 2016

FlowNet 2.0: 使用深度网络演化的光流估计

HTML
PDF
TL;DR本文提出了一种基于端到端学习的光流估计方法，该方法通过数据给特定学习任务提供重要信息，并且采用了堆叠式架构及对小运动专门优化的子网络，使得计算速度得到了提升，同时精度与业界领先的方法相当；相比于原始的FlowNet，FlowNet 2.0 计算速度基本不降反升，估计误差降低了超过50%。
发现论文，激发创造
  • 使用卷积网络学习光流

    本文提出卷积神经网络模型，将光流估计问题作为监督式学习任务，通过生成合成数据集进行训练，成功实现在计算机视觉领域特别是识别任务中广泛应用的卷积神经网络模型在光流估计任务上的成功率。

    Apr, 2015

  • 基础回归：通过亮度恒定和运动平滑无监督学习光流

    本文提出了一种无监督的方法，使用组合数据项和空间项的损失函数训练convnets来预测两幅图像之间的光流，并在KITTI数据集上的实验证明了该方法的有效性。

    Aug, 2016

  • 使用空间金字塔网络估计光流

    本文提出了SPyNet(空间金字塔网络)算法，结合经典的空间金字塔和深度学习来计算光学流的大运动。相较于先前的FlowNet方法，SPyNet更小、更高效，并且能够在标准基准测试中获得更高精度的结果。

    Nov, 2016

  • EV-FlowNet: 自监督事件型相机光流估计

    本文介绍了一种新的基于自监督深度学习的光流估计方法 EV-FlowNet，用于事件驱动相机。该方法不仅可以准确地估计密集光流，还为其他自监督方法到事件驱动领域提供了转移框架。

    Feb, 2018

  • LiteFlowNet：一种用于光流估计的轻量级卷积神经网络

    本文介绍了一种新的神经网络，通过轻量级级联网络、流规则化层和特征提取的结构来提高光流估计的准确度，并且比现有的FlowNet2在模型大小和运行速度等方面都有所优化。

    May, 2018

  • 模型重要，训练同样重要: 一项用于光流估计的CNN实证研究

    通过简单和成熟的原则，包括金字塔处理，扭曲和成本体积处理，我们设计了一种紧凑但有效的CNN模型PWC-Net进行光流估计，并通过相同的训练过程对FlowNetC进行重新训练，提高了56%的准确性，并进一步改进了训练过程，将PWC-Net在Sintel上的准确性提高了10％，在KITTI 2012和2015上提高了20％，该模型在Robust Vision Challenge的光流比赛中获胜。

    Sep, 2018

  • DDFlow: 用未标注数据蒸馏学习光流

    DDFlow是一种基于数据净化的方法，可从未标注的数据中学习光流估计。该方法使用可靠的预测来指导学生网络学习光流，并能够为被遮挡像素进行光流估计，从而实现了更高的准确性。在Flying Chairs、MPI Sintel、KITTI 2012和2015基准测试中，DDFlow的性能显著优于所有现有的无监督学习方法，同时实现了实时运行。

    Feb, 2019

  • 一种轻量级的光流卷积神经网络 - 重审数据准确性和正则化

    本文提出了一个名为LiteFlowNet2的网络，主要用于光流估计问题，它使用卷积神经网络来计算光流，同时使用流正则化来解决异常和模糊问题，并实现了特征扭曲，而不是像FlowNet2和SPyNet那样变换图像，这通过轻量级级联流推理提高了速度，同时对Sintel和KITTI数据集的表现比FlowNet2更好，并且模型大小要小25.3倍，比运行速度要快3.1倍。

    Mar, 2019

  • FlowNet3D++: 深度场景流估计的几何损失

    FlowNet3D++是一个深度场景流估计网络，通过加入几何约束以及提出点云场景预测的全局密集配准流程，显著优于以前的FlowNet3D和KillingFusion方法，提高了动态三维重建的精度。

    Dec, 2019

  • 从静止图像中学习光流

    本文介绍了一种从真实图片中快速生成大量准确的光流标注的框架，该框架利用单目深度估计网络构建可能的点云，通过虚拟相机运动合成新视角和对应的光流场，实现对现有数据的有效利用，并提高了视觉光流网络在真实场景中的泛化和特化性能。

    Apr, 2021