模型重要，训练同样重要：一项用于光流估计的 CNN 实证研究

Sep, 2018

模型重要，训练同样重要：一项用于光流估计的 CNN 实证研究

Models Matter, So Does Training: An Empirical Study of CNNs for Optical Flow Estimation

Deqing Sun, Xiaodong Yang, Ming-Yu Liu, Jan Kautz

TL;DR通过简单和成熟的原则，包括金字塔处理，扭曲和成本体积处理，我们设计了一种紧凑但有效的 CNN 模型 PWC-Net 进行光流估计，并通过相同的训练过程对 FlowNetC 进行重新训练，提高了 56% 的准确性，并进一步改进了训练过程，将 PWC-Net 在 Sintel 上的准确性提高了 10％，在 KITTI 2012 和 2015 上提高了 20％，该模型在 Robust Vision Challenge 的光流比赛中获胜。

Abstract

We investigate two crucial and closely related aspects of CNNs for optical flow estimation: models and training. First, we design a compact but effective cnn model, called pwc-net, according to simple and well-es

cnn optical flow estimation pwc-net training procedure accuracy

发现论文，激发创造

PWC-Net：使用金字塔、光流矫正和代价体积的卷积神经网络

我们提出了一种紧凑但有效的卷积神经网络模型，用于光流预测，名为 PWC-Net，其通过金字塔处理、扭曲变换和成本体积使用学习功能进行设计，该模型在 MPI Sintel 最终传递和 KITTI 2015 基准测试上优于所有发表的光流方法，同时比最近的 FlowNet2 模型小 17 倍且易于训练。

Sep, 2017

一种轻量级的光流卷积神经网络 - 重审数据准确性和正则化

本文提出了一个名为 LiteFlowNet2 的网络，主要用于光流估计问题，它使用卷积神经网络来计算光流，同时使用流正则化来解决异常和模糊问题，并实现了特征扭曲，而不是像 FlowNet2 和 SPyNet 那样变换图像，这通过轻量级级联流推理提高了速度，同时对 Sintel 和 KITTI 数据集的表现比 FlowNet2 更好，并且模型大小要小 25.3 倍，比运行速度要快 3.1 倍。

Mar, 2019

LiteFlowNet：一种用于光流估计的轻量级卷积神经网络

本文介绍了一种新的神经网络，通过轻量级级联网络、流规则化层和特征提取的结构来提高光流估计的准确度，并且比现有的 FlowNet2 在模型大小和运行速度等方面都有所优化。

May, 2018

FlowNet 2.0: 使用深度网络演化的光流估计

本文提出了一种基于端到端学习的光流估计方法，该方法通过数据给特定学习任务提供重要信息，并且采用了堆叠式架构及对小运动专门优化的子网络，使得计算速度得到了提升，同时精度与业界领先的方法相当；相比于原始的 FlowNet，FlowNet 2.0 计算速度基本不降反升，估计误差降低了超过 50%。

Dec, 2016

使用卷积网络学习光流

本文提出卷积神经网络模型，将光流估计问题作为监督式学习任务，通过生成合成数据集进行训练，成功实现在计算机视觉领域特别是识别任务中广泛应用的卷积神经网络模型在光流估计任务上的成功率。

Apr, 2015

FastFlowNet：一种轻量级网络用于快速光流估计

本文提出了一种基于深度学习的快速且精确的光流预测方法：FastFlowNet，其参数较少，适用于低功耗设备，且在合成和真实数据集上的实验证明了其有效性。

Mar, 2021

使用空间金字塔网络估计光流

本文提出了 SPyNet (空间金字塔网络) 算法，结合经典的空间金字塔和深度学习来计算光学流的大运动。相较于先前的 FlowNet 方法，SPyNet 更小、更高效，并且能够在标准基准测试中获得更高精度的结果。

Nov, 2016

光流分离架构与训练

通过使用相同的现代培训技术和数据集，作者重访了三种主要的光流模型 PWC-Net，IRR-PWC 和 RAFT，观察到显着的性能提升，并表明这些培训细节的重要性和普遍性。新培训的 PWC-Net 和 IRR-PWC 模型显示出惊人的大幅改进，在 Sintel 和 KITTI 2015 基准测试中，其对比原始发布结果提高了 30％，在推理期间的运行速度也更快。RAF 的新培训实现了在 KITTI 2015 上的 Fl-all 得分 4.31％，比当时所有已发布的光流方法都更准确。

Mar, 2022

ProFlow: 光流预测学习

本文提出了一种基于卷积神经网络（CNN）的无监督在线学习方法，用于为每帧单独估计运动模型，通过前后向的运动关系实现运动信息的推导，并能够解决非刚性运动估计的主要限制，与没有运动预测的基线相比，在 KITTI 2012、KITTI 2015 和 MPI Sintel 三项基准测试中表现出了长达 27％的一致性改进。

Jun, 2018

用于训练卷积神经网络进行视差、光流和场景流估计的大型数据集

本论文提出了使用卷积网络对视差和场景流进行光流估计的方法，并成功构建了三个合成的立体视频数据集，通过对现有网络进行联合培训，实现了首个卷积网络进行场景流估计。

Dec, 2015