一种轻量级的光流卷积神经网络 - 重审数据准确性和正则化

Mar, 2019

一种轻量级的光流卷积神经网络 - 重审数据准确性和正则化

A Lightweight Optical Flow CNN - Revisiting Data Fidelity and Regularization

Tak-Wai Hui, Xiaoou Tang, Chen Change Loy

TL;DR本文提出了一个名为 LiteFlowNet2 的网络，主要用于光流估计问题，它使用卷积神经网络来计算光流，同时使用流正则化来解决异常和模糊问题，并实现了特征扭曲，而不是像 FlowNet2 和 SPyNet 那样变换图像，这通过轻量级级联流推理提高了速度，同时对 Sintel 和 KITTI 数据集的表现比 FlowNet2 更好，并且模型大小要小 25.3 倍，比运行速度要快 3.1 倍。

Abstract

Over four decades, the majority addresses the problem of optical flow estimation using variational methods. With the advance of machine learning, some recent works have attempted to address the problem using conv

optical flow variational methods convolutional neural network liteflownet2 flow regularization

发现论文，激发创造

LiteFlowNet：一种用于光流估计的轻量级卷积神经网络

本文介绍了一种新的神经网络，通过轻量级级联网络、流规则化层和特征提取的结构来提高光流估计的准确度，并且比现有的 FlowNet2 在模型大小和运行速度等方面都有所优化。

May, 2018

模型重要，训练同样重要：一项用于光流估计的 CNN 实证研究

通过简单和成熟的原则，包括金字塔处理，扭曲和成本体积处理，我们设计了一种紧凑但有效的 CNN 模型 PWC-Net 进行光流估计，并通过相同的训练过程对 FlowNetC 进行重新训练，提高了 56% 的准确性，并进一步改进了训练过程，将 PWC-Net 在 Sintel 上的准确性提高了 10％，在 KITTI 2012 和 2015 上提高了 20％，该模型在 Robust Vision Challenge 的光流比赛中获胜。

Sep, 2018

使用卷积网络学习光流

本文提出卷积神经网络模型，将光流估计问题作为监督式学习任务，通过生成合成数据集进行训练，成功实现在计算机视觉领域特别是识别任务中广泛应用的卷积神经网络模型在光流估计任务上的成功率。

Apr, 2015

FastFlowNet：一种轻量级网络用于快速光流估计

本文提出了一种基于深度学习的快速且精确的光流预测方法：FastFlowNet，其参数较少，适用于低功耗设备，且在合成和真实数据集上的实验证明了其有效性。

Mar, 2021

FlowNet 2.0: 使用深度网络演化的光流估计

本文提出了一种基于端到端学习的光流估计方法，该方法通过数据给特定学习任务提供重要信息，并且采用了堆叠式架构及对小运动专门优化的子网络，使得计算速度得到了提升，同时精度与业界领先的方法相当；相比于原始的 FlowNet，FlowNet 2.0 计算速度基本不降反升，估计误差降低了超过 50%。

Dec, 2016

轻量级 CNN 网络在光流亮度一致性破裂中的应用

在本文中，我们使用轻量级网络提取具有强不变性的亮度鲁棒的卷积特征和角点，将光流方法的亮度一致性修改为卷积特征一致性，提出了光流的光鲁棒混合方法。使用四个卷积层同时提取特征图和得分图，该网络在商用 CPU 上以 190 FPS 运行。我们设计了一个深度网络来计算有助于训练的可靠性映射，并采用了端到端无监督训练模式。通过与原始光流在动态光照下进行角点重复性和匹配性能的比较，验证了所提出方法。此外，我们通过在 VINS-Mono 中替换光流方法，构建出更准确的视觉惯性系统，在公共 HDR 数据集上将平移误差降低了 93％。

Oct, 2023

使用空间金字塔网络估计光流

本文提出了 SPyNet (空间金字塔网络) 算法，结合经典的空间金字塔和深度学习来计算光学流的大运动。相较于先前的 FlowNet 方法，SPyNet 更小、更高效，并且能够在标准基准测试中获得更高精度的结果。

Nov, 2016

使用超级核函数学习光流

本文提出了基于 CNN 的 Super Kernel Flow Network (SKFlow) 算法估计局部模糊区域中的光流，通过超级核心理论解决匹配信息缺失的问题，在 Sintel 基准测试中表现优秀。

May, 2022

PWC-Net：使用金字塔、光流矫正和代价体积的卷积神经网络

我们提出了一种紧凑但有效的卷积神经网络模型，用于光流预测，名为 PWC-Net，其通过金字塔处理、扭曲变换和成本体积使用学习功能进行设计，该模型在 MPI Sintel 最终传递和 KITTI 2015 基准测试上优于所有发表的光流方法，同时比最近的 FlowNet2 模型小 17 倍且易于训练。

Sep, 2017

稠密流 DenseNet

本研究利用深度学习中的 DenseNet 架构，纵向连接对求解密集光流估计问题具有隐式深度监督的特点，扩展当前 DenseNet 到全卷积网络，通过无监督学习的方式实现了运动估计。实验结果在三个标准基准测试中证明，相较于其他广泛采用的 CNN 架构，DenseNet 更适合进行光流估计。

Jul, 2017