CVPRNov, 2017

光流引导特征：视频动作识别的快速稳健运动表示

PDF
TL;DR本研究提出了一种名为 OFF 的紧凑型动作表示法，通过直接计算深度特征图的像素空间梯度，能够嵌入现有的 CNN 网络进行视频动作识别，从而快速提取时空信息，实现了比两种流（RGB 和光流）快 15 倍的速度和与之相似的精度。
发现论文，激发创造
  • 运动特征网络：固定动作滤波器用于动作识别

    本文介绍了一种使用运动块的 MFNet 网络，可以捕捉序列帧之间的时空信息，提高动作识别的性能，且可将其附加到现有的 CNN 框架中。通过在 Jester 和 Something-Something 两个数据集上训练，得到了有竞争力的表现。

    Jul, 2018

  • ActionFlowNet：学习动作表示以进行动作识别

    我们提出了一种多任务学习模型 ActionFlowNet，将外部光流数据输入到卷积神经网络中，同时训练网络以从原始像素中直接识别动作和估计光流，从而捕捉单个模型中的外观和运动信息，提高动作识别准确率。

    Dec, 2016

  • 一种用于动作识别的强大高效的视频表示方法

    本文旨在介绍一种最先进的视频表示方法并将其应用于高效的动作识别和检测。我们采用密集轨迹特征提取等一系列方法来改进该方法，并比较了传统基于单词包直方图的编码方法以及 Fisher 向量编码方法在视频识别任务中的表现。实验结果表明，我们提出的改进轨迹特征显着优于传统的密集轨迹方法，并且 Fisher 向量编码方法表现更好。

    Apr, 2015

  • 深度视频压缩的离线和在线光流增强

    通过优化传统视频压缩与深度学习光流预估的结合，可以获得更好的码率 - 失真比，提高视频数据的适应性和压缩效果。

    Jul, 2023

  • 动作识别的流动力学校正

    基于光流和动作识别，本文研究不同类型的光流及从光流中提取的特征，通过对光流动态进行功率归一化以纠正流动态并提高性能，进一步将修正后的流动态集成到流行模型中，并通过简单的幻觉步骤翻译 CNN 特征图到不同尺度的光流特征，取得多个基准测试中的最佳性能。

    Oct, 2023

  • 动作识别的表示流

    本文提出了一种卷积层，它能够学习动作表示，我们称之为表示流层，它是一种完全可微分的层，能够捕捉卷积神经网络中任何表示通道的 “流动”，通过迭代流优化过程学习参数，并与其他 CNN 模型参数一起最大化动作识别性能。我们还引入了多个表示流层学习 “流之流” 表示的概念，并通过广泛的实验评估，证实了其优于使用传统光流的先前识别模型在计算速度和性能方面的优势。

    Oct, 2018

  • ECCV 2020 VIPriors 挑战赛行动识别赛道第二名方案：一种高效的光流流引导框架

    本文提出了一个基于 C3D 神经网络的双流框架，引入了 3D 中心差分卷积操作，能够在小数据集上从零开始训练模型并取得良好的结果，同时在 ECCV 2020 VIPriors 竞赛中获得第二名（88.31%）。

    Aug, 2020

  • 增强型运动向量卷积神经网络实时动作识别

    通过用运动矢量直接代替计算光流来加速双流架构，然后通过初始化转移、监督转移和它们的组合，将光流 CNN 中学习的知识转移到运动矢量 CNN 中，以提高后者的性能。实验结果表明，该方法的识别性能可与最先进的方法相媲美，同时处理速度比原始的双流方法快 27 倍。

    Apr, 2016

  • 基于光流的无约束场景实时移动物体检测

    该研究论文提出了一种基于光流的移动物体检测框架，利用单应性矩阵在线构建光流背景模型，并设计了一个双模式判断机制来提高系统对复杂场景的自适 应性，实验证明该方法优于现有的方法，具有适应不同场景的优势。

    Jul, 2018

  • 任务导向流的视频增强

    本研究提出了一种基于任务的流程（TOFlow），该方法采用自我监督的方式以任务特定的方式学习运动表示，并在视频插值、视频去噪 / 去块以及视频超分辨率等三个视频处理任务上超越了传统的光流方法。

    Nov, 2017