ECCVAug, 2020

ECCV 2020 VIPriors 挑战赛行动识别赛道第二名方案：一种高效的光流流引导框架

PDF
TL;DR本文提出了一个基于 C3D 神经网络的双流框架，引入了 3D 中心差分卷积操作，能够在小数据集上从零开始训练模型并取得良好的结果，同时在 ECCV 2020 VIPriors 竞赛中获得第二名（88.31%）。
small datasetsdata-efficient frameworkc3d neural networkaction recognitionrank pooling rgb
发现论文，激发创造
  • 基于双流流程引导的卷积注意力网络用于动作识别

    本文提出了一种用于视频动作识别的两流光流引导卷积注意网络模型，通过正确补偿相机运动，可以用光流来引导关注人类前景，从而防止背景干扰，得到了良好的性能表现。

    Aug, 2017

  • 增强型运动向量卷积神经网络实时动作识别

    通过用运动矢量直接代替计算光流来加速双流架构，然后通过初始化转移、监督转移和它们的组合，将光流 CNN 中学习的知识转移到运动矢量 CNN 中，以提高后者的性能。实验结果表明，该方法的识别性能可与最先进的方法相媲美，同时处理速度比原始的双流方法快 27 倍。

    Apr, 2016

  • 用于视频动作识别的双流卷积神经网络

    本文提出了一种基于深度卷积神经网络的两通道 ConvNet 架构，结合了空间和时间网络，利用稀疏光流信息进行训练并使用多任务学习提高模型性能，成功地提高了视频动作识别的准确率。

    Jun, 2014

  • ActionFlowNet：学习动作表示以进行动作识别

    我们提出了一种多任务学习模型 ActionFlowNet，将外部光流数据输入到卷积神经网络中，同时训练网络以从原始像素中直接识别动作和估计光流，从而捕捉单个模型中的外观和运动信息，提高动作识别准确率。

    Dec, 2016

  • 隐式双流卷积网络用于行为识别

    本文提出了一种新的卷积神经网络结构，名为隐式双流卷积神经网络。它可以以端到端的方式处理视频帧并预测动作类别，而不需要显式计算光流，因此速度快于传统方法。实验证明，该方法在四个具有挑战性的动作识别数据集中表现显著优于上一个最佳的实时方法。

    Apr, 2017

  • 视频分类的高效双流动态和外观 3D 卷积神经网络

    本研究提出基于 3D 卷积神经网络的新型深度学习模型，可以更快速和准确地进行动作和运动表示，进一步整合光流特征从而获得更准确的结果。

    Aug, 2016

  • 重构运动表示：使用 3D ConvNets 剩余帧进行更好的动作识别

    本文提出了一种使用残差帧来提取运动特征的快速且有效的方法，通过将 RGB 帧替换为残差帧，从而取得了在 UCF101 和 HMDB51 数据集上 20.5% 和 12.5% 的准确率提升，在三个基准数据集上，我们的两步解决方案达到了比那些使用额外的光流方法更好或相当的性能，特别是在 Mini-kinetics 数据集上表现优异，表明残差帧是提取运动特征的良好补充。

    Jan, 2020

  • VIPriors 行动识别挑战赛挑战报告

    本文研究行动识别问题，结合 SlowFast 网络和 TSM 方法，在视频中提取运动特征可以使用残差帧作为输入和 RGB 帧输入模型的优秀补充，通过 3D 卷。积（SlowFast）与 2D 卷积（TSM）的组合取得更好的性能结果，以上实验均在 UCF101 中从头开始训练。

    Jul, 2020

  • 流动中起舞：双重流行动检测

    本文提出一种基于新层的双流动作检测网络，将 RGB 和光流嵌入到单个双合一流网络中，使用运动条件层从流图像中提取运动信息，然后利用运动调制层生成调制 RGB 特征的变换参数，从而提高检测准确性。

    Apr, 2019

  • 3D-FlowNet：使用三维表示的事件驱动光流估计

    本文提出了一种改进的 2D 编码事件数据的 3D 表达方法，并介绍了 3D-FlowNet 网络体系结构以进行光流估计，并采用自监督训练策略来弥补事件相机标记数据的缺乏。结果表明，我们的 3D-FlowNet 具有更好的性能。

    Jan, 2022