CVPROct, 2018

动作识别的表示流

PDF
TL;DR本文提出了一种卷积层，它能够学习动作表示，我们称之为表示流层，它是一种完全可微分的层，能够捕捉卷积神经网络中任何表示通道的 “流动”，通过迭代流优化过程学习参数，并与其他 CNN 模型参数一起最大化动作识别性能。我们还引入了多个表示流层学习 “流之流” 表示的概念，并通过广泛的实验评估，证实了其优于使用传统光流的先前识别模型在计算速度和性能方面的优势。
发现论文，激发创造
  • ActionFlowNet：学习动作表示以进行动作识别

    我们提出了一种多任务学习模型 ActionFlowNet，将外部光流数据输入到卷积神经网络中，同时训练网络以从原始像素中直接识别动作和估计光流，从而捕捉单个模型中的外观和运动信息，提高动作识别准确率。

    Dec, 2016

  • 基于双流流程引导的卷积注意力网络用于动作识别

    本文提出了一种用于视频动作识别的两流光流引导卷积注意网络模型，通过正确补偿相机运动，可以用光流来引导关注人类前景，从而防止背景干扰，得到了良好的性能表现。

    Aug, 2017

  • Scene Flow to Action Map：一种基于 RGB-D 的动作识别新表示法与卷积神经网络

    本文提出了一种基于 RGB-D 数据的场景流用于动作识别的方法，它通过提取特征来从一开始就进行动作识别，并采用有效的自校准方法来对齐 RGB 和深度数据，再根据场景流向量提出一种新的表示法 SFAM，实验表明它的识别效果优于现有的方法。

    Feb, 2017

  • 用于视频动作识别的双流卷积神经网络

    本文提出了一种基于深度卷积神经网络的两通道 ConvNet 架构，结合了空间和时间网络，利用稀疏光流信息进行训练并使用多任务学习提高模型性能，成功地提高了视频动作识别的准确率。

    Jun, 2014

  • 从视频中学习卷积神经网络中的动作提取

    本文提出了一种卷积神经网络用于从视频中提取密集的光流，旨在为深度架构构建潜在的模块，以允许在视频中使用运动而无需借助外部算法，通过考虑信号处理原则构建网络结构，强制 “旋转不变性”，并提供一种分布式表示运动的方法。

    Jan, 2016

  • 光流序列的有序池化用于动作识别

    本文提出一种代替传统 RGB 图像的光流帧有序表示方法，以更有效地捕捉动作学习，从而显著提高动作识别准确率。

    Jan, 2017

  • 动作识别的流动力学校正

    基于光流和动作识别，本文研究不同类型的光流及从光流中提取的特征，通过对光流动态进行功率归一化以纠正流动态并提高性能，进一步将修正后的流动态集成到流行模型中，并通过简单的幻觉步骤翻译 CNN 特征图到不同尺度的光流特征，取得多个基准测试中的最佳性能。

    Oct, 2023

  • 静态图像的动作幻觉用于动作识别的 Im2Flow 算法

    通过一个 encoder-decoder CNN 和 optical flow 方法，我们的研究为静态图像动作识别提供了一个新方法，即学习一个短期动态先验，在新的静态图像上推断预期的光流，成功地将学习的动作转移至标准的两流网络中，并且在七个数据集上表现出了良好的性能。

    Dec, 2017

  • 隐式双流卷积网络用于行为识别

    本文提出了一种新的卷积神经网络结构，名为隐式双流卷积神经网络。它可以以端到端的方式处理视频帧并预测动作类别，而不需要显式计算光流，因此速度快于传统方法。实验证明，该方法在四个具有挑战性的动作识别数据集中表现显著优于上一个最佳的实时方法。

    Apr, 2017

  • 从静态图像密集光流预测

    本文利用卷积神经网络预测未来的运动并使用万几组视频来训练模型，不需要任何人工标记标签并提供在各种情况下的未来光学流预测。

    May, 2015