Jan, 2020

重构运动表示：使用 3D ConvNets 剩余帧进行更好的动作识别

PDF
TL;DR本文提出了一种使用残差帧来提取运动特征的快速且有效的方法，通过将 RGB 帧替换为残差帧，从而取得了在 UCF101 和 HMDB51 数据集上 20.5% 和 12.5% 的准确率提升，在三个基准数据集上，我们的两步解决方案达到了比那些使用额外的光流方法更好或相当的性能，特别是在 Mini-kinetics 数据集上表现优异，表明残差帧是提取运动特征的良好补充。
3d convolutional networksmotion featuresresidual framesaction recognitionoptical flow
发现论文，激发创造
  • 视频分类的高效双流动态和外观 3D 卷积神经网络

    本研究提出基于 3D 卷积神经网络的新型深度学习模型，可以更快速和准确地进行动作和运动表示，进一步整合光流特征从而获得更准确的结果。

    Aug, 2016

  • 用于视频动作识别的双流卷积神经网络

    本文提出了一种基于深度卷积神经网络的两通道 ConvNet 架构，结合了空间和时间网络，利用稀疏光流信息进行训练并使用多任务学习提高模型性能，成功地提高了视频动作识别的准确率。

    Jun, 2014

  • ActionFlowNet：学习动作表示以进行动作识别

    我们提出了一种多任务学习模型 ActionFlowNet，将外部光流数据输入到卷积神经网络中，同时训练网络以从原始像素中直接识别动作和估计光流，从而捕捉单个模型中的外观和运动信息，提高动作识别准确率。

    Dec, 2016

  • 使用 3D 残差网络学习时空特征用于动作识别

    通过使用 Residual Networks 的 3D CNN，我们训练了一个视频动作识别模型，并实验表明在 Kinetics 数据集上它具有更好的性能，虽然参数很大但没有出现过拟合的问题

    Aug, 2017

  • 运动特征网络：固定动作滤波器用于动作识别

    本文介绍了一种使用运动块的 MFNet 网络，可以捕捉序列帧之间的时空信息，提高动作识别的性能，且可将其附加到现有的 CNN 框架中。通过在 Jester 和 Something-Something 两个数据集上训练，得到了有竞争力的表现。

    Jul, 2018

  • D3D: 视频动作识别的精简三维网络

    该论文研究了使用 3D CNNs 进行动作识别时，使用两个网络（时空流和时间流）的效果，并发现在时间流中存在动作表示，但其在时空流中缺失；另外也展示了如何通过引入蒸馏方法，将时空流中缺失的动作信息膨胀输出，进而提高 3D CNNs 的准确率。

    Dec, 2018

  • 隐式双流卷积网络用于行为识别

    本文提出了一种新的卷积神经网络结构，名为隐式双流卷积神经网络。它可以以端到端的方式处理视频帧并预测动作类别，而不需要显式计算光流，因此速度快于传统方法。实验证明，该方法在四个具有挑战性的动作识别数据集中表现显著优于上一个最佳的实时方法。

    Apr, 2017

  • 使用伪 3D 残差网络学习时空表示

    本文提出了一种利用 4 个 Pseudo-3D 残差块构建的 Pseudo-3D Residual Net (P3D ResNet) 架构，并将其应用于视频分类问题中，克服了 3D CNN 的计算成本及内存需求高的问题，通过将空间卷积和时间卷积组合的方式显著提高了视频图像识别和分类的准确性。

    Nov, 2017

  • 增强型运动向量卷积神经网络实时动作识别

    通过用运动矢量直接代替计算光流来加速双流架构，然后通过初始化转移、监督转移和它们的组合，将光流 CNN 中学习的知识转移到运动矢量 CNN 中，以提高后者的性能。实验结果表明，该方法的识别性能可与最先进的方法相媲美，同时处理速度比原始的双流方法快 27 倍。

    Apr, 2016

  • 用于 3D 视频中动作识别的双流 RNN/CNN

    本论文提出了一种通过将循环神经网络和卷积神经网络相结合运用于动作识别的算法，通过 SVM 对特征进行分类，实验结果表明，在标准数据集上，该算法提高了 14% 的识别率。

    Mar, 2017