Dec, 2019

压缩视频动作识别的流蒸馏 IP 双流网络

PDF
TL;DR该论文提出了一种基于压缩域的双流网络 IP TSN，其中两个流由压缩视频中的两种类型的帧（I 帧和 P 帧）表示，无需独立的时间流，并通过从光流中的广义蒸馏完全利用 P 流的运动信息，极大地提高了效率和精度。该方法在公共视频动作识别基准数据集（UCF101、HMDB51 和 Kinetics 子集）上实验，性能优于其他压缩域方法，同时提高了 20％的总体推理速度。
two-stream networkcompressed videomotion informationrecognitionefficiency
发现论文，激发创造
  • D3D: 视频动作识别的精简三维网络

    该论文研究了使用 3D CNNs 进行动作识别时，使用两个网络（时空流和时间流）的效果，并发现在时间流中存在动作表示，但其在时空流中缺失；另外也展示了如何通过引入蒸馏方法，将时空流中缺失的动作信息膨胀输出，进而提高 3D CNNs 的准确率。

    Dec, 2018

  • 流动中起舞：双重流行动检测

    本文提出一种基于新层的双流动作检测网络，将 RGB 和光流嵌入到单个双合一流网络中，使用运动条件层从流图像中提取运动信息，然后利用运动调制层生成调制 RGB 特征的变换参数，从而提高检测准确性。

    Apr, 2019

  • 隐式双流卷积网络用于行为识别

    本文提出了一种新的卷积神经网络结构，名为隐式双流卷积神经网络。它可以以端到端的方式处理视频帧并预测动作类别，而不需要显式计算光流，因此速度快于传统方法。实验证明，该方法在四个具有挑战性的动作识别数据集中表现显著优于上一个最佳的实时方法。

    Apr, 2017

  • 用于视频动作识别的双流卷积神经网络

    本文提出了一种基于深度卷积神经网络的两通道 ConvNet 架构，结合了空间和时间网络，利用稀疏光流信息进行训练并使用多任务学习提高模型性能，成功地提高了视频动作识别的准确率。

    Jun, 2014

  • 增强型运动向量卷积神经网络实时动作识别

    通过用运动矢量直接代替计算光流来加速双流架构，然后通过初始化转移、监督转移和它们的组合，将光流 CNN 中学习的知识转移到运动矢量 CNN 中，以提高后者的性能。实验结果表明，该方法的识别性能可与最先进的方法相媲美，同时处理速度比原始的双流方法快 27 倍。

    Apr, 2016

  • 基于双流流程引导的卷积注意力网络用于动作识别

    本文提出了一种用于视频动作识别的两流光流引导卷积注意网络模型，通过正确补偿相机运动，可以用光流来引导关注人类前景，从而防止背景干扰，得到了良好的性能表现。

    Aug, 2017

  • 视频分类的高效双流动态和外观 3D 卷积神经网络

    本研究提出基于 3D 卷积神经网络的新型深度学习模型，可以更快速和准确地进行动作和运动表示，进一步整合光流特征从而获得更准确的结果。

    Aug, 2016

  • 双流动作识别导向视频超分辨率

    针对行动识别任务中低空间分辨率视频影响识别准确性的问题，提出了基于光流的 SR 方法和 siamese 网络的 SR 方法，对包括 UCF101 和 HMDB51 的两个数据集进行实验，并证明了我们提议的 SoSR 和 ToSR 方法在提高识别准确性方面的有效性。

    Mar, 2019

  • 基于 RGB 的时间动作检测的交叉模态分解蒸馏

    本文介绍了一种基于交叉模态蒸馏的分解式跨空间学习框架，通过学习 RGB 和运动表征并结合两者来完成动作定位，极大地提高了基于 RGB 的动作检测器的性能，该框架不受骨干网络和检测头的影响。

    Mar, 2023

  • 视频中的动作识别时间分段网络

    该论文提出了一种称之为 “时间段网络” 的视频级框架，可以学习视频中的动作模型，并在四个具有挑战性的动作识别基准测试中实现了最新的性能。

    May, 2017