Jul, 2021

仅使用 RGB 流进行时间动作检测

PDF
TL;DR本文提出了一种基于单 RGB 流的简单而有效的一阶段时间动作检测器 DaoTAD，采用数据增强的方法 Image Level Data Augmentation（ILDA）来避免移除光流数据导致的性能下降，结果表明该方法在 ILDA 训练下，在保持准确性的同时，比现有的基于两个流的检测方法速度更快，推理速度高达 6668 帧每秒。
发现论文，激发创造
  • 流动中起舞：双重流行动检测

    本文提出一种基于新层的双流动作检测网络，将 RGB 和光流嵌入到单个双合一流网络中，使用运动条件层从流图像中提取运动信息，然后利用运动调制层生成调制 RGB 特征的变换参数，从而提高检测准确性。

    Apr, 2019

  • D3D: 视频动作识别的精简三维网络

    该论文研究了使用 3D CNNs 进行动作识别时，使用两个网络（时空流和时间流）的效果，并发现在时间流中存在动作表示，但其在时空流中缺失；另外也展示了如何通过引入蒸馏方法，将时空流中缺失的动作信息膨胀输出，进而提高 3D CNNs 的准确率。

    Dec, 2018

  • 基于 RGB 的时间动作检测的交叉模态分解蒸馏

    本文介绍了一种基于交叉模态蒸馏的分解式跨空间学习框架，通过学习 RGB 和运动表征并结合两者来完成动作定位，极大地提高了基于 RGB 的动作检测器的性能，该框架不受骨干网络和检测头的影响。

    Mar, 2023

  • 基于双流流程引导的卷积注意力网络用于动作识别

    本文提出了一种用于视频动作识别的两流光流引导卷积注意网络模型，通过正确补偿相机运动，可以用光流来引导关注人类前景，从而防止背景干扰，得到了良好的性能表现。

    Aug, 2017

  • 压缩视频动作识别的流蒸馏 IP 双流网络

    该论文提出了一种基于压缩域的双流网络 IP TSN，其中两个流由压缩视频中的两种类型的帧（I 帧和 P 帧）表示，无需独立的时间流，并通过从光流中的广义蒸馏完全利用 P 流的运动信息，极大地提高了效率和精度。该方法在公共视频动作识别基准数据集（UCF101、HMDB51 和 Kinetics 子集）上实验，性能优于其他压缩域方法，同时提高了 20％的总体推理速度。

    Dec, 2019

  • 一种单流网络的鲁棒性和实时性 RGB-D 显著性目标检测

    本研究提出一种单流网络，利用深度信息实现早期融合和中期融合之间的引导，解决不同模态之间的不兼容问题，并设计了一种增强深度双重注意力模块（DEDA）和锥形局部注意提取模块（PAFE），以提高实时目标检测的准确性和效率。

    Jul, 2020

  • 使用 CNN 识别行为的幻觉 IDT 描述符和 I3D 光流特征

    本文提出了一种采用手工制作的视频表示方法和 CNN 异步技术进行动作识别的方法，并建议一种端到端可训练的网络流结构，用于简化该方法的处理流程，同时在四个公开数据集上获得了最新的结果。

    Jun, 2019

  • 视频分类的高效双流动态和外观 3D 卷积神经网络

    本研究提出基于 3D 卷积神经网络的新型深度学习模型，可以更快速和准确地进行动作和运动表示，进一步整合光流特征从而获得更准确的结果。

    Aug, 2016

  • ECCV 2020 VIPriors 挑战赛行动识别赛道第二名方案：一种高效的光流流引导框架

    本文提出了一个基于 C3D 神经网络的双流框架，引入了 3D 中心差分卷积操作，能够在小数据集上从零开始训练模型并取得良好的结果，同时在 ECCV 2020 VIPriors 竞赛中获得第二名（88.31%）。

    Aug, 2020

  • 基于交叉流的改进稠密轨迹特征提取

    为了解决密集轨迹提取过程中的问题，我们提出了一种新的局部描述符，它汇聚了在 iDT 中交错两个网络之间的新卷积层，通过将一个网络中学习到的有区分性的权重应用到另一个网络的卷积层上来计算得到。该方法在 UCF101 上达到了 92.3％，在 HMDB51 上达到了 66.2％的排名。

    Apr, 2016