CVPRJan, 2019

DMC-Net: 为快速压缩视频动作识别生成具有区分性的动作线索

PDF
TL;DR该研究提出一种轻型的生成网络，用于提高压缩视频中噪声较多的运动向量的信噪比和准确性，从而实现更具有辨别力的运动提示 (DMC) 表示，并在行动识别任务中进行了联合训练，从而接近于光流使用的高精度；该方法在三个行动识别数据集上进行了广泛的评估，并证实了其有效性。
发现论文，激发创造
  • 增强型运动向量卷积神经网络实时动作识别

    通过用运动矢量直接代替计算光流来加速双流架构，然后通过初始化转移、监督转移和它们的组合，将光流 CNN 中学习的知识转移到运动矢量 CNN 中，以提高后者的性能。实验结果表明，该方法的识别性能可与最先进的方法相媲美，同时处理速度比原始的双流方法快 27 倍。

    Apr, 2016

  • 使用细化动态矢量的压缩视频动作识别

    本文提出了一种有效地利用现代视频压缩技术的运动矢量和残余的方法来学习原始帧的表征，并大大减少时域冗余，从而提高视频处理模型的速度。通过用优化的方法去除不可靠的运动信息，我们取得了与 CoViAR 同样好的结果。

    Oct, 2019

  • DynamoNet：动态动作和运动网络

    本文提出新的动态滤波器和动态运动表示（DMR）以改善人类动作识别，并使用 3D 卷积网络和多任务学习方法进行视频分类，实验结果表明 DynamoNet 对所有数据集具有很好的分类效果。

    Apr, 2019

  • ActionFlowNet：学习动作表示以进行动作识别

    我们提出了一种多任务学习模型 ActionFlowNet，将外部光流数据输入到卷积神经网络中，同时训练网络以从原始像素中直接识别动作和估计光流，从而捕捉单个模型中的外观和运动信息，提高动作识别准确率。

    Dec, 2016

  • 动作识别的流动力学校正

    基于光流和动作识别，本文研究不同类型的光流及从光流中提取的特征，通过对光流动态进行功率归一化以纠正流动态并提高性能，进一步将修正后的流动态集成到流行模型中，并通过简单的幻觉步骤翻译 CNN 特征图到不同尺度的光流特征，取得多个基准测试中的最佳性能。

    Oct, 2023

  • 运动特征网络：固定动作滤波器用于动作识别

    本文介绍了一种使用运动块的 MFNet 网络，可以捕捉序列帧之间的时空信息，提高动作识别的性能，且可将其附加到现有的 CNN 框架中。通过在 Jester 和 Something-Something 两个数据集上训练，得到了有竞争力的表现。

    Jul, 2018

  • 基于关注运动增强的跨模态交互表征学习压缩视频动作识别

    本研究提出了一种新的框架 MEACI-Net，采用 RGB 模态和运动模态，并针对压缩视频动作识别常见的问题，加入了 Motion Enhancement、Selective Motion Complement 和 Cross-Modality Augment 模块，实现了两种模态间的交互作用和特征增强，有效提高了识别准确率和计算效率。

    May, 2022

  • 模拟原始域：在压缩领域中加速动作识别

    本文提出了一种基于压缩视频领域的新方法，旨在通过利用运动向量和残差来加速计算并减少网络参数，在三个常用数据集上实验表明该模型不仅能够保持较高的准确率还具备更高的识别效率。

    Nov, 2019

  • 以动作为中心的对比学习视频表征

    本文提出了一种基于 Motion-focused 对比学习的方法，利用光流采样和梯度图校准训练视频特征，加强了自监督视频表示学习中的数据增强和特征学习，实验结果表明方法有效，超过了传统监督预训练的表现。

    Jan, 2022

  • 通过渐进式知识蒸馏推进压缩视频动作识别

    通过压缩视频动作识别，利用压缩视频中的不同模态（运动矢量、残差和帧内数据）对视频样本进行分类，本研究提出了逐步知识蒸馏（PKD）和加权推理与缩放集成（WISE）两种策略，通过知识传递和模态间的层级收敛关系，提高内部分类器（IC）的准确性，并在实验中证明了它们对 UCF-101 和 HMDB-51 数据集准确率的改善。

    Jul, 2024