ECCVSep, 2022

精细动作识别的动态时空专业化学习

PDF
TL;DR该论文提出了一种基于动态时空特化的模块，通过特定神经元的专业化设计实现 fine-grained 行为识别，并使用特化优化算法进一步优化架构，以适应视频中广泛的时空变化，取得了最先进的性能表现。
fine-grained action recognitiondynamic spatio-temporal specializationspecialized neuronsspatio-temporal variationsstate-of-the-art performance
发现论文，激发创造
  • 基于骨架的多粒度时空图神经网络学习用于动作识别

    本文提出了一种新的基于骨架的动作分类方法，使用多层次空间时间图网络联合建模粗粒度和细粒度骨架运动模式，并采用双头图网络和跨头部通信策略来提取两个时空分辨率的特征，实验证明该方法在三个大规模数据集上取得了最先进的性能。

    Aug, 2021

  • 空间 - 时间判别滤波器组的动作识别

    本文提出一种改进卷积神经网络 (CNN) 网络的末层以提高动作识别的表征能力，通过对细节的敏感度提升，实现对 Kinetics-400 和 Something-Something-V1 数据集的最优表现。

    Aug, 2019

  • 通过从网络图像的域转移，在视频中对细粒度动作进行时间本地化

    本研究采用弱监督和跨领域转移学习的方法，结合深度卷积神经网络和长短时记忆网络，实现从未剪辑的网络视频中，对于精细的动作定位识别，并使用大量的数据集如 FGA-240 和 THUMOS 2014，得到了令人信服的结果。

    Apr, 2015

  • 学习用于半监督动作识别的判别时空表示

    采用自适应对比学习策略和多尺度时间学习策略，提出一种新型半监督动作识别方法，用于改进少量标记数据下的时空推理能力，取得了比之前先进方法更优越的结果。

    Apr, 2024

  • 动态采样网络用于视频中高效的动作识别

    本文提出了一种名为动态采样网络（DSN）的新框架来提高视频中的动作识别效果，并增加推理时的效率。DSN 由采样模块和分类模块组成，其目标是学习一种采样策略，以即时选择保留哪些片段并使用这些选择的片段训练剪辑级分类器，从而实现基于这些选择的片段执行动作识别。通过基于四个行动识别数据集的广泛实验来研究 DSN 框架的不同方面，实验结果表明，仅使用不到一半的片段，DSN 能够大大提高推理效率，并仍然能够获得略微更好或相当的识别精度，达到了领先水平。

    Jun, 2020

  • 高效动作识别的组合空时聚合

    本文提出一种名为 “grouped spatial-temporal aggregation” 的新型分解方法，将特征通道分解成空间和时间分组并在并行处理。实验证明，该方法在需要时序推理的动作识别任务上具有更加高效的性能。

    Sep, 2019

  • 多阶段分解时空表示用于 RGB-D 动作和手势识别

    提出了一种名为 MFST 的创新启发式结构，用于 RGB-D 动作和手势识别，通过多阶段分解的时空模型构建了鲁棒的时空表示。

    Aug, 2023

  • 利用时间梯度进行半监督动作识别学习

    本文提出利用时态梯度提升多模态特征提取以改善在少量标记数据情况下的半监督视频动作识别，方法在多个半监督设置中均取得了最先进的结果。

    Nov, 2021

  • 基于深度学习的时空动作检测综述

    本文综述了基于深度学习的时空动作检测（STAD）的最新方法及其性能评估，讨论了相关研究的潜在方向。

    Aug, 2023

  • 开放词汇空间时间动作检测

    通过对现有 STAD 数据集建立两个基准，并提出基于预训练视频 - 语言模型的简单而有效的方法，我们在新的类别上取得了令人期待的性能，通过训练一个在有限的基本类别上的模型来具备好的泛化性能。

    May, 2024