CVPRMar, 2020

基于 Actor-Transformers 的群体活动识别

PDF
TL;DR本文提出一种基于 actor-transformer model 认知视频中的个人行为和组群活动的模型，并通过 2D 姿态网络和 3D CNN 等方式提供丰富的个人动态和静态信息表示，从而在公开数据集上取得了显著的效果。
individual actionsgroup activitiesactor-transformer model2d pose network3d cnn
发现论文，激发创造
  • GroupFormer: 带有空间 - 时间聚类 Transformer 的群体活动识别

    本文引入 GroupFormer 网络解决团体动作识别中空间 - 时间交互作用的问题，采用聚类的空间 - 时间变换器动态地将个体群组化，模型个体和群组的特征，融合了空间 - 时间背景上下文信息。实验结果表明该模型优于现有状态的方法。

    Aug, 2021

  • 无检测器弱监督群体活动识别

    本研究提出了一种新的基于 Transformer 模型的团队活动识别方法，该方法借助注意机制对部分环节进行定位与编码，再对其进行聚合以反映整个活动的完整背景和每个环节的时间演化，无需借助较强的监督方法，在两个基准测试中均表现良好。

    Apr, 2022

  • 使用 Transformer 挖掘线索进行社交群体活动识别

    本论文提出了一种基于注意力模块和 transformers 模型的社交群组活动识别新框架，该方法在 Volleyball 和 Collective Activity 数据集上表现优于现有技术。

    Jul, 2022

  • 社会团体活动识别中高效注意力变换器的设计与分析

    社会群体活动识别研究了使用注意力模块和变压器来生成社会群体特征，并通过优化设计特征聚合和自注意力模块的方法来提高活动识别效果。

    Apr, 2024

  • 视频动作转换网络

    本文介绍了行动转换器模型用于识别和定位视频剪辑中的人类动作，使用 Transformer 风格的架构聚合人物周围的时空背景特征，通过高分辨率、个性化、类别不可知的查询，该模型自动学习跟踪个人并从他人的动作中获取语义上下文

    Dec, 2018

  • 动作识别中的 Transformer: 时序模型综述

    本文主要介绍了基于 transformers 模型的深度学习方法，用于模拟时间上的变化进行动作识别的研究进展和应用挑战。

    Dec, 2022

  • 分层深度时间模型用于群体活动识别

    本文针对视频序列中的团体活动行为分类问题，基于 LSTM 模型构建了一个 2 阶段的深度时间模型，同时考虑了个体和群体层面的动态信息，通过在排球视频数据集上的实验验证了该模型的有效性。

    Jul, 2016

  • ActNetFormer：半监督视频动作识别的 Transformer-ResNet 混合方法

    提出了一种使用跨体系伪标签与对比度学习的半监督行为识别方法，其中结合 3D 卷积神经网络（3D CNN）和视频变换器（VIT）的独特方法能够有效捕捉行为的局部和全局上下文信息，从而在标记数据的一小部分情况下实现了卓越的性能。

    Apr, 2024

  • 在视频中联合学习社交群体、个体动作和子群体活动

    本文提出了一个端到端的可训练框架来解决人类活动理解中的社交任务。该框架同时分组人们，预测他们的个人行为和每个社交团体的社交活动，并提供了新的数据集注释。

    Jul, 2020

  • SPARTAN：自监督时空 Transformer 方法用于群体活动识别

    本文提出了一种新的、简单、有效的自我监督空间时间变换器（SPARTAN）方法来使用未标记的视频数据对小组活动识别（GAR）进行识别。该方法采用 encoder 提取视频特征，并进行长期关系建模，通过处理不同的空间尺度和帧率来进行自我监督训练，最终在 NBA 和排球数据集上显著优于现有的最先进算法。

    Mar, 2023