Apr, 2023

自监督的时空关注社交群体活动识别 (SoGAR)

PDF
TL;DR本文提出了一种使用自我监督变压器网络的社交组活动识别（SoGAR）的新方法，可以有效利用未标记的视频数据，通过利用变化的帧率创建局部和全局视图来提取空时信息，并通过提取来自同一视频的对比视图的特征的自我监督目标，确保跨空时域中的特征是一致的。该方法在使用变压器模型方面具有高效性，可以沿着空时维度建模长期关系，并在三个小组活动识别基准测试中取得了最新的成果，在 F1-score，MCA 和 MPCA 指标方面超越了当前最新技术。
social group activity recognitionself-supervised transformerssatio-temporal informationgroup activity recognitiontransformer-based encoders
发现论文，激发创造
  • SPARTAN：自监督时空 Transformer 方法用于群体活动识别

    本文提出了一种新的、简单、有效的自我监督空间时间变换器（SPARTAN）方法来使用未标记的视频数据对小组活动识别（GAR）进行识别。该方法采用 encoder 提取视频特征，并进行长期关系建模，通过处理不同的空间尺度和帧率来进行自我监督训练，最终在 NBA 和排球数据集上显著优于现有的最先进算法。

    Mar, 2023

  • 流媒体视频中的自监督式多角色社交活动理解

    在这项研究中，我们提出了一种基于多演员预测学习的自监督方法，用于流媒体视频中的社交活动识别。通过使用视觉语义图结构，我们对社交互动进行建模，从而实现了关系推理，使其在具有最少标记数据的情况下具有鲁棒性表现。该方法在标准群体活动识别基准上取得了竞争性的性能，并通过三个公开可用的动作定位基准的评估证明了其可泛化到任意动作定位的能力。

    Jun, 2024

  • 弱监督群体活动识别的社交适应模块

    本文提出了一种名为弱监督组活动识别 (GAR) 的新任务，通过利用社交自适应模块 (SAM) 从嘈杂数据中推理关键人物和帧，改善了 NBA 数据集和常用排球数据集的识别准确率。

    Jul, 2020

  • REACT：普遍识别每个行为的即刻地点

    REACT 是一种新颖的架构，受到了 Transformer 编码器 - 解码器模型的启发，旨在模拟视频中复杂的上下文关系，包括多模态和时空特征的交互。该方法在广泛的实验证明，在识别和理解群体活动方面表现出优越的准确性，为细致的场景理解提供了稳健的框架。

    Nov, 2023

  • 基于 Actor-Transformers 的群体活动识别

    本文提出一种基于 actor-transformer model 认知视频中的个人行为和组群活动的模型，并通过 2D 姿态网络和 3D CNN 等方式提供丰富的个人动态和静态信息表示，从而在公开数据集上取得了显著的效果。

    Mar, 2020

  • 社会团体活动识别中高效注意力变换器的设计与分析

    社会群体活动识别研究了使用注意力模块和变压器来生成社会群体特征，并通过优化设计特征聚合和自注意力模块的方法来提高活动识别效果。

    Apr, 2024

  • 无检测器弱监督群体活动识别

    本研究提出了一种新的基于 Transformer 模型的团队活动识别方法，该方法借助注意机制对部分环节进行定位与编码，再对其进行聚合以反映整个活动的完整背景和每个环节的时间演化，无需借助较强的监督方法，在两个基准测试中均表现良好。

    Apr, 2022

  • 辅助流动运动学习网络用于无监督组动作识别

    弱监督群体活动识别（WSGAR）旨在通过视频级标签而不使用参与者级标签来理解群体共同参与的活动。提出了一种用于 WSGAR 的流辅助运动学习网络（Flaming-Net），它由具有运动感知能力的参与者编码器和用于推断参与者之间的交互和活动的双路径关系模块组成。Flaming-Net 在训练阶段利用额外的光流信息来增强其对运动的感知能力，以便找到局部活动的参与者。关系模块的第一路径，即以参与者为中心的路径，首先捕捉个体参与者的时间动态，然后构建参与者之间的相互关系。同时，以群体为中心的路径在同一时间框架内建立参与者之间的空间连接，然后捕捉它们之间的同时空间动态。我们证明 Flaming-Net 在两个基准数据集上取得了新的最先进的 WSGAR 结果，包括 NBA 数据集上高出 2.8% p 的 MPCA 分数。重要的是，我们只在训练过程中使用光流信息，而不在推断过程中使用。

    May, 2024

  • GroupFormer: 带有空间 - 时间聚类 Transformer 的群体活动识别

    本文引入 GroupFormer 网络解决团体动作识别中空间 - 时间交互作用的问题，采用聚类的空间 - 时间变换器动态地将个体群组化，模型个体和群组的特征，融合了空间 - 时间背景上下文信息。实验结果表明该模型优于现有状态的方法。

    Aug, 2021

  • 姿态即可：基于姿态的群体活动识别系统 (POGARS)

    提出了一种基于姿势跟踪的团体活动识别方法（POGARS），它采用一维卷积神经网络来学习参与团体活动的个体的时空动态，并使用空间和时间注意机制进行个人重要性推断和多任务学习，与现有方法相比，POGARS 在具有广泛使用的排球数据集上取得了极具竞争力的成果，并表明 POGARS 比使用 RGB 作为输入的方法具有更好的泛化性能。

    Aug, 2021