ECCVJul, 2022

使用 Transformer 挖掘线索进行社交群体活动识别

PDF
TL;DR本论文提出了一种基于注意力模块和 transformers 模型的社交群组活动识别新框架，该方法在 Volleyball 和 Collective Activity 数据集上表现优于现有技术。
social group activity recognitionattention modulestransformersgroup member informationexperimental results
发现论文，激发创造
  • 社会团体活动识别中高效注意力变换器的设计与分析

    社会群体活动识别研究了使用注意力模块和变压器来生成社会群体特征，并通过优化设计特征聚合和自注意力模块的方法来提高活动识别效果。

    Apr, 2024

  • 基于 Actor-Transformers 的群体活动识别

    本文提出一种基于 actor-transformer model 认知视频中的个人行为和组群活动的模型，并通过 2D 姿态网络和 3D CNN 等方式提供丰富的个人动态和静态信息表示，从而在公开数据集上取得了显著的效果。

    Mar, 2020

  • 无检测器弱监督群体活动识别

    本研究提出了一种新的基于 Transformer 模型的团队活动识别方法，该方法借助注意机制对部分环节进行定位与编码，再对其进行聚合以反映整个活动的完整背景和每个环节的时间演化，无需借助较强的监督方法，在两个基准测试中均表现良好。

    Apr, 2022

  • GroupFormer: 带有空间 - 时间聚类 Transformer 的群体活动识别

    本文引入 GroupFormer 网络解决团体动作识别中空间 - 时间交互作用的问题，采用聚类的空间 - 时间变换器动态地将个体群组化，模型个体和群组的特征，融合了空间 - 时间背景上下文信息。实验结果表明该模型优于现有状态的方法。

    Aug, 2021

  • 计算机视觉中的群体活动识别：综述，挑战和未来展望

    在计算机视觉领域，团体活动识别是一个热门话题。通过对团体关系进行活动识别，在视频分析、监控、自动驾驶和理解社交活动等各种场景中具有实际意义。本文综述了团体活动识别技术的现有研究进展，重点关注全局交互性和活动。首先，全面回顾了相关文献和各种团体活动识别方法，从传统方法到基于空间结构、描述符、非深度学习、分层循环神经网络（HRNN）、关系模型和注意机制的最新方法。其次，针对每个模块提出了关系网络和关系架构。第三，调查了团体活动识别的方法，并将其性能与最先进的技术进行了比较。总结了现有的挑战，并为新手提供了全面的指导，以便理解团体活动识别。此外，还回顾了团体活动识别中的新视角，探索了新的方向和可能性。

    Jul, 2023

  • 在视频中联合学习社交群体、个体动作和子群体活动

    本文提出了一个端到端的可训练框架来解决人类活动理解中的社交任务。该框架同时分组人们，预测他们的个人行为和每个社交团体的社交活动，并提供了新的数据集注释。

    Jul, 2020

  • 集体活动识别的潜在嵌入

    本文提出了一种嵌入潜在变量的深度学习框架，具有关注机制，可用于在集体活动场景中捕捉更丰富的交互信息和背景信息，取得了优于现有方法的性能。

    Sep, 2017

  • 自监督的时空关注社交群体活动识别 (SoGAR)

    本文提出了一种使用自我监督变压器网络的社交组活动识别（SoGAR）的新方法，可以有效利用未标记的视频数据，通过利用变化的帧率创建局部和全局视图来提取空时信息，并通过提取来自同一视频的对比视图的特征的自我监督目标，确保跨空时域中的特征是一致的。该方法在使用变压器模型方面具有高效性，可以沿着空时维度建模长期关系，并在三个小组活动识别基准测试中取得了最新的成果，在 F1-score，MCA 和 MPCA 指标方面超越了当前最新技术。

    Apr, 2023

  • 分层深度时间模型用于群体活动识别

    本文针对视频序列中的团体活动行为分类问题，基于 LSTM 模型构建了一个 2 阶段的深度时间模型，同时考虑了个体和群体层面的动态信息，通过在排球视频数据集上的实验验证了该模型的有效性。

    Jul, 2016

  • 群体活动识别的深度结构模型

    本文提出了一种基于深度神经网络和分层图模型的个人和群体活动监测方案，使用深度网络识别场景中个人的动作，并通过考虑类别间的依赖关系使用神经网络分层图模型完善每个类别的预测标签，该方法能有效改善基准测试方法的识别率。

    Jun, 2015