ICCVAug, 2021

GroupFormer: 带有空间 - 时间聚类 Transformer 的群体活动识别

PDF
TL;DR本文引入 GroupFormer 网络解决团体动作识别中空间 - 时间交互作用的问题，采用聚类的空间 - 时间变换器动态地将个体群组化，模型个体和群组的特征，融合了空间 - 时间背景上下文信息。实验结果表明该模型优于现有状态的方法。
group activity recognitionspatial-temporal interactionsgroupformerclustered spatial-temporal transformeractivity-aware semantic representations
发现论文，激发创造
  • 基于 Actor-Transformers 的群体活动识别

    本文提出一种基于 actor-transformer model 认知视频中的个人行为和组群活动的模型，并通过 2D 姿态网络和 3D CNN 等方式提供丰富的个人动态和静态信息表示，从而在公开数据集上取得了显著的效果。

    Mar, 2020

  • 使用 Transformer 挖掘线索进行社交群体活动识别

    本论文提出了一种基于注意力模块和 transformers 模型的社交群组活动识别新框架，该方法在 Volleyball 和 Collective Activity 数据集上表现优于现有技术。

    Jul, 2022

  • 无检测器弱监督群体活动识别

    本研究提出了一种新的基于 Transformer 模型的团队活动识别方法，该方法借助注意机制对部分环节进行定位与编码，再对其进行聚合以反映整个活动的完整背景和每个环节的时间演化，无需借助较强的监督方法，在两个基准测试中均表现良好。

    Apr, 2022

  • 社会团体活动识别中高效注意力变换器的设计与分析

    社会群体活动识别研究了使用注意力模块和变压器来生成社会群体特征，并通过优化设计特征聚合和自注意力模块的方法来提高活动识别效果。

    Apr, 2024

  • 自监督的时空关注社交群体活动识别 (SoGAR)

    本文提出了一种使用自我监督变压器网络的社交组活动识别（SoGAR）的新方法，可以有效利用未标记的视频数据，通过利用变化的帧率创建局部和全局视图来提取空时信息，并通过提取来自同一视频的对比视图的特征的自我监督目标，确保跨空时域中的特征是一致的。该方法在使用变压器模型方面具有高效性，可以沿着空时维度建模长期关系，并在三个小组活动识别基准测试中取得了最新的成果，在 F1-score，MCA 和 MPCA 指标方面超越了当前最新技术。

    Apr, 2023

  • SPARTAN：自监督时空 Transformer 方法用于群体活动识别

    本文提出了一种新的、简单、有效的自我监督空间时间变换器（SPARTAN）方法来使用未标记的视频数据对小组活动识别（GAR）进行识别。该方法采用 encoder 提取视频特征，并进行长期关系建模，通过处理不同的空间尺度和帧率来进行自我监督训练，最终在 NBA 和排球数据集上显著优于现有的最先进算法。

    Mar, 2023

  • 分层深度时间模型用于群体活动识别

    本文针对视频序列中的团体活动行为分类问题，基于 LSTM 模型构建了一个 2 阶段的深度时间模型，同时考虑了个体和群体层面的动态信息，通过在排球视频数据集上的实验验证了该模型的有效性。

    Jul, 2016

  • 分层深层时间模型用于团体活动识别

    通过 LSTM 模型构建 2 阶段深层次模型，从而更好地理解群体活动，利用这些动态实现群体活动识别，实验结果表明，该模型可以有效提高群体活动识别性能。

    Nov, 2015

  • ViewFormer：基于视图引导的 Transformer 模型探索多视角 3D 占位感知的时空建模

    基于 3D 占据率、多视图特征聚合和动态场景的研究，我们提出了 ViewFormer，一个基于 Transformer 的视觉中心框架，具有高度的可扩展性和优越性能。

    May, 2024

  • Cluster-Former: 基于聚类的稀疏变形器，用于长距离依赖编码

    本研究提出了一种基于聚类的稀疏 Transformer 模型，它由滑动窗口层和 Cluster-Former 层组成，能够跨越窗口编码本地序列信息和全局上下文信息，这种新的设计在回答具有长程依赖性的问题时尤其有益，实验结果表明其在多项 QA 基准测试中实现了最先进的性能。

    Sep, 2020