CVPRApr, 2022

Dual-AI: 面向团体活动识别的双路演员相互作用学习

PDF
TL;DR提出 Dual-path Actor Interaction (DualAI) 框架和 Multi-scale Actor Contrastive Loss (MAC-Loss) 方法，通过可灵活布置空间和时间转换器、自监督 actor 一致性、二交互路径的 Multi-scale Actor Contrastive Loss (MAC-Loss) 等手段，增强演员之间的关系，并通过融合不同演员的特征来提高群体活动识别的性能。在多个数据集上的实验表明，该方法具有很好的推广能力，在有限监督的情况下仍能取得最先进的性能。
group activity recognitiondual-path actor interaction frameworkmulti-scale actor contrastive lossspatial-temporal relationlimited supervision
发现论文，激发创造
  • 基于 Actor-Transformers 的群体活动识别

    本文提出一种基于 actor-transformer model 认知视频中的个人行为和组群活动的模型，并通过 2D 姿态网络和 3D CNN 等方式提供丰富的个人动态和静态信息表示，从而在公开数据集上取得了显著的效果。

    Mar, 2020

  • 学习演员关系图用于群体活动识别

    本文提出了一种基于深度学习和 Actor Relation Graph（ARG）的方法，用于高效地学习和建模多人场景中演员之间的关系，并在两个标准数据集上取得了现有最佳表现

    Apr, 2019

  • 异步交互聚合用于动作检测

    通过异步交互聚合网络 (AIA) 和交互聚合结构 (IA) 进行多类型交互模型和整合，以及异步记忆更新算法 (AMU)，动态建模长期交互，极大地提高了视频动作检测的性能，并在 AVA 数据集上实现了新的最佳性能。

    Apr, 2020

  • 流媒体视频中的自监督式多角色社交活动理解

    在这项研究中，我们提出了一种基于多演员预测学习的自监督方法，用于流媒体视频中的社交活动识别。通过使用视觉语义图结构，我们对社交互动进行建模，从而实现了关系推理，使其在具有最少标记数据的情况下具有鲁棒性表现。该方法在标准群体活动识别基准上取得了竞争性的性能，并通过三个公开可用的动作定位基准的评估证明了其可泛化到任意动作定位的能力。

    Jun, 2024

  • 基于时空邻近感知的全景活动识别双通道模型

    全景活动识别 (PAN) 旨在在拥挤的全景场景中识别多样化的人类活动，从个体动作到社交群体和全球活动。为了解决 PAN 面临的两个主要挑战，我们提出了基于社交接近度感知的双通道网络 (SPDP-Net)。该网络基于两个关键设计原则：首先，考虑个体之间的时空接近度，对于正确理解社交动态来说至关重要；其次，引入双路径架构进行多粒度活动识别，其中包括个体到全球和个体到社交的路径，通过多层次通过全局和局部上下文相互强化彼此的任务。通过大量实验证明了个体之间的时空接近度和双通道架构在 PAN 中的有效性。此外，SPDP-Net 在 JRDB-PAN 数据集上取得了 46.5% 的整体 F1 分数，达到了新的最先进的性能水平。

    Mar, 2024

  • MLP-AIR: 基于 MLP 的高效演员交互关系学习方法在团体活动识别中的应用

    该论文提出了一种 MLP-AIR 方法用于在团体活动识别任务中学习演员空间和时间互动关系，相较于 GCNs 和 Transformers 的方法，该方法能够获得不错的结果，但具备低复杂度。

    Apr, 2023

  • 多智能体注意力活动识别

    通过多智能体空间时间关注模型，智能选择观测到的信息和关联的运动方式来完成并优化活动识别任务。在四种真实世界数据集上的实验结果表明，该模型优于现有的方法。

    May, 2019

  • 渐进式关系学习用于群体活动识别

    本研究提出了一种基于深度强化学习的新方法，通过构建语义关系图来显式地对人之间的关系进行建模，并应用两个代理来逐步优化低层次的空间 - 时间特征和高层次的语义关系，在离散动作空间中，特征蒸馏代理通过提炼最具信息量的关键帧来优化低层次特征，在连续动作空间中，关系门控代理调整高层次的语义图以更多地关注与群体相关的关系，实验结果表明，该方法在两个广泛应用的基准上具有有效性和优越性。

    Aug, 2019

  • 分层深度时间模型用于群体活动识别

    本文针对视频序列中的团体活动行为分类问题，基于 LSTM 模型构建了一个 2 阶段的深度时间模型，同时考虑了个体和群体层面的动态信息，通过在排球视频数据集上的实验验证了该模型的有效性。

    Jul, 2016

  • 在视频中联合学习社交群体、个体动作和子群体活动

    本文提出了一个端到端的可训练框架来解决人类活动理解中的社交任务。该框架同时分组人们，预测他们的个人行为和每个社交团体的社交活动，并提供了新的数据集注释。

    Jul, 2020