May, 2024

辅助流动运动学习网络用于无监督组动作识别

PDF
TL;DR弱监督群体活动识别（WSGAR）旨在通过视频级标签而不使用参与者级标签来理解群体共同参与的活动。提出了一种用于 WSGAR 的流辅助运动学习网络（Flaming-Net），它由具有运动感知能力的参与者编码器和用于推断参与者之间的交互和活动的双路径关系模块组成。Flaming-Net 在训练阶段利用额外的光流信息来增强其对运动的感知能力，以便找到局部活动的参与者。关系模块的第一路径，即以参与者为中心的路径，首先捕捉个体参与者的时间动态，然后构建参与者之间的相互关系。同时，以群体为中心的路径在同一时间框架内建立参与者之间的空间连接，然后捕捉它们之间的同时空间动态。我们证明 Flaming-Net 在两个基准数据集上取得了新的最先进的 WSGAR 结果，包括 NBA 数据集上高出 2.8% p 的 MPCA 分数。重要的是，我们只在训练过程中使用光流信息，而不在推断过程中使用。
发现论文，激发创造
  • 弱监督群体活动识别的社交适应模块

    本文提出了一种名为弱监督组活动识别 (GAR) 的新任务，通过利用社交自适应模块 (SAM) 从嘈杂数据中推理关键人物和帧，改善了 NBA 数据集和常用排球数据集的识别准确率。

    Jul, 2020

  • 自监督的时空关注社交群体活动识别 (SoGAR)

    本文提出了一种使用自我监督变压器网络的社交组活动识别（SoGAR）的新方法，可以有效利用未标记的视频数据，通过利用变化的帧率创建局部和全局视图来提取空时信息，并通过提取来自同一视频的对比视图的特征的自我监督目标，确保跨空时域中的特征是一致的。该方法在使用变压器模型方面具有高效性，可以沿着空时维度建模长期关系，并在三个小组活动识别基准测试中取得了最新的成果，在 F1-score，MCA 和 MPCA 指标方面超越了当前最新技术。

    Apr, 2023

  • 弱监督高斯网络用于动作检测

    提出一种新的方法 WSGN，使用弱监督学习从视频中标注人类动作，包括视频级别标签，通过学习视频特定以及数据集范围内的统计信息来预测每个帧对于动作类别的相关性，可在两项标准测试中显著提高动作检测效果并且在 Charades 数据集上弱监督方法与有监督方法之间只有 0.3% mAP 的差距。

    Apr, 2019

  • 渐进式关系学习用于群体活动识别

    本研究提出了一种基于深度强化学习的新方法，通过构建语义关系图来显式地对人之间的关系进行建模，并应用两个代理来逐步优化低层次的空间 - 时间特征和高层次的语义关系，在离散动作空间中，特征蒸馏代理通过提炼最具信息量的关键帧来优化低层次特征，在连续动作空间中，关系门控代理调整高层次的语义图以更多地关注与群体相关的关系，实验结果表明，该方法在两个广泛应用的基准上具有有效性和优越性。

    Aug, 2019

  • 多级序列 GAN 用于组活动识别

    提出一种新颖的半监督、多层级顺序生成对抗网络（MLS-GAN）架构来进行群体活动识别，该网络架构利用个人和场景等级的特征，通过 LSTMs 实现映射，通过新颖的门控融合单元进行基于动作的特征融合，学习当前群体活动的中间表示或 “动作代码”，并具有半监督行为，可实现群体动作分类，相较于其他结构表现出更优秀的效果。

    Dec, 2018

  • 学习演员关系图用于群体活动识别

    本文提出了一种基于深度学习和 Actor Relation Graph（ARG）的方法，用于高效地学习和建模多人场景中演员之间的关系，并在两个标准数据集上取得了现有最佳表现

    Apr, 2019

  • 基于时序分离结构的弱监督多动作检测循环网络

    本文提出了一种 STAR 网络，用于弱监督多个动作的检测，借助于注意力机制聚合视频片段并使用改进的循环神经网络建立动作之间的时间关系。同时，使用 ST-GradCAM 来生成更精确的时间提案，实验表明本方法在 THUMOS'14 和 ActivityNet1.3 数据集上性能优于现有的弱监督方法，并与全监督方法性能相当。

    Nov, 2018

  • 流媒体视频中的自监督式多角色社交活动理解

    在这项研究中，我们提出了一种基于多演员预测学习的自监督方法，用于流媒体视频中的社交活动识别。通过使用视觉语义图结构，我们对社交互动进行建模，从而实现了关系推理，使其在具有最少标记数据的情况下具有鲁棒性表现。该方法在标准群体活动识别基准上取得了竞争性的性能，并通过三个公开可用的动作定位基准的评估证明了其可泛化到任意动作定位的能力。

    Jun, 2024

  • REACT：普遍识别每个行为的即刻地点

    REACT 是一种新颖的架构，受到了 Transformer 编码器 - 解码器模型的启发，旨在模拟视频中复杂的上下文关系，包括多模态和时空特征的交互。该方法在广泛的实验证明，在识别和理解群体活动方面表现出优越的准确性，为细致的场景理解提供了稳健的框架。

    Nov, 2023

  • ACGNet: 基于动作补充图网络的弱监督时序动作定位

    本文提出了一种基于图卷积神经网络的新方法 ACGNet，用于增强视频级别标注数据下的弱监督时序动作定位问题，取得了在 THUMOS'14 和 ActivityNet1.2 数据集上的优越结果。

    Dec, 2021