社会团体活动识别中高效注意力变换器的设计与分析
本论文提出了一种基于注意力模块和 transformers 模型的社交群组活动识别新框架,该方法在 Volleyball 和 Collective Activity 数据集上表现优于现有技术。
Jul, 2022
本文提出一种基于 actor-transformer model 认知视频中的个人行为和组群活动的模型,并通过 2D 姿态网络和 3D CNN 等方式提供丰富的个人动态和静态信息表示,从而在公开数据集上取得了显著的效果。
Mar, 2020
本研究提出了一种新的基于 Transformer 模型的团队活动识别方法,该方法借助注意机制对部分环节进行定位与编码,再对其进行聚合以反映整个活动的完整背景和每个环节的时间演化,无需借助较强的监督方法,在两个基准测试中均表现良好。
Apr, 2022
本文提出了一种使用自我监督变压器网络的社交组活动识别(SoGAR)的新方法,可以有效利用未标记的视频数据,通过利用变化的帧率创建局部和全局视图来提取空时信息,并通过提取来自同一视频的对比视图的特征的自我监督目标,确保跨空时域中的特征是一致的。该方法在使用变压器模型方面具有高效性,可以沿着空时维度建模长期关系,并在三个小组活动识别基准测试中取得了最新的成果,在 F1-score,MCA 和 MPCA 指标方面超越了当前最新技术。
Apr, 2023
本文引入 GroupFormer 网络解决团体动作识别中空间 - 时间交互作用的问题,采用聚类的空间 - 时间变换器动态地将个体群组化,模型个体和群组的特征,融合了空间 - 时间背景上下文信息。实验结果表明该模型优于现有状态的方法。
Aug, 2021
提出了一种基于自监督 Transformer 模型的人类目标注意力扩散和分割模型,其通过图像中不同区域之间的特征亲和信号实现目标内的注意力扩散。研究发现,基于该模型的亲和扩散能够显著提高自然图片中对象分组的准确性,为评估不同视觉表征学习模型提供了新的基准。
Jun, 2023
在计算机视觉领域,团体活动识别是一个热门话题。通过对团体关系进行活动识别,在视频分析、监控、自动驾驶和理解社交活动等各种场景中具有实际意义。本文综述了团体活动识别技术的现有研究进展,重点关注全局交互性和活动。首先,全面回顾了相关文献和各种团体活动识别方法,从传统方法到基于空间结构、描述符、非深度学习、分层循环神经网络(HRNN)、关系模型和注意机制的最新方法。其次,针对每个模块提出了关系网络和关系架构。第三,调查了团体活动识别的方法,并将其性能与最先进的技术进行了比较。总结了现有的挑战,并为新手提供了全面的指导,以便理解团体活动识别。此外,还回顾了团体活动识别中的新视角,探索了新的方向和可能性。
Jul, 2023
提出了两个新的模块,Grouped Self-Attention 和 Compressed Cross-Attention,可在小超参数限制下实现序列长度为 $l$ 的 $O (l)$ 的计算空间和时间复杂度,并且可以捕捉局部的同时考虑全局信息,实验表明,预测时间序列数据时,我们提出的模型展示了降低计算复杂度的高效性,且性能可与现有方法相当甚至更好。
Oct, 2022
提出了一种关注社交图转换网络的多模态轨迹预测方法,它结合了图卷积网络和 Transformer 网络,并通过生成稳定分辨率的伪图像来处理空时图,还设计了关注社交交互信息的模块。实验证明该模型在多个度量指标上最大限度地降低了位移误差,并显著减少碰撞的可能性,同时具备长时间预测的能力。
Dec, 2023