Apr, 2024

ASTRA：一种用于足球视频的动作检测 Transformer

PDF
TL;DR在这篇论文中，我们介绍了 ASTRA，这是一个基于 Transformer 的模型，专门用于足球比赛中的动作识别任务。ASTRA 解决了该任务和数据集中的几个困难，包括对精确动作定位的要求，长尾数据分布的存在，某些动作的不可见性和固有的标签噪声。通过使用 Transformer 编码器解码器架构来实现所需的输出时间分辨率和产生精确预测，平衡的混合策略来处理数据的长尾分布，不确定性感知的位移头来捕获标签的可变性，以及输入音频信号来增强对不可见动作的检测，ASTRA 的有效性得到了验证，在测试集上取得了 66.82 的紧密平均 mAP。此外，在 SoccerNet 2023 动作识别挑战中，我们以 70.21 的平均 mAP 获得了第三名的位置。
发现论文，激发创造
  • 使用密集检测锚点在足球视频中精确检测动作

    通过使用一组密集的检测锚点，预测每个锚点的检测置信度和相应的精细时间位移量，我们提出了一种视频中时间精准行动检测的模型，并尝试了两种主干架构，一维版的 u-net 和 Transformer 编码器 (TE), 并采用锐度感知最小化 (SAM) 和混合数据增强方法进行模型训练，取得了 SoccerNet-v2 数据集上的最新最佳性能，同时证明了预测时间位移量，不同主干架构的权衡，采用 SAM 和 mixup 进行训练的好处等相关实验结果。

    May, 2022

  • 利用音频和视频流改进足球动作识别

    本文提出了一个研究，探讨在足球视频中进行多模态（音频和视频）的动作定位和分类。我们使用了 SoccerNet 基准数据集，并评估了在不同的深度神经网络结构中整合音频流的几种方法，并观察到在动作分类任务和动作定位任务中平均平均精度 (mAP) 指标分别提高了 7.43％和 4.19％。

    Nov, 2020

  • 特征组合与注意力相遇：百度足球嵌入和基于 Transformer 的时间检测

    本文提出了一种基于多阶段范式的方法，通过使用动作认知模型提取高级语义特征和设计转换器来定位目标事件，以检测和确定足球广播视频中事件的发生时间，并在 SoccerNet-v2 Challenge 中获得了最新的表现，在动作识别和重播地面任务上均表现出最先进的性能。

    Jun, 2021

  • SoccerNet: 一个用于足球视频动作定位的可扩展数据集

    该研究介绍了 SoccerNet，这是一个针对足球视频中动作定位的基准数据集，涵盖 2014 年至 2017 年三个赛季的六个欧洲主要联赛中的 500 场比赛，其中自动分析了 6,637 个事件的时间注释。作者们利用了通用动作识别和检测的最新进展，提供了针对足球事件检测的强大基线。

    Apr, 2018

  • STAR-Transformer：面向人类动作识别的时空交叉注意力变压器

    提出一种名为 STAR-transformer 的模型，该模型可以有效地表示两个跨模态特征为可识别的矢量，并学习到一种高效的多功能特征表示方法。在动作识别领域中，STAR-transformer 的效果显著优于之前的最先进方法。

    Oct, 2022

  • RMS-Net: 足球事件检测的回归和掩蔽

    该论文提出了一种轻量级的、具有模块化特性的网络，用于识别足球比赛中的事件，并且能够同时预测该事件的类别和时间偏移量；在使用标准特征测试时，与当前最新技术相比，该方法的平均精度提高了 3 个百分点，并且与强 2D 骨干网络结合微调后，在测试集上的平均精度提高了超过 10 个百分点。

    Feb, 2021

  • 自适应点引导变形注意力网络用于本地特征一致匹配

    本文提出了一种自适应的、采用了诸多优点的区域引导 Transformer 网络 (ASTR) 来解决图像的局部特征匹配问题，同时考虑了局部一致性和尺度变化的因素，实验结果证明 ASTR 在五个标准基准数据集上的表现超越了现有最先进的方法。

    Mar, 2023

  • 视频动作转换网络

    本文介绍了行动转换器模型用于识别和定位视频剪辑中的人类动作，使用 Transformer 风格的架构聚合人物周围的时空背景特征，通过高分辨率、个性化、类别不可知的查询，该模型自动学习跟踪个人并从他人的动作中获取语义上下文

    Dec, 2018

  • 一种基于图形的足球动作检测方法，利用无监督球员分类技术

    本文主要介绍了一种基于图的方法，通过将球员、裁判和守门员表示为图中的节点，并将它们的时序交互建模为一系列图形，提高了足球视频中行动定位的准确性，对于该方法的测试结果，对于球员分类任务达到了 97.72% 的准确率，在结合音频和视频多模态信息后行动定位任务的平均 - mAP 表现达到了 57.83%，在与其他基于计算的方法相比表现卓越且可竞争性强。

    Nov, 2022

  • 基于 Actor-Transformers 的群体活动识别

    本文提出一种基于 actor-transformer model 认知视频中的个人行为和组群活动的模型，并通过 2D 姿态网络和 3D CNN 等方式提供丰富的个人动态和静态信息表示，从而在公开数据集上取得了显著的效果。

    Mar, 2020