动作搜索：在视频中识别动作及其在时间动作定位中的应用

ECCVJun, 2017

动作搜索：在视频中识别动作及其在时间动作定位中的应用

Action Search: Spotting Actions in Videos and Its Application to Temporal Action Localization

Humam Alwassel, Fabian Caba Heilbron, Bernard Ghanem

TL;DR本文提出了基于观察视频小部分来查找视频中特定动作的新问题：视频中的动作识别，并使用递归神经网络模仿人类查找动作的方式，同时建立了 Human Searches 数据集，从中得到人类注释者的行为数据，用于解决动作识别中缺乏数据的问题，实验表明，该模型不仅能够在观察视频的平均 17.3％的情况下高效地探索视频，还能以 30.8％的平均精度准确地找到人类活动。

Abstract

State-of-the-art temporal action detectors inefficiently search the entire video for specific actions. Despite the encouraging progress these methods achieve, it is crucial to design automated approaches that only explore parts of the video which are the most relevant to the actions be

temporal action detectors action spotting in video recurrent neural network human searches dataset temporal action localization

发现论文，激发创造

足球视频中动作检测的上下文感知损失函数

本文提出了一种新的损失函数，它特别考虑了每个动作周围的时间上下文，而不是只关注于单个时间戳，然后在 SoccerNet 上测试表现，取得了 12.8％的改进，同时展示了该方法用于通用活动提议和检测的泛化能力，进而探讨了足球视频中动作定位的挑战和损失函数如何用于自动生成亮点。

Dec, 2019

稀疏时域池化网络弱监督动作定位

该篇论文提出了一种利用卷积神经网络进行弱监督时间动作定位的算法，其通过学习视频级别的类标签来预测人类动作的时间区间，利用注意力模块鉴别与目标动作有关的重要片段，并通过自适应时间池化融合这些关键片段，同时在损失函数中考虑视频级别的动作分类误差和这些关键片段的稀疏性，利用类别激活和类别无关的注意力在推断时提取和评分时间建议，以估计与目标动作对应的时间区间，在 THUMOS14 数据集上取得了最先进的结果，并具有卓越的 ActivityNet1.3 性能。

Dec, 2017

关于足球比赛视频中动作检测主动学习的研究

本文提出了一种主动学习框架，通过选择最具信息量的视频样本加速模型训练和优化算法，实现在减少注释工作量的同时提高在足球视频中的行为检测精度，适用于通过降低注释时间，提高数据效率来加速注释运动领域数据集的应用。

Apr, 2023

演员监督的时空动作定位

本文介绍一种视频动作时空本地化的方法，着重于弱监督学习，只需要视频类标签即可。利用演员在动作中的变换特性，引入基于演员提议的算法及注意力机制，对三个行为数据集进行测试，实验结果表明，该方法在弱监督下可以实现与一些强监督学习相当的性能。

Apr, 2018

使用密集检测锚点在足球视频中精确检测动作

通过使用一组密集的检测锚点，预测每个锚点的检测置信度和相应的精细时间位移量，我们提出了一种视频中时间精准行动检测的模型，并尝试了两种主干架构，一维版的 u-net 和 Transformer 编码器 (TE), 并采用锐度感知最小化 (SAM) 和混合数据增强方法进行模型训练，取得了 SoccerNet-v2 数据集上的最新最佳性能，同时证明了预测时间位移量，不同主干架构的权衡，采用 SAM 和 mixup 进行训练的好处等相关实验结果。

May, 2022

在视频中精确定位细粒度事件

我们引入了一个具有精确定位时间、细粒度事件的任务（检测事件发生的确切时刻）。为了实现精确定位，模型需要全局推理活动的整个时间尺度，同时本地识别识别在这些活动期间标识事件的细微帧间外观和运动差异。我们提出了 E2E-Spot，它是一种紧凑的端到端模型，在精确定位任务上表现良好，并可以在单个 GPU 上快速训练。我们证明 E2E-Spot 显着优于最近从视频动作检测、分割和定位文献中调整的基线，用于精确定位任务。最后，我们对多个细粒度运动数据集进行了新的注释和拆分，使这些数据集适用于未来的精确定位研究。

Jul, 2022

足球中的行为识别、定位和时空定位综述 -- 当前趋势与研究视角

足球动作场景理解任务具有挑战性，本文综述了该任务的行为识别、定位和时空动作定位，特别关注了使用的模态和多模态方法，并评估模型性能的可公开获取数据源和度量标准。文章回顾了利用深度学习技术和传统方法的最新状态，重点介绍了多模态方法，这些方法整合了来自多个来源（如视频和音频数据）的信息，以及用各种方式表示一种来源的方法。讨论了方法的优点、限制以及提高模型准确性和鲁棒性的潜力。最后，本文强调了足球动作识别领域中的一些开放性研究问题和未来方向，包括多模态方法推动该领域的潜力。总之，本综述对于对足球动作场景理解领域感兴趣的研究人员提供了宝贵的资源。

Sep, 2023

利用音频和视频流改进足球动作识别

本文提出了一个研究，探讨在足球视频中进行多模态（音频和视频）的动作定位和分类。我们使用了 SoccerNet 基准数据集，并评估了在不同的深度神经网络结构中整合音频流的几种方法，并观察到在动作分类任务和动作定位任务中平均平均精度 (mAP) 指标分别提高了 7.43％和 4.19％。

Nov, 2020

基于深度学习的时空动作检测综述

本文综述了基于深度学习的时空动作检测（STAD）的最新方法及其性能评估，讨论了相关研究的潜在方向。

Aug, 2023

一种基于图形的足球动作检测方法，利用无监督球员分类技术

本文主要介绍了一种基于图的方法，通过将球员、裁判和守门员表示为图中的节点，并将它们的时序交互建模为一系列图形，提高了足球视频中行动定位的准确性，对于该方法的测试结果，对于球员分类任务达到了 97.72% 的准确率，在结合音频和视频多模态信息后行动定位任务的平均 - mAP 表现达到了 57.83%，在与其他基于计算的方法相比表现卓越且可竞争性强。

Nov, 2022