半监督主动学习视频行为检测

AAAIDec, 2023

Semi-supervised Active Learning for Video Action Detection

Aayush Singh, Aayush J Rana, Akash Kumar, Shruti Vyas, Yogesh Singh Rawat

TL;DR本文主要研究标签高效学习、视频动作检测、半监督主动学习、信息样本选择和时空定位等主题。提出了一个半监督主动学习方法，利用标记和未标记数据以及信息样本选择来进行动作检测。通过提出的噪声增强和基于高通滤波的关注机制（fft-attention）等技术，提高了半监督学习在视频动作检测中的准确性和泛化能力。通过在 UCF-101-24、JHMDB-21 和 Youtube-VOS 等数据集上的实验证明了该方法的有效性。

Abstract

In this work, we focus on label efficient learning for video action detection. We develop a novel semi-supervised active learning approach which utilizes both labeled as well as unlabeled data along with informat

label efficient learning video action detection semi-supervised active learning informative sample selection spatio-temporal localization

发现论文，激发创造

视频动作检测端到端半监督学习

提出一种利用半监督学习方法，结合已标注和未标注数据对视频行为检测进行改进的方法，其中使用分类一致性和时空一致性约束，提出了两个新的正则化约束条件，即时间相关性和梯度平滑性，以处理视频中存在的背景和固定区域，进而实现更好的检测效果。在 UCF101-24 数据集上，仅仅使用已标注数据的 20％，该方法就比最近的完全监督式方法提高了 8.9％和 11％，且在 Youtube-VOS 上的视频对象分割上也表现出了很好的泛化能力。

Mar, 2022

多层监督的时间动作检测

研究介绍在视频中训练时序动作检测需要大量标记数据，使用半监督学习和未标记数据可以降低标记成本。提出了一个半监督动作检测任务，设计了无监督前景注意力和信息瓶颈方法来提高性能并评估其在标记，未标记和弱标记数据下的表现。

Nov, 2020

使用伪标签的半监督视频显著目标检测

本论文提出了一种基于半监督学习的视频显著性目标检测方法，使用伪标签从稀疏注释帧中生成像素级伪标签，并结合部分手动注释，学习了空间和时间线索，进而产生准确的显著性图。实验结果表明，我们的方法在 VOS、DAVIS 和 FBMS 三个公共基准测试数据集上均明显优于所有最先进的全监督方法。

Aug, 2019

一种灵活的动作定位训练模型，具有不同程度的监督

提出了一种基于磁盘聚类的统一框架，它可以处理和结合不同类型的较低需求的弱监督，从视频中监测时空活动，并将其应用于训练设置中的不同类型的监督信号实验结果证明：该模型在 UC101-24 和 DALY 数据集上具有竞争性能，而且与之前的方法相比，使用的监督信号更少。

Jun, 2018

从未剪辑的视频中识别不确定动作

本文提出了一种基于视频级别标签进行训练的视频动作识别模型，该模型利用大型图像数据集中训练的逐帧人物检测器，在多实例学习框架内实现。此外，我们使用新的概率多实例学习方法来估计每个预测的不确定性，并在 AVA 数据集上取得了第一个弱监督结果，在 UCF101-24 上获得了弱监督方法的最新成果。

Jul, 2020

主动半监督学习的语义分割

提出了通过结合主动学习和半监督学习来减少标注样本数量的新算法，应用于语义分割任务取得了优异的成果。

Mar, 2022

基于背景建模的弱监督动作定位

该研究提出了一种潜在方法，利用注意力模型进行弱监督学习，其可以检测出影片中的动作，而无需特定类别的标签，并利用弱监督学习进行比较准确的学习和定位，成功地应用于 Instagram 中的不加筛选的视频之间。

Aug, 2019

视频中的弱监督行为选择学习

该研究使用 action selection learning（ASL）方法来解决仅拥有视频级别标签的情况下本地化视频中的动作的问题，并在两个流行的基准测试中优于领先的基线，同时还分析了 ASL 的属性和动作性质。

May, 2021

关于足球比赛视频中动作检测主动学习的研究

本文提出了一种主动学习框架，通过选择最具信息量的视频样本加速模型训练和优化算法，实现在减少注释工作量的同时提高在足球视频中的行为检测精度，适用于通过降低注释时间，提高数据效率来加速注释运动领域数据集的应用。

Apr, 2023

主动半监督表示学习的语义分割

本文提出一种新算法，将半监督和主动学习相结合，通过用少量的有标签数据来训练分割算法。我们通过用自我训练方法替换半监督学习的平均教师方法，以处理带有噪声的标签，进一步增强神经网络的能力来查询有用的数据，从而实现了超越现有半监督方法的性能。在 CamVid 和 CityScapes 数据集上评估我们的方法，仅使用了 12.1% 和 15.1% 的标签数据，分别实现了 95% 以上的准确率。

Oct, 2022