视频动作检测端到端半监督学习

CVPRMar, 2022

End-to-End Semi-Supervised Learning for Video Action Detection

Akash Kumar, Yogesh Singh Rawat

TL;DR提出一种利用半监督学习方法，结合已标注和未标注数据对视频行为检测进行改进的方法，其中使用分类一致性和时空一致性约束，提出了两个新的正则化约束条件，即时间相关性和梯度平滑性，以处理视频中存在的背景和固定区域，进而实现更好的检测效果。在 UCF101-24 数据集上，仅仅使用已标注数据的 20％，该方法就比最近的完全监督式方法提高了 8.9％和 11％，且在 Youtube-VOS 上的视频对象分割上也表现出了很好的泛化能力。

Abstract

In this work, we focus on semi-supervised learning for video action detection which utilizes both labeled as well as unlabeled data. We propose a simple end-to-end consistency based approach which effectively uti

semi-supervised learning video action detection spatio-temporal consistency regularization constraints unlabeled data utilization

发现论文，激发创造

一种灵活的动作定位训练模型，具有不同程度的监督

提出了一种基于磁盘聚类的统一框架，它可以处理和结合不同类型的较低需求的弱监督，从视频中监测时空活动，并将其应用于训练设置中的不同类型的监督信号实验结果证明：该模型在 UC101-24 和 DALY 数据集上具有竞争性能，而且与之前的方法相比，使用的监督信号更少。

Jun, 2018

半监督主动学习视频行为检测

本文主要研究标签高效学习、视频动作检测、半监督主动学习、信息样本选择和时空定位等主题。提出了一个半监督主动学习方法，利用标记和未标记数据以及信息样本选择来进行动作检测。通过提出的噪声增强和基于高通滤波的关注机制（fft-attention）等技术，提高了半监督学习在视频动作检测中的准确性和泛化能力。通过在 UCF-101-24、JHMDB-21 和 Youtube-VOS 等数据集上的实验证明了该方法的有效性。

Dec, 2023

从未剪辑的视频中识别不确定动作

本文提出了一种基于视频级别标签进行训练的视频动作识别模型，该模型利用大型图像数据集中训练的逐帧人物检测器，在多实例学习框架内实现。此外，我们使用新的概率多实例学习方法来估计每个预测的不确定性，并在 AVA 数据集上取得了第一个弱监督结果，在 UCF101-24 上获得了弱监督方法的最新成果。

Jul, 2020

多层监督的时间动作检测

研究介绍在视频中训练时序动作检测需要大量标记数据，使用半监督学习和未标记数据可以降低标记成本。提出了一个半监督动作检测任务，设计了无监督前景注意力和信息瓶颈方法来提高性能并评估其在标记，未标记和弱标记数据下的表现。

Nov, 2020

连续时间嵌入的无监督动作类别学习

该研究提出了一种基于连续时间嵌入的无监督学习方法，通过鉴别视觉序列中课程的聚类段以实现发现非结构化视频中的动作。该方法被评估在三个数据集上，可以适用于未知情景下的视觉内容分析

Apr, 2019

从视频标签和伪标注中本地化动作

本文提出了一种使用视觉线索代替手动点注释的伪注释，引入了五种伪注释，并提出了一个自动选择和组合它们的相关性度量，从而实现只通过分类标签确定视频中动作的时空位置的算法。在具有挑战性的行动定位数据集上的彻底评估显示，我们达到了与完全盒子监督结果相当的结果。我们还展示了伪注释如何在测试期间被利用来改善弱监督和强监督本地化器。

Jul, 2017

基于背景建模的弱监督动作定位

该研究提出了一种潜在方法，利用注意力模型进行弱监督学习，其可以检测出影片中的动作，而无需特定类别的标签，并利用弱监督学习进行比较准确的学习和定位，成功地应用于 Instagram 中的不加筛选的视频之间。

Aug, 2019

使用伪标签的半监督视频显著目标检测

本论文提出了一种基于半监督学习的视频显著性目标检测方法，使用伪标签从稀疏注释帧中生成像素级伪标签，并结合部分手动注释，学习了空间和时间线索，进而产生准确的显著性图。实验结果表明，我们的方法在 VOS、DAVIS 和 FBMS 三个公共基准测试数据集上均明显优于所有最先进的全监督方法。

Aug, 2019

稀疏时域池化网络弱监督动作定位

该篇论文提出了一种利用卷积神经网络进行弱监督时间动作定位的算法，其通过学习视频级别的类标签来预测人类动作的时间区间，利用注意力模块鉴别与目标动作有关的重要片段，并通过自适应时间池化融合这些关键片段，同时在损失函数中考虑视频级别的动作分类误差和这些关键片段的稀疏性，利用类别激活和类别无关的注意力在推断时提取和评分时间建议，以估计与目标动作对应的时间区间，在 THUMOS14 数据集上取得了最先进的结果，并具有卓越的 ActivityNet1.3 性能。

Dec, 2017

使用深度度量学习进行弱监督时序动作定位

本文介绍了一种弱监督的时间动作定位方法，该方法只需要视频级别的动作实例作为训练数据，在视频的每个片段中生成行为标签，并学习不同动作实例之间的相似性，实验表明该方法在两个视频数据集上取得了有竞争力的结果。

Jan, 2020