POTLoc: 基于伪标签的点监督 Transformer 模型用于时态动作定位

Oct, 2023

POTLoc: 基于伪标签的点监督 Transformer 模型用于时态动作定位

POTLoc: Pseudo-Label Oriented Transformer for Point-Supervised Temporal Action Localization

Elahe Vahdani, Yingli Tian

TL;DR这篇论文提出了 POTLoc，一种基于伪标签导向的变压器，利用仅有的点级注释来进行弱监督的动作定位。POTLoc 通过自我训练策略来识别和追踪连续的动作结构，结合了变压器和时间特征金字塔的架构，通过伪标签来辅助变压器更好地学习动作动态，在 THUMOS'14 和 ActivityNet-v1.2 数据集上表现出优异性能，相较于现有的点级监督方法平均 mAP 提升了 5%。

Abstract

This paper tackles the challenge of point-supervised temporal action detection, wherein only a single frame is annotated for each action instance in the training set. Most of the current methods, hindered by the sparse nature of annotated points, struggle to effectively represent the continuous structure of actions or the inherent temporal and semantic depen

point-supervised temporal action detection potloc pseudo-labels transformer weakly-supervised action localization

发现论文，激发创造

点级监督的行动定位

该论文提出一种基于点监督的行为识别方法，利用无监督的时空提案提取视频中的候选区域，并通过稀疏的点注释指导模型训练，在测试时通过伪点对提案进行筛选，实验结果表明该方法在行为识别上与传统的注释方法不相上下，且能够更好地应对数据的噪声与稀疏性。

May, 2018

基于提议的时间动作定位与点级监督

提出了一种用于点级别监督时序动作定位的新方法，通过生成和评估具有灵活时长的动作提案来定位动作，利用聚类算法生成密集伪标签提供更强的监督，并利用精细的对比损失进一步提高伪标签的质量，实验证明该方法在多个基准数据集上达到了与最先进方法相媲美甚至更好的性能。

Oct, 2023

点级弱监督时域动作定位中的子动作原型学习

通过子动作原型学习框架，包括子动作原型聚类和有序原型对齐，提出了一种弱监督时间动作定位方法，从对齐结果中生成伪标签来改善动作边界预测，并在三个流行基准测试中显著超越现有最优方法。

Sep, 2023

从视频标签和伪标注中本地化动作

本文提出了一种使用视觉线索代替手动点注释的伪注释，引入了五种伪注释，并提出了一个自动选择和组合它们的相关性度量，从而实现只通过分类标签确定视频中动作的时空位置的算法。在具有挑战性的行动定位数据集上的彻底评估显示，我们达到了与完全盒子监督结果相当的结果。我们还展示了伪注释如何在测试期间被利用来改善弱监督和强监督本地化器。

Jul, 2017

通过弥合伪标签中的训练测试差距来提高弱监督的时间动作定位

该研究提出了一种有效的管道来学习更好的伪标签，其中含有高斯加权融合模块，伪标签作为一个在约束条件下的优化问题，以及 Delta 伪标签的概念，实现了超出现有方法的优越表现。

Apr, 2023

从点中学习行为完整性，弱监督时空动作定位

本文提出了一种新框架，生成密集伪标签以提供完整性指导，通过优化序列来学习完整性，并引入两个新的损失以对比动作分数和特征相似性，实现了动作实例的准确定位，相较于现有最先进的方法，这种方式的标注成本还更低。

Aug, 2021

基于点标注的提议的动作定位

该研究旨在通过在视频中对稀疏的一些帧上标注动作的点，利用重叠度量和多实例学习优化的目标，而非繁琐的矩形框注释来提高视频中行动的时空本地化性能，并展示了从 Hollywood2 训练和测试视频得到的 Spatio-temporal 行动注释，即《Hollywood2Tubes》。

Apr, 2016

基于代表性片段知识传播的弱监督时态动作定位

该研究提出了一种代表性摘要和传播框架，通过在视频中挖掘代表性片段来传播信息以生成更好的伪标签，从而解决了分类和定位之间的差异问题，并在 THUMOS14 和 ActivityNet1.3 数据集上取得了比现有方法更好的性能。

Mar, 2022

使用深度度量学习进行弱监督时序动作定位

本文介绍了一种弱监督的时间动作定位方法，该方法只需要视频级别的动作实例作为训练数据，在视频的每个片段中生成行为标签，并学习不同动作实例之间的相似性，实验表明该方法在两个视频数据集上取得了有竞争力的结果。

Jan, 2020

AutoLoc: 弱监督时序动作定位

本文提出了一种基于弱监督的时序动作定位框架 AutoLoc, 运用 Outer-Inner-Contrastive (OIC) 损失函数，通过自动发现分段级别监督训练出定位模型，模型在 THUMOS'14 数据集中，IoU 阈值为 0.5 时，平均精度从 13.7% 提高至 21.2%，在 ActivityNet 数据集中，平均精度从 7.4% 提高至 27.3%。

Jul, 2018