CVPRDec, 2017

稀疏时域池化网络弱监督动作定位

PDF
TL;DR该篇论文提出了一种利用卷积神经网络进行弱监督时间动作定位的算法，其通过学习视频级别的类标签来预测人类动作的时间区间，利用注意力模块鉴别与目标动作有关的重要片段，并通过自适应时间池化融合这些关键片段，同时在损失函数中考虑视频级别的动作分类误差和这些关键片段的稀疏性，利用类别激活和类别无关的注意力在推断时提取和评分时间建议，以估计与目标动作对应的时间区间，在 THUMOS14 数据集上取得了最先进的结果，并具有卓越的 ActivityNet1.3 性能。
weakly supervisedtemporal action localizationconvolutional neural networksattention modulethumos14 dataset
发现论文，激发创造
  • 使用深度度量学习进行弱监督时序动作定位

    本文介绍了一种弱监督的时间动作定位方法，该方法只需要视频级别的动作实例作为训练数据，在视频的每个片段中生成行为标签，并学习不同动作实例之间的相似性，实验表明该方法在两个视频数据集上取得了有竞争力的结果。

    Jan, 2020

  • 使用多阶段 CNN 在未修剪的视频中进行时间动作定位

    本研究提出了一种基于三种分段 3D 卷积神经网络的方法，用于解决未经修剪的长视频中的时间动作定位问题，其中提出网络用于识别可能包含动作的候选段，分类网络以一对多动作分类模型进行学习以作为定位网络的初始化，用于定位每个动作实例。

    Jan, 2016

  • 利用较少标签学习时间动作建议

    本文提出了一种半监督学习算法，用于训练时间动作建议网络，能够在只有很少的标签可用时生成比全监督对照组和其他强半监督基线更好的建议，并验证其在两个具有挑战性的动作检测视频数据集 ActivityNet v1.3 和 THUMOS14 上的有效性，表明我们的半监督方法始终与或优于全监督最先进方法。

    Oct, 2019

  • 基于代表性片段知识传播的弱监督时态动作定位

    该研究提出了一种代表性摘要和传播框架，通过在视频中挖掘代表性片段来传播信息以生成更好的伪标签，从而解决了分类和定位之间的差异问题，并在 THUMOS14 和 ActivityNet1.3 数据集上取得了比现有方法更好的性能。

    Mar, 2022

  • 演员监督的时空动作定位

    本文介绍一种视频动作时空本地化的方法，着重于弱监督学习，只需要视频类标签即可。利用演员在动作中的变换特性，引入基于演员提议的算法及注意力机制，对三个行为数据集进行测试，实验结果表明，该方法在弱监督下可以实现与一些强监督学习相当的性能。

    Apr, 2018

  • 视频中的弱监督行为选择学习

    该研究使用 action selection learning（ASL）方法来解决仅拥有视频级别标签的情况下本地化视频中的动作的问题，并在两个流行的基准测试中优于领先的基线，同时还分析了 ASL 的属性和动作性质。

    May, 2021

  • 动作图：用图卷积网络进行弱监督的动作定位

    本文提出了一种基于图卷积的弱监督动作定位方法，使用相似性图形显式建模视频片段之间的相似性以及动作的子操作，最终在多个数据集上达到了弱监督动作定位的最新水平。

    Feb, 2020

  • 层次结构潜在注意力建模的弱监督动作定位

    本文提出了一种基于注意力机制的分层结构潜在模型，用于学习特征语义的时间变化，通过两个组件进行实现：第一个是无监督的变点检测模块，通过在时间层次中学习视频特征的变化率来检测变点；第二个是基于注意力的分类模型，将前景的变点作为边界来选择。通过在两个基准数据集 THUMOS-14 和 ActivityNet-v1.3 上进行广泛实验，结果表明我们的方法优于当前最先进的方法，并且甚至与全监督方法具有可比较的性能。

    Aug, 2023

  • 基于背景建模的弱监督动作定位

    该研究提出了一种潜在方法，利用注意力模型进行弱监督学习，其可以检测出影片中的动作，而无需特定类别的标签， 并利用弱监督学习进行比较准确的学习和定位，成功地应用于 Instagram 中的不加筛选的视频之间。

    Aug, 2019

  • 一种用于弱监督时序动作定位的混合注意机制

    本论文提出了一种名为 HAM-Net 的新颖框架，该框架采用混合注意机制来解决现有方法中存在的问题，包括对背景活动的建模和完整性的捕捉，实验证明其在多个数据集上均取得了最新的最佳性能。

    Jan, 2021