CVPRApr, 2018

演员监督的时空动作定位

PDF
TL;DR本文介绍一种视频动作时空本地化的方法，着重于弱监督学习，只需要视频类标签即可。利用演员在动作中的变换特性，引入基于演员提议的算法及注意力机制，对三个行为数据集进行测试，实验结果表明，该方法在弱监督下可以实现与一些强监督学习相当的性能。
spatiotemporal localizationvideo analysisweakly-supervised learningactor-based attentionaction classification
发现论文，激发创造
  • 一种灵活的动作定位训练模型，具有不同程度的监督

    提出了一种基于磁盘聚类的统一框架，它可以处理和结合不同类型的较低需求的弱监督，从视频中监测时空活动，并将其应用于训练设置中的不同类型的监督信号实验结果证明：该模型在 UC101-24 和 DALY 数据集上具有竞争性能，而且与之前的方法相比，使用的监督信号更少。

    Jun, 2018

  • 点级监督的行动定位

    该论文提出一种基于点监督的行为识别方法，利用无监督的时空提案提取视频中的候选区域，并通过稀疏的点注释指导模型训练，在测试时通过伪点对提案进行筛选，实验结果表明该方法在行为识别上与传统的注释方法不相上下，且能够更好地应对数据的噪声与稀疏性。

    May, 2018

  • 从视频标签和伪标注中本地化动作

    本文提出了一种使用视觉线索代替手动点注释的伪注释，引入了五种伪注释，并提出了一个自动选择和组合它们的相关性度量，从而实现只通过分类标签确定视频中动作的时空位置的算法。在具有挑战性的行动定位数据集上的彻底评估显示，我们达到了与完全盒子监督结果相当的结果。我们还展示了伪注释如何在测试期间被利用来改善弱监督和强监督本地化器。

    Jul, 2017

  • 稀疏时域池化网络弱监督动作定位

    该篇论文提出了一种利用卷积神经网络进行弱监督时间动作定位的算法，其通过学习视频级别的类标签来预测人类动作的时间区间，利用注意力模块鉴别与目标动作有关的重要片段，并通过自适应时间池化融合这些关键片段，同时在损失函数中考虑视频级别的动作分类误差和这些关键片段的稀疏性，利用类别激活和类别无关的注意力在推断时提取和评分时间建议，以估计与目标动作对应的时间区间，在 THUMOS14 数据集上取得了最先进的结果，并具有卓越的 ActivityNet1.3 性能。

    Dec, 2017

  • 基于背景建模的弱监督动作定位

    该研究提出了一种潜在方法，利用注意力模型进行弱监督学习，其可以检测出影片中的动作，而无需特定类别的标签， 并利用弱监督学习进行比较准确的学习和定位，成功地应用于 Instagram 中的不加筛选的视频之间。

    Aug, 2019

  • 基于点标注的提议的动作定位

    该研究旨在通过在视频中对稀疏的一些帧上标注动作的点，利用重叠度量和多实例学习优化的目标，而非繁琐的矩形框注释来提高视频中行动的时空本地化性能，并展示了从 Hollywood2 训练和测试视频得到的 Spatio-temporal 行动注释，即《Hollywood2Tubes》。

    Apr, 2016

  • 稀疏空间监督下的人类行为定位

    提出了一种利用稀疏空间监督的方法来进行时空人类行为定位，该方法结合了最先进的人类检测技术和基于检测的跟踪方法来提取人物轨迹，并使用稀疏的空间标注帧来选择正负管道，以实现有效地学习基于稠密轨迹或 CNN 的时空动作检测器。

    May, 2016

  • 基于生成式注意模型的弱监督动作定位

    本文提出了一种使用条件变分自编码器模型来处理弱监督下的动作定位问题的方法，通过建立一个概率模型来模拟每一帧在给定关注度的情况下应当属于动作或非动作中的哪一类，从而有效地解决了动作与上下文之间相互混淆的问题。

    Mar, 2020

  • 层次结构潜在注意力建模的弱监督动作定位

    本文提出了一种基于注意力机制的分层结构潜在模型，用于学习特征语义的时间变化，通过两个组件进行实现：第一个是无监督的变点检测模块，通过在时间层次中学习视频特征的变化率来检测变点；第二个是基于注意力的分类模型，将前景的变点作为边界来选择。通过在两个基准数据集 THUMOS-14 和 ActivityNet-v1.3 上进行广泛实验，结果表明我们的方法优于当前最先进的方法，并且甚至与全监督方法具有可比较的性能。

    Aug, 2023

  • 视频中的弱监督行为选择学习

    该研究使用 action selection learning（ASL）方法来解决仅拥有视频级别标签的情况下本地化视频中的动作的问题，并在两个流行的基准测试中优于领先的基线，同时还分析了 ASL 的属性和动作性质。

    May, 2021