MMAug, 2019

弱监督环境下的对抗生成种子序列进行时序动作定位

PDF
TL;DR本文提出了一种用弱监督方法实现动作检测的新型框架，该框架由两个模块组成，第一个模块是种子序列生长网络，第二个模块是矿化普通或不完整的动作区域的分类器；通过对这两个模块的对抗式学习，该框架可以获得比现有方法更优异的性能。
发现论文，激发创造
  • 基于时序分离结构的弱监督多动作检测循环网络

    本文提出了一种 STAR 网络，用于弱监督多个动作的检测，借助于注意力机制聚合视频片段并使用改进的循环神经网络建立动作之间的时间关系。同时，使用 ST-GradCAM 来生成更精确的时间提案，实验表明本方法在 THUMOS'14 和 ActivityNet1.3 数据集上性能优于现有的弱监督方法，并与全监督方法性能相当。

    Nov, 2018

  • 无监督行动分割的 Action Shuffle 交替学习

    本文介绍了一种使用自监督学习和 RNN/HMM 算法实现无监督动作分割的方法，该方法优于现有技术在多个数据集上的表现。

    Apr, 2021

  • 基于生成式注意模型的弱监督动作定位

    本文提出了一种使用条件变分自编码器模型来处理弱监督下的动作定位问题的方法，通过建立一个概率模型来模拟每一帧在给定关注度的情况下应当属于动作或非动作中的哪一类，从而有效地解决了动作与上下文之间相互混淆的问题。

    Mar, 2020

  • 稀疏时域池化网络弱监督动作定位

    该篇论文提出了一种利用卷积神经网络进行弱监督时间动作定位的算法，其通过学习视频级别的类标签来预测人类动作的时间区间，利用注意力模块鉴别与目标动作有关的重要片段，并通过自适应时间池化融合这些关键片段，同时在损失函数中考虑视频级别的动作分类误差和这些关键片段的稀疏性，利用类别激活和类别无关的注意力在推断时提取和评分时间建议，以估计与目标动作对应的时间区间，在 THUMOS14 数据集上取得了最先进的结果，并具有卓越的 ActivityNet1.3 性能。

    Dec, 2017

  • 弱监督时序动作分割的混合 RNN-HMM 方法

    提出了一种层次化方法，通过结构化识别来解决从有序动作标签中弱监督学习人类动作的问题，并将一帧 RNN 模型与粗略概率推理相结合，以实现长序列的时间对齐和迭代训练。

    Jun, 2019

  • 基于时序对比学习的细粒度弱监督时序动作定位

    本论文旨在提高弱监督行动定位任务的性能，通过设计了 Fine-grained Sequence Distance（FSD）对比和 Longest Common Subsequence（LCS）对比两个互补型对比模块（Contrastive Objectives），解决了现有方法中分类学习与本地化学习之间的严重模糊性问题。

    Mar, 2022

  • 弱监督高斯网络用于动作检测

    提出一种新的方法 WSGN，使用弱监督学习从视频中标注人类动作，包括视频级别标签，通过学习视频特定以及数据集范围内的统计信息来预测每个帧对于动作类别的相关性，可在两项标准测试中显著提高动作检测效果并且在 Charades 数据集上弱监督方法与有监督方法之间只有 0.3% mAP 的差距。

    Apr, 2019

  • 多层监督的时间动作检测

    研究介绍在视频中训练时序动作检测需要大量标记数据，使用半监督学习和未标记数据可以降低标记成本。提出了一个半监督动作检测任务，设计了无监督前景注意力和信息瓶颈方法来提高性能并评估其在标记，未标记和弱标记数据下的表现。

    Nov, 2020

  • 级联金字塔挖掘网络在弱监督时序动作定位中的应用

    本文介绍了一种名为级联金字塔挖掘网络的新型体系结构，旨在通过两个有效模块解决弱监督的时间动作定位问题，并在 THUMOS14 和 ActivityNet-1.3 数据集上进行了广泛的实验和验证。

    Oct, 2018

  • 基于背景建模的弱监督动作定位

    该研究提出了一种潜在方法，利用注意力模型进行弱监督学习，其可以检测出影片中的动作，而无需特定类别的标签， 并利用弱监督学习进行比较准确的学习和定位，成功地应用于 Instagram 中的不加筛选的视频之间。

    Aug, 2019