ICCVAug, 2021

弱监督时序动作定位的前景 - 动作一致性网络

PDF
TL;DR本文提出了一种名为 FAC-Net 的框架，基于 I3D 骨干结构，在其上附加了三个分支，分别是类别感知前景分类分支，类不可知的注意力分支和多实例学习分支。该框架可用于处理高水平视频理解中的弱监督时间行为定位任务，并在 THUMOS14 和 ActivityNet1.3 上取得了最先进的性能。
weakly supervised temporal action localizationforeground selectioni3d backboneclass-wise foreground classificationmultiple instance learning
发现论文，激发创造
  • 弱监督时序动作定位中前景和背景分离的再探：基于聚类的方法

    基于弱监督学习的时间动作定位，通过只用视频级别的动作标签来定位视频中的动作实例。通过无监督的片段聚类，提出了一种基于聚类的前景与背景分割算法，通过产生匹配多个可能的先验分布的高质量伪标签，确保片段的聚类分配与其前景和背景标签的准确关联，从而改善前景和背景分离。在 THUMOS14、ActivityNet v1.2 和 v1.3 的三个基准上评估了该方法，相比之前的方法，我们的方法在所有三个基准上都取得了良好的性能，同时更加轻量级。

    Dec, 2023

  • ACM-Net: 弱监督时间动作定位的动作上下文建模网络

    本文提出了一种称为 ACM-Net 的动作上下文建模网络，它在体现动作实例、上下文和非动作背景部分的同时，采用了三分支注意模块来给每个时间点分手概率，并构建了三分支类激活序列来分别表示这三部分，通过在 THUMOS-14 和 ActivityNet-1.3 上的实验证明了这种方法能够胜过当前最先进的方法，甚至能够与完全监督方法达到可比较的性能水平。

    Apr, 2021

  • 基于背景建模的弱监督动作定位

    该研究提出了一种潜在方法，利用注意力模型进行弱监督学习，其可以检测出影片中的动作，而无需特定类别的标签， 并利用弱监督学习进行比较准确的学习和定位，成功地应用于 Instagram 中的不加筛选的视频之间。

    Aug, 2019

  • 一种用于弱监督时序动作定位的混合注意机制

    本论文提出了一种名为 HAM-Net 的新颖框架，该框架采用混合注意机制来解决现有方法中存在的问题，包括对背景活动的建模和完整性的捕捉，实验证明其在多个数据集上均取得了最新的最佳性能。

    Jan, 2021

  • 弱监督时间动作定位的背景抑制网络

    本文提出背景抑制网络 (BaS-Net) 来解决仅具备视频层级标签、而没有帧级标签的弱监督时序动作定位问题；该网络结构采用两个分支和非对称训练策略来抑制背景帧的激活，有效地提高了动作的定位表现。实验验证表明，BaS-Net 在 THUMOS'14 和 ActivityNet 等基准测试上的表现优于当前最先进的方法。

    Nov, 2019

  • 3C-Net: 弱监督下的动作定位分类计数与中心损失

    提出一种名为 3C-Net 的框架，通过仅使用动作类别标签及其对应数量的视频级监督来学习具有增强本地化能力的判别性动作特征。通过多项联合项来提高动作特征的区分度，以及通过计数损失项来描绘相邻动作序列，从而达到改进本地化的目的，在两个具有挑战性的基准测试中都取得了新的最优效果，代码可在给定链接中找到。

    Aug, 2019

  • 稀疏时域池化网络弱监督动作定位

    该篇论文提出了一种利用卷积神经网络进行弱监督时间动作定位的算法，其通过学习视频级别的类标签来预测人类动作的时间区间，利用注意力模块鉴别与目标动作有关的重要片段，并通过自适应时间池化融合这些关键片段，同时在损失函数中考虑视频级别的动作分类误差和这些关键片段的稀疏性，利用类别激活和类别无关的注意力在推断时提取和评分时间建议，以估计与目标动作对应的时间区间，在 THUMOS14 数据集上取得了最先进的结果，并具有卓越的 ActivityNet1.3 性能。

    Dec, 2017

  • 弱监督时序动作本地化的双流一致性网络

    本文提出了一种名为 Two-Stream Consensus Network (TSCN) 的框架，用于解决在视频级别上监督的情况下，弱化监督下 temporal action localization 的困难问题，并通过新的 attention normalization loss 促进模型训练和消除假阳性行动提议，实验结果表明该方法优于当前最先进的方法，即使在某些最新的全面监督方法中也能取得可比较的结果。

    Oct, 2020

  • 基于生成式注意模型的弱监督动作定位

    本文提出了一种使用条件变分自编码器模型来处理弱监督下的动作定位问题的方法，通过建立一个概率模型来模拟每一帧在给定关注度的情况下应当属于动作或非动作中的哪一类，从而有效地解决了动作与上下文之间相互混淆的问题。

    Mar, 2020

  • ACSNet: 用于弱监督时序动作定位的动作 - 上下文分离网络

    本文引入了 ACSNet 以达到精确的弱监督时间动作定位，即通过关注机制，使用前景 - 背景分支和动作 - 背景分支来区分前景、背景、动作和环境，并使用辅助上下文类别进行扩展标签来帮助学习动作上下文分离，并在 THUMOS14 和 ActivityNet v1.2/v1.3 数据集上进行了实验。本文提出的 ACSNet 在现有的 WS-TAL 方法中获得了巨大的优势。

    Mar, 2021