AAAINov, 2019

弱监督时间动作定位的背景抑制网络

PDF
TL;DR本文提出背景抑制网络 (BaS-Net) 来解决仅具备视频层级标签、而没有帧级标签的弱监督时序动作定位问题；该网络结构采用两个分支和非对称训练策略来抑制背景帧的激活，有效地提高了动作的定位表现。实验验证表明，BaS-Net 在 THUMOS'14 和 ActivityNet 等基准测试上的表现优于当前最先进的方法。
weakly-supervisedtemporal action localizationbackground suppression networkasymmetrical training strategylocalization performance
发现论文，激发创造
  • 基于不确定性建模进行弱监督时序动作定位

    该论文提出了一种新的关于背景帧的观点，在这个观点中，背景帧是关于其不一致性的离群样本，通过学习不确定性，背景帧可以被检测出来，而这种不确定性的学习是通过多实例学习实现的，进一步引入了一个背景熵损失以更好地鉴别背景帧。研究表明，我们的不确定性建模可以有效地减轻背景帧的干扰，并且在 THUMOS'14 和 ActivityNet（1.2 和 1.3）基准测试上取得了明显优于最先进方法的性能表现。

    Jun, 2020

  • 基于背景建模的弱监督动作定位

    该研究提出了一种潜在方法，利用注意力模型进行弱监督学习，其可以检测出影片中的动作，而无需特定类别的标签， 并利用弱监督学习进行比较准确的学习和定位，成功地应用于 Instagram 中的不加筛选的视频之间。

    Aug, 2019

  • 背景点击监督下的时间动作定位

    本文提出的 BackTAL 方法通过背景视频帧上的标签训练了一个更强的动作本地化器，相比传统的弱监督方法，其采取的动作 - 点击监督框架节省了注释成本并稳定提高了本地化性能。

    Nov, 2021

  • 基于局部全局背景建模的弱监督时序动作定位

    本研究基于 BaSNet 的 WS-TAL 任务使用 MIL 训练了 Local-Global Background Modeling Network（LGBM-Net）模型，通过集成多个模型获得最终检测结果，测试集 mAP 达到 22.45%。

    Jun, 2021

  • 弱监督时序动作定位的前景 - 动作一致性网络

    本文提出了一种名为 FAC-Net 的框架，基于 I3D 骨干结构，在其上附加了三个分支，分别是类别感知前景分类分支，类不可知的注意力分支和多实例学习分支。该框架可用于处理高水平视频理解中的弱监督时间行为定位任务，并在 THUMOS14 和 ActivityNet1.3 上取得了最先进的性能。

    Aug, 2021

  • ACM-Net: 弱监督时间动作定位的动作上下文建模网络

    本文提出了一种称为 ACM-Net 的动作上下文建模网络，它在体现动作实例、上下文和非动作背景部分的同时，采用了三分支注意模块来给每个时间点分手概率，并构建了三分支类激活序列来分别表示这三部分，通过在 THUMOS-14 和 ActivityNet-1.3 上的实验证明了这种方法能够胜过当前最先进的方法，甚至能够与完全监督方法达到可比较的性能水平。

    Apr, 2021

  • SF-Net: 针对时间动作定位的单帧监督

    本文提出了一种中间形式的监督学习 - 单帧监督学习，用于时间动作定位；并且研究了一个名为 SF-Net 的统一系统，用于接受单帧监督信息对时间定位进行训练；在多项实验中，SF-Net 显着改进了弱监督方法的性能，并且达到了与完全监督方法相当的准确率。

    Mar, 2020

  • 一种用于弱监督时序动作定位的混合注意机制

    本论文提出了一种名为 HAM-Net 的新颖框架，该框架采用混合注意机制来解决现有方法中存在的问题，包括对背景活动的建模和完整性的捕捉，实验证明其在多个数据集上均取得了最新的最佳性能。

    Jan, 2021

  • 视频中的弱监督行为选择学习

    该研究使用 action selection learning（ASL）方法来解决仅拥有视频级别标签的情况下本地化视频中的动作的问题，并在两个流行的基准测试中优于领先的基线，同时还分析了 ASL 的属性和动作性质。

    May, 2021

  • 稀疏时域池化网络弱监督动作定位

    该篇论文提出了一种利用卷积神经网络进行弱监督时间动作定位的算法，其通过学习视频级别的类标签来预测人类动作的时间区间，利用注意力模块鉴别与目标动作有关的重要片段，并通过自适应时间池化融合这些关键片段，同时在损失函数中考虑视频级别的动作分类误差和这些关键片段的稀疏性，利用类别激活和类别无关的注意力在推断时提取和评分时间建议，以估计与目标动作对应的时间区间，在 THUMOS14 数据集上取得了最先进的结果，并具有卓越的 ActivityNet1.3 性能。

    Dec, 2017