CVPRJun, 2021

基于局部全局背景建模的弱监督时序动作定位

PDF
TL;DR本研究基于 BaSNet 的 WS-TAL 任务使用 MIL 训练了 Local-Global Background Modeling Network（LGBM-Net）模型，通过集成多个模型获得最终检测结果，测试集 mAP 达到 22.45%。
weakly-supervised temporal action localizationws-talbasnetmulti-instance learningensemble
发现论文，激发创造
  • 通过学习明确的动作和情境子空间，实现弱监督的时间行为定位

    通过学习两个特征子空间（分别专门用于行为和背景）并利用时空运动预测来促进两个特征子空间的学习，本文提出了一种解决弱监督时间动作本地化的方法，该方法在 THUMOS14、ActivityNet v1.2 和 v1.3 数据集上优于现有的 WS-TAL 方法。

    Mar, 2021

  • 跨模态共识网络用于弱监督时间动作定位

    本文提出了一种跨模态共识网络以解决弱监督时间动作定位任务中现有特征提取器提取的不是任务特定特征的问题，并使用了跨模态注意机制和相互学习来产生更有代表性的特征。在 THUMOS14 和 ActivityNet1.2 数据集上的实验结果表明，此方法产生的特征实现了时间动作定位的最新成果。

    Jul, 2021

  • 双向语义一致性约束的弱监督时间动作定位

    该研究提出了一种名为双向语义一致性约束的方法来改善当前弱监督下的视频分类及定位发现问题。该方法采用时间相关增强来打破正样本动作与其 co-scene 动作之间的相关性，通过语义一致性约束来获得足够的信息区分两者，从而较好地应用于当前的 WTAL 方法，并且在 THUMOS14 和 ActivityNet 数据集上取得了较好的性能。

    Apr, 2023

  • STAT: 通往可推广的时间动作定位

    提出了一种弱监督时序动作定位算法 STAT，通过引入自监督时序自适应教师模块和对齐模块，在不同数据分布下显著提高了动作定位方法的泛化能力。

    Apr, 2024

  • 跨视频上下文知识的探索和利用，减少弱监督时序动作定位的歧义

    通过在数据集中探索并利用跨视频的上下文知识，我们的研究提供了一种新方法来间接改善对细粒度行动模式的整体理解，并减少模糊性。通过提出一个端到端框架，我们的方法在几个数据集上得到了比最先进方法更好的表现。

    Aug, 2023

  • 背景点击监督下的时间动作定位

    本文提出的 BackTAL 方法通过背景视频帧上的标签训练了一个更强的动作本地化器，相比传统的弱监督方法，其采取的动作 - 点击监督框架节省了注释成本并稳定提高了本地化性能。

    Nov, 2021

  • ACSNet: 用于弱监督时序动作定位的动作 - 上下文分离网络

    本文引入了 ACSNet 以达到精确的弱监督时间动作定位，即通过关注机制，使用前景 - 背景分支和动作 - 背景分支来区分前景、背景、动作和环境，并使用辅助上下文类别进行扩展标签来帮助学习动作上下文分离，并在 THUMOS14 和 ActivityNet v1.2/v1.3 数据集上进行了实验。本文提出的 ACSNet 在现有的 WS-TAL 方法中获得了巨大的优势。

    Mar, 2021

  • 弱监督时序动作本地化的双流一致性网络

    本文提出了一种名为 Two-Stream Consensus Network (TSCN) 的框架，用于解决在视频级别上监督的情况下，弱化监督下 temporal action localization 的困难问题，并通过新的 attention normalization loss 促进模型训练和消除假阳性行动提议，实验结果表明该方法优于当前最先进的方法，即使在某些最新的全面监督方法中也能取得可比较的结果。

    Oct, 2020

  • 使用深度度量学习进行弱监督时序动作定位

    本文介绍了一种弱监督的时间动作定位方法，该方法只需要视频级别的动作实例作为训练数据，在视频的每个片段中生成行为标签，并学习不同动作实例之间的相似性，实验表明该方法在两个视频数据集上取得了有竞争力的结果。

    Jan, 2020

  • 弱监督时间动作定位的背景抑制网络

    本文提出背景抑制网络 (BaS-Net) 来解决仅具备视频层级标签、而没有帧级标签的弱监督时序动作定位问题；该网络结构采用两个分支和非对称训练策略来抑制背景帧的激活，有效地提高了动作的定位表现。实验验证表明，BaS-Net 在 THUMOS'14 和 ActivityNet 等基准测试上的表现优于当前最先进的方法。

    Nov, 2019