Aug, 2023

跨视频上下文知识的探索和利用，减少弱监督时序动作定位的歧义

PDF
TL;DR通过在数据集中探索并利用跨视频的上下文知识，我们的研究提供了一种新方法来间接改善对细粒度行动模式的整体理解，并减少模糊性。通过提出一个端到端框架，我们的方法在几个数据集上得到了比最先进方法更好的表现。
weakly supervised temporal action localizationcontextual informationfine-grained action patternssemantic structureglobal knowledge summarization
发现论文，激发创造
  • 通过学习明确的动作和情境子空间，实现弱监督的时间行为定位

    通过学习两个特征子空间（分别专门用于行为和背景）并利用时空运动预测来促进两个特征子空间的学习，本文提出了一种解决弱监督时间动作本地化的方法，该方法在 THUMOS14、ActivityNet v1.2 和 v1.3 数据集上优于现有的 WS-TAL 方法。

    Mar, 2021

  • STAT: 通往可推广的时间动作定位

    提出了一种弱监督时序动作定位算法 STAT，通过引入自监督时序自适应教师模块和对齐模块，在不同数据分布下显著提高了动作定位方法的泛化能力。

    Apr, 2024

  • 双向语义一致性约束的弱监督时间动作定位

    该研究提出了一种名为双向语义一致性约束的方法来改善当前弱监督下的视频分类及定位发现问题。该方法采用时间相关增强来打破正样本动作与其 co-scene 动作之间的相关性，通过语义一致性约束来获得足够的信息区分两者，从而较好地应用于当前的 WTAL 方法，并且在 THUMOS14 和 ActivityNet 数据集上取得了较好的性能。

    Apr, 2023

  • 基于局部全局背景建模的弱监督时序动作定位

    本研究基于 BaSNet 的 WS-TAL 任务使用 MIL 训练了 Local-Global Background Modeling Network（LGBM-Net）模型，通过集成多个模型获得最终检测结果，测试集 mAP 达到 22.45%。

    Jun, 2021

  • 跨模态共识网络用于弱监督时间动作定位

    本文提出了一种跨模态共识网络以解决弱监督时间动作定位任务中现有特征提取器提取的不是任务特定特征的问题，并使用了跨模态注意机制和相互学习来产生更有代表性的特征。在 THUMOS14 和 ActivityNet1.2 数据集上的实验结果表明，此方法产生的特征实现了时间动作定位的最新成果。

    Jul, 2021

  • 利用文本信息提升弱监督的时间动作检测

    本文提出了一种利用文本信息来改进弱监督时间动作定位方法的算法，包括建立基于行为分类标签的文本描述，并通过文本分析找到与之相关的时间段以及通过视频分析来完整文本描述的生成目标。该方法在 THUMOS14 和 ActivityNet1.3 上取得了最领先性能，并且可以无缝地应用于现有方法，进一步提高其性能。

    May, 2023

  • 基于时序对比学习的细粒度弱监督时序动作定位

    本论文旨在提高弱监督行动定位任务的性能，通过设计了 Fine-grained Sequence Distance（FSD）对比和 Longest Common Subsequence（LCS）对比两个互补型对比模块（Contrastive Objectives），解决了现有方法中分类学习与本地化学习之间的严重模糊性问题。

    Mar, 2022

  • ACGNet: 基于动作补充图网络的弱监督时序动作定位

    本文提出了一种基于图卷积神经网络的新方法 ACGNet，用于增强视频级别标注数据下的弱监督时序动作定位问题，取得了在 THUMOS'14 和 ActivityNet1.2 数据集上的优越结果。

    Dec, 2021

  • 未剪辑视频中未标记背景的益处

    传统弱监督时间行动定位方法对于无标签的视频背景容易出现定位错误，本文提出了一种利用无标签背景的 Temporal Smoothing PCA-based deconfounder 方法，通过消除视觉识别中无法观测的混淆因素来改进弱监督方法，在 THUMOS-14 和 ActivityNet-1.3 两个公共数据集上实现了显著的改进。

    Mar, 2021

  • 基于代表性片段知识传播的弱监督时态动作定位

    该研究提出了一种代表性摘要和传播框架，通过在视频中挖掘代表性片段来传播信息以生成更好的伪标签，从而解决了分类和定位之间的差异问题，并在 THUMOS14 和 ActivityNet1.3 数据集上取得了比现有方法更好的性能。

    Mar, 2022