CVPRMar, 2022

基于时序对比学习的细粒度弱监督时序动作定位

PDF
TL;DR本论文旨在提高弱监督行动定位任务的性能，通过设计了 Fine-grained Sequence Distance（FSD）对比和 Longest Common Subsequence（LCS）对比两个互补型对比模块（Contrastive Objectives），解决了现有方法中分类学习与本地化学习之间的严重模糊性问题。
weakly-supervised action localizationfine-grained temporal distinctionsdynamic programmingfsdlcs
发现论文，激发创造
  • 通过学习明确的动作和情境子空间，实现弱监督的时间行为定位

    通过学习两个特征子空间（分别专门用于行为和背景）并利用时空运动预测来促进两个特征子空间的学习，本文提出了一种解决弱监督时间动作本地化的方法，该方法在 THUMOS14、ActivityNet v1.2 和 v1.3 数据集上优于现有的 WS-TAL 方法。

    Mar, 2021

  • 跨视频上下文知识的探索和利用，减少弱监督时序动作定位的歧义

    通过在数据集中探索并利用跨视频的上下文知识，我们的研究提供了一种新方法来间接改善对细粒度行动模式的整体理解，并减少模糊性。通过提出一个端到端框架，我们的方法在几个数据集上得到了比最先进方法更好的表现。

    Aug, 2023

  • 双向语义一致性约束的弱监督时间动作定位

    该研究提出了一种名为双向语义一致性约束的方法来改善当前弱监督下的视频分类及定位发现问题。该方法采用时间相关增强来打破正样本动作与其 co-scene 动作之间的相关性，通过语义一致性约束来获得足够的信息区分两者，从而较好地应用于当前的 WTAL 方法，并且在 THUMOS14 和 ActivityNet 数据集上取得了较好的性能。

    Apr, 2023

  • CoLA: 弱监督下用片段对比学习进行时间动作定位

    本文提出了一种基于 Snippet Contrastive learning 和 Hard Snippet Mining 的弱监督视频动作定位模型，弥补了传统模型单独处理每个片段的不足，使得模型能更准确地定位动作并取得了当前最先进的结果。

    Mar, 2021

  • 基于局部全局背景建模的弱监督时序动作定位

    本研究基于 BaSNet 的 WS-TAL 任务使用 MIL 训练了 Local-Global Background Modeling Network（LGBM-Net）模型，通过集成多个模型获得最终检测结果，测试集 mAP 达到 22.45%。

    Jun, 2021

  • 利用文本信息提升弱监督的时间动作检测

    本文提出了一种利用文本信息来改进弱监督时间动作定位方法的算法，包括建立基于行为分类标签的文本描述，并通过文本分析找到与之相关的时间段以及通过视频分析来完整文本描述的生成目标。该方法在 THUMOS14 和 ActivityNet1.3 上取得了最领先性能，并且可以无缝地应用于现有方法，进一步提高其性能。

    May, 2023

  • 使用深度度量学习进行弱监督时序动作定位

    本文介绍了一种弱监督的时间动作定位方法，该方法只需要视频级别的动作实例作为训练数据，在视频的每个片段中生成行为标签，并学习不同动作实例之间的相似性，实验表明该方法在两个视频数据集上取得了有竞争力的结果。

    Jan, 2020

  • 通过从网络图像的域转移，在视频中对细粒度动作进行时间本地化

    本研究采用弱监督和跨领域转移学习的方法，结合深度卷积神经网络和长短时记忆网络，实现从未剪辑的网络视频中，对于精细的动作定位识别，并使用大量的数据集如 FGA-240 和 THUMOS 2014，得到了令人信服的结果。

    Apr, 2015

  • AutoLoc: 弱监督时序动作定位

    本文提出了一种基于弱监督的时序动作定位框架 AutoLoc, 运用 Outer-Inner-Contrastive (OIC) 损失函数，通过自动发现分段级别监督训练出定位模型，模型在 THUMOS'14 数据集中，IoU 阈值为 0.5 时，平均精度从 13.7% 提高至 21.2%，在 ActivityNet 数据集中，平均精度从 7.4% 提高至 27.3%。

    Jul, 2018

  • 通过序列对比学习获取长视频的逐帧动作表示

    本文提出了一种新颖的对比行动表示学习（CARL）框架，用于以自我监督的方式学习帧级行动表示，特别是针对长视频。该框架包括一个简单而高效的视频编码器，以及应用于一系列时空数据增强的新颖序列对比损失（SCL）。我们通过 FineGym，PennAction 和 Pouring 数据集的实验证明，该方法在下游的细粒度行动分类任务上表现出明显的优越性。 令人惊讶的是，即使没有对配对视频进行训练，我们的方法在视频对齐和细粒度帧检索任务上也表现出了出色的性能。

    Mar, 2022