ECCVJul, 2022

无需提议的半监督时空动作检测

PDF
TL;DR本文提出了一种基于 SPOT 的半监督时间动作检测模型，通过并行化的定位和分类架构有效地消除了定位和分类之间的错误传播路径，实现了对自我监督模型预训练的新颖预文本任务，通过在两个标准基准测试上的实验证明了我们的 SPOT 在许多方面都优于现有的最先进的替代方案，此外，他们还提供了 SPOT 的 PyTorch 实现。
temporal action detectionsemi-supervised learningself-supervised learningvideo analysispytorch implementation
发现论文，激发创造
  • 通过全局分割掩码学习实现无需提案的时间动作检测

    该研究提出了一种无需 proposal 的时序行为检测模型 TAGS，该模型采用全局分割掩模学习每个动作实例的时序表达，通过针对全局时序表达进行检测，避免了 proposal 生成及评估所带来的高复杂度，从而在较低计算成本的情况下取得了当前最先进的性能。

    Jul, 2022

  • 稀疏提议优化高质量时序动作检测

    本文提出了一种名为 SP-TAD 的方法来应对在时间行为检测上的挑战，其利用了稀疏 proposal 和特征金字塔来构建多尺度特征以准确捕捉行为细节，实验结果表明，该方法取得了与现有最优方法相媲美的性能。

    Sep, 2021

  • 基于视觉 - 语言提示的零样本时序动作检测

    本文提出了一种基于 Vision-LanguagE prompting (STALE) 的零样本学习时空动作检测模型，通过打破定位和分类之间的依赖关系来消除错误传播，有效解决了序列定位和分类设计中的困难，实验证明我们的模型在标准 ZS-TAD 视频基准上显著优于现有的最先进的推荐方案，在监督式 TAD 上也胜过近期的强竞争对手。该模型的 PyTorch 实现可在链接中获取。

    Jul, 2022

  • 单次拍摄时间动作检测中解耦定位和分类

    本研究提出一种新的解决视频时序动作检测单级方案的方法 - Decoupled Single Shot temporal Action Detection (Decouple-SSAD)，通过在并行中设计两个单独的分支来实现定位和分类的解耦，从而提高训练效果。该方法在 THUMOS14 数据集上进行了广泛实验，证明了其优越性能。

    Apr, 2019

  • 自监督学习用于半监督的时间动作提议

    本文提出了一种基于自监督学习和半监督学习相结合的时间动作预测模型，其中自监督分支中定义了两个预处理任务，用于学习时间信息的关系结构。实验结果表明，该模型表现优于现有的半监督学习方法和与完全监督方法相媲美。

    Apr, 2021

  • 单次拍摄的时间动作检测

    该研究提出了一种基于 1D 时间卷积层的单次动作检测器（SSAD）网络来直接检测未修剪视频中的动作实例以提高检测精度。在改进检测精度的过程中，它探讨了输入特征类型和融合策略，并在两个具有挑战性的数据集上进行了广泛的实验，证明了在 THUMOS 2014 和 MEXaction2 的评估过程中，SSAD 的 mAP 比其他最先进的系统增加了很多。

    Oct, 2017

  • 利用较少标签学习时间动作建议

    本文提出了一种半监督学习算法，用于训练时间动作建议网络，能够在只有很少的标签可用时生成比全监督对照组和其他强半监督基线更好的建议，并验证其在两个具有挑战性的动作检测视频数据集 ActivityNet v1.3 和 THUMOS14 上的有效性，表明我们的半监督方法始终与或优于全监督最先进方法。

    Oct, 2019

  • 增强即时可辨性的时间动作定位

    基于 TriDet 模型的时间动作检测（TAD）在多个 TAD 数据集上表现出鲁棒性和最先进的性能，包括分层（多标签）TAD 数据集。

    Sep, 2023

  • 多层监督的时间动作检测

    研究介绍在视频中训练时序动作检测需要大量标记数据，使用半监督学习和未标记数据可以降低标记成本。提出了一个半监督动作检测任务，设计了无监督前景注意力和信息瓶颈方法来提高性能并评估其在标记，未标记和弱标记数据下的表现。

    Nov, 2020

  • 使用 Transformer 进行端到端时序动作检测

    本研究提出了一种基于 Transformer 的时态动作检测方法，通过少量学习嵌入（称为动作查询）从视频中自适应地提取时间上下文信息，并直接预测动作实例的时间间隔和语义标签，通过三种改进提高本地化意识，实现了端到端的学习，并取得了与现有方法相比的卓越性能。

    Jun, 2021