CVPRJun, 2020

弱监督在线非修剪视频动作检测

PDF
TL;DR提出了一种名为 WOAD 的弱监督在线动作检测框架，该框架只需使用视频类别标签进行训练，包含两个联合训练的模块，即时间提案生成器（TPG）和在线动作识别器（OAR），通过实验验证，在 THUMOS'14, ActivityNet1.2 和 ActivityNet1.3 等数据集上，该框架优于弱监督和强监督基线，达到了与前一强监督方法相当的性能。
online action detectionuntrimmed videosweakly supervised frameworktemporal proposal generatoronline action recognizer
发现论文，激发创造
  • 弱监督高斯网络用于动作检测

    提出一种新的方法 WSGN，使用弱监督学习从视频中标注人类动作，包括视频级别标签，通过学习视频特定以及数据集范围内的统计信息来预测每个帧对于动作类别的相关性，可在两项标准测试中显著提高动作检测效果并且在 Charades 数据集上弱监督方法与有监督方法之间只有 0.3% mAP 的差距。

    Apr, 2019

  • 多层监督的时间动作检测

    研究介绍在视频中训练时序动作检测需要大量标记数据，使用半监督学习和未标记数据可以降低标记成本。提出了一个半监督动作检测任务，设计了无监督前景注意力和信息瓶颈方法来提高性能并评估其在标记，未标记和弱标记数据下的表现。

    Nov, 2020

  • 使用弱监督为未修剪视频中的行动识别学习可转移的自我关注表示

    提出一种新的基于弱监督框架，通过利用注意力机制定位动作帧同时识别未修剪视频中的动作，利用修剪视频中的信息传递知识来提高分类性能。在 THUMOS14 和 ActivityNet1.3 上经过广泛的实验，实验证明了该方法的有效性。

    Feb, 2019

  • 基于活动的弱监督目标检测

    我们的研究工作在弱监督目标检测方面尝试利用不仅仅是物体类别标签，还使用数据中关联的动作标签；我们发现图像 / 视频中描绘的动作可以为相关物体的位置提供强烈的线索，并利用动作学习了一个与物体相关的空间先验，并将其融入到联合目标检测和动作分类模型中进行同时训练。我们在视频数据集和图像数据集上进行了实验来评估我们的弱监督目标检测模型的性能，结果表明，在 Charades 视频数据集上，我们的方法在 mAP 上比当前最先进的方法提高了 6% 以上。

    Apr, 2019

  • 在线检测未剪辑流视频中的动作开始

    该论文探讨了在线检测未修剪视频中动作开始的新颖任务 - 在线开始检测（ODAS）的技术，提出了三种方法来解决 ODAS 模型训练中存在的挑战，包括利用生成对抗网络（GAN）产生艰难的负样本、显式建模动作开始周围数据和后续数据之间的时态一致性以及自适应抽样策略来处理训练数据的稀缺性，进而在 THUMOS'14 和 ActivityNet 上进行广泛实验，证明了提出的方法的显著性能提升和改善先前最先进方法的有效性。

    Feb, 2018

  • 从未剪辑的视频中识别不确定动作

    本文提出了一种基于视频级别标签进行训练的视频动作识别模型，该模型利用大型图像数据集中训练的逐帧人物检测器，在多实例学习框架内实现。此外，我们使用新的概率多实例学习方法来估计每个预测的不确定性，并在 AVA 数据集上取得了第一个弱监督结果，在 UCF101-24 上获得了弱监督方法的最新成果。

    Jul, 2020

  • 多视角教学视频的弱监督在线动作分割

    本文提出了一种弱监督的在线动作分割框架，采用动态规划方法来在线分割流媒体视频，并通过引入 Online-Offline Discrepancy Loss（OODL）优化分割结果的时间一致性，同时仅在训练期间使用多视角帧级一致性作为弱标注来提高精度及减少标注成本，实验结果在烹饪和组装等两个领域的 Breakfast 和 IKEA ASM 数据集中均得到了验证。

    Mar, 2022

  • 用于弱监督行为识别和检测的 UntrimmedNets

    本文介绍了一种新的弱监督架构，称为 UntrimmedNet，它可以直接从未剪辑的视频中学习动作识别模型，无需动作实例的时间注释。我们的 UntrimmedNet 通过两个重要组件实现，分类模块和选择模块，分别用于学习动作模型和推理动作实例的时间持续性。虽然我们的 UntrimmedNet 仅采用弱监督，但我们的方法在 THUMOS14 和 ActivityNet 两个数据集上的性能优于或可与那些强监督方法相媲美。

    Mar, 2017

  • 逐步擦除、逐一收集：一种弱监督的时间动作检测器

    本文提出一种基于分类器的弱监督时间行为检测方法，使用条件随机场对时序定位输出进行精细化处理，并在 THUMOS'14 和 ActivityNet 数据集上取得了较好的检测效果。

    Jul, 2018

  • JOADAA：联合在线动作检测和动作预测

    通过结合动作预测和在线动作检测，我们提出了一种统一的模型 JOADAA，能够覆盖在线动作检测中未来信息的缺失依赖关系，并在 THUMOS'14、CHARADES 和 Multi-THUMOS 三个具有挑战性的数据集上取得了最优结果。

    Sep, 2023