CVPRMar, 2017

用于弱监督行为识别和检测的 UntrimmedNets

PDF
TL;DR本文介绍了一种新的弱监督架构，称为 UntrimmedNet，它可以直接从未剪辑的视频中学习动作识别模型，无需动作实例的时间注释。我们的 UntrimmedNet 通过两个重要组件实现，分类模块和选择模块，分别用于学习动作模型和推理动作实例的时间持续性。虽然我们的 UntrimmedNet 仅采用弱监督，但我们的方法在 THUMOS14 和 ActivityNet 两个数据集上的性能优于或可与那些强监督方法相媲美。
发现论文，激发创造
  • 使用弱监督为未修剪视频中的行动识别学习可转移的自我关注表示

    提出一种新的基于弱监督框架，通过利用注意力机制定位动作帧同时识别未修剪视频中的动作，利用修剪视频中的信息传递知识来提高分类性能。在 THUMOS14 和 ActivityNet1.3 上经过广泛的实验，实验证明了该方法的有效性。

    Feb, 2019

  • 未剪辑视频分类用于活动检测：参加 ActivityNet 挑战赛

    提出了一种新的方法，通过全局特征分析，预测未裁剪视频的前 k 个标签，并结合动态规划实现带时序约束的活动检测。该方法可用于未裁剪视频分类模型的时间检测。

    Jul, 2016

  • 从未剪辑的视频中识别不确定动作

    本文提出了一种基于视频级别标签进行训练的视频动作识别模型，该模型利用大型图像数据集中训练的逐帧人物检测器，在多实例学习框架内实现。此外，我们使用新的概率多实例学习方法来估计每个预测的不确定性，并在 AVA 数据集上取得了第一个弱监督结果，在 UCF101-24 上获得了弱监督方法的最新成果。

    Jul, 2020

  • UC Merced 征集活动网络挑战 2016

    利用手动载入的运动边界直方图特征和 VGG16、GoogLeNet、C3D 等深层网络的特征，使用线性的 one-versus-rest 支持向量机分类器进行分类任务，并加权平均融合最近的超深度 ResNet-101 的 softmax 得分，从而实现了在 ActivityNet 挑战 2016 中进行长且未修剪视频中的动作识别目标。

    Apr, 2017

  • 非修剪序列中无监督行为学习的联合视觉 - 时间嵌入

    本文提出了一种基于视觉和时间嵌入空间的非监督学习方法，在不需要手动注释的情况下，通过连续的视频帧中存在的视觉线索，成功地检测到相关的行动群簇，并且适用于时间分割任务。

    Jan, 2020

  • 多模态 Transformer 网络用于动作检测

    本文提出了一种新的多模态转换器网络，用于检测未修剪视频中的动作，利用新的多模态注意机制计算不同空间和动态模态组合之间的相关性，并提出一种算法来纠正相机运动引起的动态变形，该算法在 THUMOS14 和 ActivityNet 两个公共基准测试上优于现有方法，在我们的新教育活动数据集上进行了比较实验，该数据集包括从小学捕捉的大量具有挑战性的课堂视频。

    May, 2023

  • 从未修剪的视频中单时间戳监督的动作识别

    使用单个时间戳代替昂贵的包含行动界限的监督信息，通过不断更新采样分布，进而使其收敛至判别性行动段的位置和范围，从而取得良好的视觉识别效果。

    Apr, 2019

  • 弱监督在线非修剪视频动作检测

    提出了一种名为 WOAD 的弱监督在线动作检测框架，该框架只需使用视频类别标签进行训练，包含两个联合训练的模块，即时间提案生成器（TPG）和在线动作识别器（OAR），通过实验验证，在 THUMOS'14, ActivityNet1.2 和 ActivityNet1.3 等数据集上，该框架优于弱监督和强监督基线，达到了与前一强监督方法相当的性能。

    Jun, 2020

  • 基于提议的未修剪视频时空动作检测解决方案

    本文提出了一种基于对象检测的两阶段模块化系统，用于在未裁剪的安全视频中进行时空动作检测，第一阶段使用层次聚类和时间抖动技术生成稠密的时空建议，第二阶段是一个 TRI-3D 网络，在生成的提议上执行动作分类和时态细化。实验结果表明本文提出的方法在区分不同时长、空间尺度范围内的动作检测方面效果显著。

    Nov, 2018

  • 追求时间准确性的通用活动检测

    本文提出了一种通用的框架，利用新颖的提案方案和级联分类管道从未修剪的视频中准确检测各种活动，超越了现有最先进方法在 THUMOS14 和 ActivityNet 数据集上的表现。

    Mar, 2017