Apr, 2019

弱监督高斯网络用于动作检测

PDF
TL;DR提出一种新的方法 WSGN，使用弱监督学习从视频中标注人类动作，包括视频级别标签，通过学习视频特定以及数据集范围内的统计信息来预测每个帧对于动作类别的相关性，可在两项标准测试中显著提高动作检测效果并且在 Charades 数据集上弱监督方法与有监督方法之间只有 0.3% mAP 的差距。
human actionscomputer visionweak supervisionaction detectionvideo-level labels
发现论文，激发创造
  • 基于活动的弱监督目标检测

    我们的研究工作在弱监督目标检测方面尝试利用不仅仅是物体类别标签，还使用数据中关联的动作标签；我们发现图像 / 视频中描绘的动作可以为相关物体的位置提供强烈的线索，并利用动作学习了一个与物体相关的空间先验，并将其融入到联合目标检测和动作分类模型中进行同时训练。我们在视频数据集和图像数据集上进行了实验来评估我们的弱监督目标检测模型的性能，结果表明，在 Charades 视频数据集上，我们的方法在 mAP 上比当前最先进的方法提高了 6% 以上。

    Apr, 2019

  • 弱监督下无序动作分割的动作集

    该研究论文介绍了一种弱监督的行为检测和时间分割方法，利用被动数据采集到的行为集合训练模型，以实现自动的视频行为分割和标注。

    Jun, 2017

  • 稀疏时域池化网络弱监督动作定位

    该篇论文提出了一种利用卷积神经网络进行弱监督时间动作定位的算法，其通过学习视频级别的类标签来预测人类动作的时间区间，利用注意力模块鉴别与目标动作有关的重要片段，并通过自适应时间池化融合这些关键片段，同时在损失函数中考虑视频级别的动作分类误差和这些关键片段的稀疏性，利用类别激活和类别无关的注意力在推断时提取和评分时间建议，以估计与目标动作对应的时间区间，在 THUMOS14 数据集上取得了最先进的结果，并具有卓越的 ActivityNet1.3 性能。

    Dec, 2017

  • 动作图：用图卷积网络进行弱监督的动作定位

    本文提出了一种基于图卷积的弱监督动作定位方法，使用相似性图形显式建模视频片段之间的相似性以及动作的子操作，最终在多个数据集上达到了弱监督动作定位的最新水平。

    Feb, 2020

  • 从未剪辑的视频中识别不确定动作

    本文提出了一种基于视频级别标签进行训练的视频动作识别模型，该模型利用大型图像数据集中训练的逐帧人物检测器，在多实例学习框架内实现。此外，我们使用新的概率多实例学习方法来估计每个预测的不确定性，并在 AVA 数据集上取得了第一个弱监督结果，在 UCF101-24 上获得了弱监督方法的最新成果。

    Jul, 2020

  • 基于背景建模的弱监督动作定位

    该研究提出了一种潜在方法，利用注意力模型进行弱监督学习，其可以检测出影片中的动作，而无需特定类别的标签， 并利用弱监督学习进行比较准确的学习和定位，成功地应用于 Instagram 中的不加筛选的视频之间。

    Aug, 2019

  • 弱监督时序动作分割的混合 RNN-HMM 方法

    提出了一种层次化方法，通过结构化识别来解决从有序动作标签中弱监督学习人类动作的问题，并将一帧 RNN 模型与粗略概率推理相结合，以实现长序列的时间对齐和迭代训练。

    Jun, 2019

  • 基于时序分离结构的弱监督多动作检测循环网络

    本文提出了一种 STAR 网络，用于弱监督多个动作的检测，借助于注意力机制聚合视频片段并使用改进的循环神经网络建立动作之间的时间关系。同时，使用 ST-GradCAM 来生成更精确的时间提案，实验表明本方法在 THUMOS'14 和 ActivityNet1.3 数据集上性能优于现有的弱监督方法，并与全监督方法性能相当。

    Nov, 2018

  • ACGNet: 基于动作补充图网络的弱监督时序动作定位

    本文提出了一种基于图卷积神经网络的新方法 ACGNet，用于增强视频级别标注数据下的弱监督时序动作定位问题，取得了在 THUMOS'14 和 ActivityNet1.2 数据集上的优越结果。

    Dec, 2021

  • 弱监督在线非修剪视频动作检测

    提出了一种名为 WOAD 的弱监督在线动作检测框架，该框架只需使用视频类别标签进行训练，包含两个联合训练的模块，即时间提案生成器（TPG）和在线动作识别器（OAR），通过实验验证，在 THUMOS'14, ActivityNet1.2 和 ActivityNet1.3 等数据集上，该框架优于弱监督和强监督基线，达到了与前一强监督方法相当的性能。

    Jun, 2020