ECCVJul, 2016

弱监督动作标注的连接时序建模

PDF
TL;DR我们提出了一种弱监督的框架，用于视频中的动作标注，其中只在训练时间需要发生动作的顺序。通过引入扩展的连接组态分类（ECTC）框架来解决每帧对齐的问题，从而有效地评估所有可能的对齐。我们进一步将我们的框架扩展到在视频中稀疏地注释了一些帧的半监督情况下。使用不到 1％的标记帧数的情况下，我们的方法能够胜过现有的半监督方法，并实现与完全监督方法相当的性能。
weakly-supervisedaction labelingvideoextended connectionist temporal classificationsemi-supervised
发现论文，激发创造
  • 在有序约束条件下的视频弱监督动作标记

    本文介绍了一种基于弱监督时序标注的视频动作分类方法，将视频分为多个时间间隔并为每个时间间隔分配一个动作标签，以实现动作时序的定位，并学习每个动作的鉴别器。通过新的数据集对该方法进行了测试。

    Jul, 2014

  • 迭代对比分类半监督时序动作分割

    本论文提出一种基于卷积网络和聚类的半监督学习方法，提高了时间动作分割的性能，其中包括无监督表示学习、带时间接近度限制和多分辨率相似性的特征聚类、以及迭代对比分类等方法。

    Dec, 2021

  • 一种灵活的动作定位训练模型，具有不同程度的监督

    提出了一种基于磁盘聚类的统一框架，它可以处理和结合不同类型的较低需求的弱监督，从视频中监测时空活动，并将其应用于训练设置中的不同类型的监督信号实验结果证明：该模型在 UC101-24 和 DALY 数据集上具有竞争性能，而且与之前的方法相比，使用的监督信号更少。

    Jun, 2018

  • SCT: 基于集合限制的时间变换器用于集合监督动作分割

    本文提出了一种弱监督学习的端到端方法，将视频分成小的时间段，并预测每个时间段的动作标签及其长度。通过测量时间段与注释动作标签之间的一致性，该方法可学习将视频划分为类一致的区域，并在三个数据集上实现了最先进的结果。

    Mar, 2020

  • 基于不确定性建模进行弱监督时序动作定位

    该论文提出了一种新的关于背景帧的观点，在这个观点中，背景帧是关于其不一致性的离群样本，通过学习不确定性，背景帧可以被检测出来，而这种不确定性的学习是通过多实例学习实现的，进一步引入了一个背景熵损失以更好地鉴别背景帧。研究表明，我们的不确定性建模可以有效地减轻背景帧的干扰，并且在 THUMOS'14 和 ActivityNet（1.2 和 1.3）基准测试上取得了明显优于最先进方法的性能表现。

    Jun, 2020

  • 弱监督时序动作分割的混合 RNN-HMM 方法

    提出了一种层次化方法，通过结构化识别来解决从有序动作标签中弱监督学习人类动作的问题，并将一帧 RNN 模型与粗略概率推理相结合，以实现长序列的时间对齐和迭代训练。

    Jun, 2019

  • 弱监督下无序动作分割的动作集

    该研究论文介绍了一种弱监督的行为检测和时间分割方法，利用被动数据采集到的行为集合训练模型，以实现自动的视频行为分割和标注。

    Jun, 2017

  • 基于时间戳监督的动作分割

    本文提出了使用时间戳监督来训练时序动作分割模型，并引入置信损失来使模型的学习更加充分，实验结果表明，使用时间戳监督的模型与完全受监督的方法可以达到类似的性能。

    Mar, 2021

  • 从未剪辑的视频中识别不确定动作

    本文提出了一种基于视频级别标签进行训练的视频动作识别模型，该模型利用大型图像数据集中训练的逐帧人物检测器，在多实例学习框架内实现。此外，我们使用新的概率多实例学习方法来估计每个预测的不确定性，并在 AVA 数据集上取得了第一个弱监督结果，在 UCF101-24 上获得了弱监督方法的最新成果。

    Jul, 2020

  • 通过全局时间对齐和循环一致性进行表征学习

    本文提出了一种针对同一过程（如人类动作）的时间序列（例如视频）的弱监督表征学习方法，通过对全局时间序列进行对齐，并利用对齐的隐变量跨序列对的全局时间顺序作为监督信号进行表征学习，通过最优序列对齐进行嵌入网络的训练。通过大量实验表明，该方法在动作分类、少样本学习和视频同步等任务中均比之前的方法性能有了明显提高。

    May, 2021