CVPRApr, 2019

连续时间嵌入的无监督动作类别学习

PDF
TL;DR该研究提出了一种基于连续时间嵌入的无监督学习方法，通过鉴别视觉序列中课程的聚类段以实现发现非结构化视频中的动作。该方法被评估在三个数据集上，可以适用于未知情景下的视觉内容分析
temporal action detectionunsupervised learningvideo analysissemanticscluster identification
发现论文，激发创造
  • 非修剪序列中无监督行为学习的联合视觉 - 时间嵌入

    本文提出了一种基于视觉和时间嵌入空间的非监督学习方法，在不需要手动注释的情况下，通过连续的视频帧中存在的视觉线索，成功地检测到相关的行动群簇，并且适用于时间分割任务。

    Jan, 2020

  • 利用行动亲合力和连续性进行半监督时间动作分割

    提出半监督学习方法解决在只有一小部分有标签数据和大量没有标签数据的工程视频中，发现行动并将其分段的任务，其中两个新的损失函数和自适应边界平滑方法也被提出，并在三个基准测试中评估，结果表明它们显著提高了行为分割性能，并在用少量标记数据（5％和 10％）的情况下取得了与全监督相当的结果。

    Jul, 2022

  • 基于时间加权的层次聚类法用于非监督行动轮廓分割

    提出一种全自动且无监督的方法，使用有效的时间加权层次聚类算法，对视频进行行动划分并在五个具有挑战性的动作分割数据集上展示出明显的性能改善。

    Mar, 2021

  • 迭代对比分类半监督时序动作分割

    本论文提出一种基于卷积网络和聚类的半监督学习方法，提高了时间动作分割的性能，其中包括无监督表示学习、带时间接近度限制和多分辨率相似性的特征聚类、以及迭代对比分类等方法。

    Dec, 2021

  • 联合表示学习与在线聚类进行无监督动作分割

    本文提出了一种新颖的无监督活动分割方法，该方法使用视频帧聚类作为预文本任务，并同时执行表示学习和在线聚类。通过使用时间最优传输来利用视频中的时间信息，同时，在计算伪标签聚类分配的标准最优传输模块中加入保留活动时间顺序的时间正则化项。与之前的方法相比，我们的方法不需要在离线模式下存储整个数据集的特征，而是以在线模式每次处理一个小批量。 extensive evaluations on three public datasets, i.e. 50-Salads, YouTube Instructions, and Breakfast, and our dataset, i.e., Desktop Assembly, show that our approach performs on par with or better than previous methods, despite having significantly less memory constraints.

    May, 2021

  • 弱监督时序动作分割的混合 RNN-HMM 方法

    提出了一种层次化方法，通过结构化识别来解决从有序动作标签中弱监督学习人类动作的问题，并将一帧 RNN 模型与粗略概率推理相结合，以实现长序列的时间对齐和迭代训练。

    Jun, 2019

  • 从未修剪的视频中单时间戳监督的动作识别

    使用单个时间戳代替昂贵的包含行动界限的监督信息，通过不断更新采样分布，进而使其收敛至判别性行动段的位置和范围，从而取得良好的视觉识别效果。

    Apr, 2019

  • 无监督行动分割的 Action Shuffle 交替学习

    本文介绍了一种使用自监督学习和 RNN/HMM 算法实现无监督动作分割的方法，该方法优于现有技术在多个数据集上的表现。

    Apr, 2021

  • 视频动作检测端到端半监督学习

    提出一种利用半监督学习方法，结合已标注和未标注数据对视频行为检测进行改进的方法，其中使用分类一致性和时空一致性约束，提出了两个新的正则化约束条件，即时间相关性和梯度平滑性，以处理视频中存在的背景和固定区域，进而实现更好的检测效果。在 UCF101-24 数据集上，仅仅使用已标注数据的 20％，该方法就比最近的完全监督式方法提高了 8.9％和 11％，且在 Youtube-VOS 上的视频对象分割上也表现出了很好的泛化能力。

    Mar, 2022

  • 基于语言文本的弱监督动作学习

    本文提出了一种基于弱监督学习的人类行为学习方法，通过视频的文字形式来推断其中涉及的行为，并能在没有帧级别标注的情况下学习相关的行为模型；该方法在四个活动数据集上进行了评估，证明了其高效性和竞争力。

    Oct, 2016