CVPRDec, 2016

通过动作匹配实现无监督的人类行为检测

PDF
TL;DR本文提出了一种新的无监督行为检测方法，通过行为匹配检测共享相同人类行为的视频片段，该方法可用于发现新的行为类别、作为活动检测流程中的行为提议技术，同时还是生成视频重点的有用预处理步骤，作者在 MPII Cooking 数据集、THUMOS15 行为检测基准和 IKEA 数据集上使用三个活动识别基准评估了该方法。
unsupervised action detectionaction matchingtemporal consistencyactivity recognition benchmarksvideo highlights
发现论文，激发创造
  • 连续时间嵌入的无监督动作类别学习

    该研究提出了一种基于连续时间嵌入的无监督学习方法，通过鉴别视觉序列中课程的聚类段以实现发现非结构化视频中的动作。该方法被评估在三个数据集上，可以适用于未知情景下的视觉内容分析

    Apr, 2019

  • 运动数据有效的无监督时序分割

    我们介绍了一种基于自相似结构的自动化时间分割人体运动数据的方法，并使用邻域图将运动基元聚类成更大的语义实体，实现了完全无监督的分割和分析运动数据的能力。

    Oct, 2015

  • 视频动作检测端到端半监督学习

    提出一种利用半监督学习方法，结合已标注和未标注数据对视频行为检测进行改进的方法，其中使用分类一致性和时空一致性约束，提出了两个新的正则化约束条件，即时间相关性和梯度平滑性，以处理视频中存在的背景和固定区域，进而实现更好的检测效果。在 UCF101-24 数据集上，仅仅使用已标注数据的 20％，该方法就比最近的完全监督式方法提高了 8.9％和 11％，且在 Youtube-VOS 上的视频对象分割上也表现出了很好的泛化能力。

    Mar, 2022

  • 使用无监督学习局部和全局特征实现视频对齐

    本文介绍一种无监督的视频对准方法，通过人体检测、姿态估计、VGG 网络等机器视觉工具提取并结合构建多维时间序列，利用 Diagonalized Dynamic Time Warping (DDTW) 算法对相同动作的视频进行对齐，采用新型评价指标 Enclosed Area Error (EAE) 显示本文方法在视频对齐任务和相位分类任务上均优于之前最先进的方法 (TCC 等)。

    Apr, 2023

  • 基于语言文本的弱监督动作学习

    本文提出了一种基于弱监督学习的人类行为学习方法，通过视频的文字形式来推断其中涉及的行为，并能在没有帧级别标注的情况下学习相关的行为模型；该方法在四个活动数据集上进行了评估，证明了其高效性和竞争力。

    Oct, 2016

  • 弱监督下无序动作分割的动作集

    该研究论文介绍了一种弱监督的行为检测和时间分割方法，利用被动数据采集到的行为集合训练模型，以实现自动的视频行为分割和标注。

    Jun, 2017

  • 基于人类手动演示视频的自动交互和活动识别技术及其在异常检测中的应用

    本文提出一种基于场景图，利用图像序列提取关键交互特征并编码动作模式和上下文的方法，同时引入基于事件的自动视频分割和聚类，成功地实现了识别手 - 物体和物体 - 物体交互，并匹配不同受试者执行的同一活动。

    Apr, 2023

  • 弱监督时序动作分割的混合 RNN-HMM 方法

    提出了一种层次化方法，通过结构化识别来解决从有序动作标签中弱监督学习人类动作的问题，并将一帧 RNN 模型与粗略概率推理相结合，以实现长序列的时间对齐和迭代训练。

    Jun, 2019

  • 利用行动亲合力和连续性进行半监督时间动作分割

    提出半监督学习方法解决在只有一小部分有标签数据和大量没有标签数据的工程视频中，发现行动并将其分段的任务，其中两个新的损失函数和自适应边界平滑方法也被提出，并在三个基准测试中评估，结果表明它们显著提高了行为分割性能，并在用少量标记数据（5％和 10％）的情况下取得了与全监督相当的结果。

    Jul, 2022

  • 非修剪序列中无监督行为学习的联合视觉 - 时间嵌入

    本文提出了一种基于视觉和时间嵌入空间的非监督学习方法，在不需要手动注释的情况下，通过连续的视频帧中存在的视觉线索，成功地检测到相关的行动群簇，并且适用于时间分割任务。

    Jan, 2020