CVPRJun, 2015

使用叙述指令视频进行无监督学习

PDF
TL;DR本文提出一种基于非监督学习的方法，通过集合指导语音和视频，可以自动地学习完成某项任务的主要步骤，例如更换汽车轮胎。通过应用两个聚类问题，同时解决文本和视频中的信息，使它们连接在一起，得出在两种情况下都具有一致性的主要步骤。本文提出的方法可以自动地在输入视频中发现和定位处于任务中的主要步骤。作者还采集和注解了一个包含旨在模拟真实场景的任务的挑战数据集。
unsupervised learninginstruction videosclusteringreal-world datasetautomated task learning
发现论文，激发创造
  • 无监督视频集合中的语义行为发现

    通过视觉和语言提示的联合生成模型，对互联网上海量的指示视频进行语义步骤解析，为每个语义步骤和视频段提供文本描述。大量的 YouTube 视频验证了该方法能够准确发现各种任务的语义正确指示。

    May, 2016

  • 从说明视频和其叙述中学习过程感知视频表示

    研究利用大量网络教学视频和其解说学习视频表示方法，以编码动作步骤及其时间排序，推动步骤分类和预测等领域的发展。通过深度概率模型同时学习视频表示和时间依赖关系，且在 COIN 和 EPIC-Kitchens 等数据集上，具有比同类研究更明显的提升。同时，该研究对于不完整步骤的步骤推测也有良好的表现。

    Mar, 2023

  • 从未经筛选的教育视频中的视觉表示端到端学习

    本文介绍了一种新的学习方法，MIL-NCE, 用于从讲述视频中学习强大的视频表示，并能够在不需要手动注释的情况下进行。该方法通过对齐不对称的讲述视频，有效地学习了视频表示。作者在 HMDB-51、UCF-101、Kinetics-700 等多个数据集上进行了评估，证明了该方法优于已发表的自监督方法和多个全监督基准线的表现。

    Dec, 2019

  • 从教学视频转录中生成无监督任务图

    本文探讨了生成真实世界活动任务图的问题，提出了一种无监督的任务图生成方法，结合语言模型的推理能力、聚类和排名组件，比 ProceL 和 CrossTask 数据集中的有监督学习方法生成更准确的任务图。

    Feb, 2023

  • 从网络教学视频中实现自动学习程序

    本文提出了使用长视频分类和描述学习人类共识过程结构的方法，利用 YouCook2 数据集和基于段的递归网络生成过程段。该方法可用于向其他任务提供预处理，如密集视频字幕和事件解析，并在过程分割中优于竞争基线。

    Mar, 2017

  • 通过叙述学习将说明文章与视频联系起来

    本文提出了一种无需手动监督的方法来将『如何做』视频中的步骤与 wikiHow 等语言知识库中的指导文章进行对齐，并采用多模态对齐进行全局时间定位，验证结果表明与现有方法相比具有明显优势。

    Jun, 2023

  • 视频集合的无监督语义分析

    本文提出了一种用视觉和语言线索联合生成模型实现的，可以无监督地将视频解析成语义步骤的方法，该方法可以为视频片段提供语义 “故事情节” 和文字描述，并在大量复杂的 YouTube 视频上进行了评估。

    Jun, 2015

  • 基于教学视频的跨任务弱监督学习

    采用弱监督学习框架，通过使用教学说明和有序步骤列表而非强监督学习形式的时间标注，学习普通任务中步骤的视觉模型，提出了一种组件模型用于识别步骤，实验结果表明，跨任务共享有助于提高组件水平的性能。

    Mar, 2019

  • 教学视频中的步骤差异

    通过利用现有步骤注释和配套叙述，我们提出了一种方法，首先自动生成大量涉及来自 HowTo100M 的视频对的视觉指导调优数据，然后训练一个视频修饰的语言模型以联合推理多个原始视频，以识别视频对之间的差异并根据这些差异的严重程度对视频进行排名，显示出在多个视频上进行一般推理的有希望能力。

    Apr, 2024

  • 从视频中无监督学习和分割复杂活动

    本文介绍了一种新的无监督视频分割方法，采用迭代鉴别生成方法，通过学习视频视觉特征并建模时序结构，将复杂活动划分为多个子活动，并引入背景模型，验证结果优于现有无监督及弱监督方法。

    Mar, 2018