CVPRMar, 2023

从说明视频和其叙述中学习过程感知视频表示

PDF
TL;DR研究利用大量网络教学视频和其解说学习视频表示方法，以编码动作步骤及其时间排序，推动步骤分类和预测等领域的发展。通过深度概率模型同时学习视频表示和时间依赖关系，且在 COIN 和 EPIC-Kitchens 等数据集上，具有比同类研究更明显的提升。同时，该研究对于不完整步骤的步骤推测也有良好的表现。
发现论文，激发创造
  • 从未经筛选的教育视频中的视觉表示端到端学习

    本文介绍了一种新的学习方法，MIL-NCE, 用于从讲述视频中学习强大的视频表示，并能够在不需要手动注释的情况下进行。该方法通过对齐不对称的讲述视频，有效地学习了视频表示。作者在 HMDB-51、UCF-101、Kinetics-700 等多个数据集上进行了评估，证明了该方法优于已发表的自监督方法和多个全监督基准线的表现。

    Dec, 2019

  • 使用叙述指令视频进行无监督学习

    本文提出一种基于非监督学习的方法，通过集合指导语音和视频，可以自动地学习完成某项任务的主要步骤，例如更换汽车轮胎。通过应用两个聚类问题，同时解决文本和视频中的信息，使它们连接在一起，得出在两种情况下都具有一致性的主要步骤。本文提出的方法可以自动地在输入视频中发现和定位处于任务中的主要步骤。作者还采集和注解了一个包含旨在模拟真实场景的任务的挑战数据集。

    Jun, 2015

  • 通过叙述学习将说明文章与视频联系起来

    本文提出了一种无需手动监督的方法来将『如何做』视频中的步骤与 wikiHow 等语言知识库中的指导文章进行对齐，并采用多模态对齐进行全局时间定位，验证结果表明与现有方法相比具有明显优势。

    Jun, 2023

  • 从网络教学视频中实现自动学习程序

    本文提出了使用长视频分类和描述学习人类共识过程结构的方法，利用 YouCook2 数据集和基于段的递归网络生成过程段。该方法可用于向其他任务提供预处理，如密集视频字幕和事件解析，并在过程分割中优于竞争基线。

    Mar, 2017

  • 无监督视频集合中的语义行为发现

    通过视觉和语言提示的联合生成模型，对互联网上海量的指示视频进行语义步骤解析，为每个语义步骤和视频段提供文本描述。大量的 YouTube 视频验证了该方法能够准确发现各种任务的语义正确指示。

    May, 2016

  • 教学视频中任务结构的学习与验证

    本论文介绍了一种新的预训练视频模型，VideoTaskformer，利用遮盖步骤建立弱监督学习任务，学习全局步骤表示，实现对多步骤任务的表示和预测。同时提出了两个新的基准测试来检测指令视频中的错误步骤和步骤执行顺序，以及一项长期预测基准测试，均取得了优于现有基线的性能，适用于评估全球学习的步骤表示质量。

    Mar, 2023

  • 从文本网络监督中学习视频表征

    通过采集 70M 个公开的视频并使用相关的文本描述进行自我监督训练，本文提出了一种基于文本的学习视频表示的方法，证明了这种方法在预训练视频表示中比现有的方法更有效。

    Jul, 2020

  • 面向操作流程的指导视频理解预训练

    本研究旨在利用视频表示学习技术，通过构建 Procedural Knowledge Graph (PKG) 生成伪标签来训练视频表示模型，以提高多种程序理解任务的精度。其中 PKG 结构由通过无标签的教学视频和基于文本的程序知识库信息融合而成，训练数据使用了四个新的预训练目标。最终模型 Paprika 在 12 个任务上实现了高达 11.23% 的精度提升。

    Mar, 2023

  • 从烹饪视频中提取结构化程序化知识的基准

    本文提出了从烹饪视频中提取结构化过程知识的基准测试，研究了现有模式的性能。

    May, 2020

  • 教学视频中的步骤差异

    通过利用现有步骤注释和配套叙述，我们提出了一种方法，首先自动生成大量涉及来自 HowTo100M 的视频对的视觉指导调优数据，然后训练一个视频修饰的语言模型以联合推理多个原始视频，以识别视频对之间的差异并根据这些差异的严重程度对视频进行排名，显示出在多个视频上进行一般推理的有希望能力。

    Apr, 2024