AAAIMar, 2017

从网络教学视频中实现自动学习程序

PDF
TL;DR本文提出了使用长视频分类和描述学习人类共识过程结构的方法，利用 YouCook2 数据集和基于段的递归网络生成过程段。该方法可用于向其他任务提供预处理，如密集视频字幕和事件解析，并在过程分割中优于竞争基线。
procedure segmentationrecurrent networkyoucook2dense video captioningevent parsing
发现论文，激发创造
  • 从说明视频和其叙述中学习过程感知视频表示

    研究利用大量网络教学视频和其解说学习视频表示方法，以编码动作步骤及其时间排序，推动步骤分类和预测等领域的发展。通过深度概率模型同时学习视频表示和时间依赖关系，且在 COIN 和 EPIC-Kitchens 等数据集上，具有比同类研究更明显的提升。同时，该研究对于不完整步骤的步骤推测也有良好的表现。

    Mar, 2023

  • 利用远程监督学习识别过程性活动

    本文研究了从长达数分钟的视频中识别精细、多步骤活动的问题，通过远程监督的语言模型方法，基于 wikiHow 的文本数据库自动标注视频中的步骤，并在识别过程中考虑了它们的时间依赖性，实现了较高的泛化性能。

    Jan, 2022

  • 无监督视频集合中的语义行为发现

    通过视觉和语言提示的联合生成模型，对互联网上海量的指示视频进行语义步骤解析，为每个语义步骤和视频段提供文本描述。大量的 YouTube 视频验证了该方法能够准确发现各种任务的语义正确指示。

    May, 2016

  • 从烹饪视频中提取结构化程序化知识的基准

    本文提出了从烹饪视频中提取结构化过程知识的基准测试，研究了现有模式的性能。

    May, 2020

  • 使用叙述指令视频进行无监督学习

    本文提出一种基于非监督学习的方法，通过集合指导语音和视频，可以自动地学习完成某项任务的主要步骤，例如更换汽车轮胎。通过应用两个聚类问题，同时解决文本和视频中的信息，使它们连接在一起，得出在两种情况下都具有一致性的主要步骤。本文提出的方法可以自动地在输入视频中发现和定位处于任务中的主要步骤。作者还采集和注解了一个包含旨在模拟真实场景的任务的挑战数据集。

    Jun, 2015

  • P3IV: 从教学视频中使用弱监督进行概率过程规划

    本文提出了一种基于 transformer 和概率生成模块的弱监督方法，用于学习从自然语言指令中提取过程规划，避免了对训练视频进行昂贵的时序视频标注，并在三个数据集上的对比实验证明其优于之前的全监督模型。

    May, 2022

  • 通过情境建模和基于模型的策略学习在教学视频中进行程序规划

    本文提出了一种新的过程规划公式，通过贝叶斯推论和基于模型的模仿学习，建模人类行为，从而在实际的指导视频中实现了它，证明了我们的方法可以实现达到指定目标的最先进性能的同时，学习到的上下文信息以潜在空间的形式表现出有趣的特征。

    Oct, 2021

  • 自监督事件分割的感知预测框架

    本文提出了一种自我监督的、基于认知心理的预测学习框架，通过自适应学习来减少循环神经网络中灾难性遗忘的影响，在三个公共数据集上进行了广泛的实验，表明所提出的方法能够优于弱监督和其他非监督学习方法最多达 24％，并具有完全监督方法相媲美的性能。同时，该方法还能够学习高度区分特征，进而提高动作识别的表现。

    Nov, 2018

  • 面向操作流程的指导视频理解预训练

    本研究旨在利用视频表示学习技术，通过构建 Procedural Knowledge Graph (PKG) 生成伪标签来训练视频表示模型，以提高多种程序理解任务的精度。其中 PKG 结构由通过无标签的教学视频和基于文本的程序知识库信息融合而成，训练数据使用了四个新的预训练目标。最终模型 Paprika 在 12 个任务上实现了高达 11.23% 的精度提升。

    Mar, 2023

  • 从网络监督视频数据中学习细粒度动作概念的 YouTube 数据集挖掘

    介绍了一个大规模的现实世界数据集，该数据集用于评估人类行为识别的学习技术，进一步提出了在无人干预状态下收集数据和训练的方法，并针对该训练数据出现的语义不一致性问题，提出了一个语义分层结构。

    Jun, 2019