CVPRMar, 2024

为何不使用教科书？知识增强的教学视频程序规划

PDF
TL;DR该研究探讨了代理程序在构建逻辑动作步骤序列方面的能力，从而组装战略性的过程计划。利用来自训练数据的程序化知识图，我们提出了一种名为 KEPP 的新型知识增强程序规划系统，该系统在各种复杂度设置下的实验评估结果表明，KEPP 取得了卓越的、最新的结果，同时只需要很少的监督。
发现论文，激发创造
  • P3IV: 从教学视频中使用弱监督进行概率过程规划

    本文提出了一种基于 transformer 和概率生成模块的弱监督方法，用于学习从自然语言指令中提取过程规划，避免了对训练视频进行昂贵的时序视频标注，并在三个数据集上的对比实验证明其优于之前的全监督模型。

    May, 2022

  • 教学视频中的程序规划

    本文提出 Dual Dynamics Networks（DDN）框架来解决学习结构化的、可规划的状态和动作空间的技术挑战，以应对复杂任务规划的问题；DDN 框架在真实世界的教学视频上展示了更好的规划性能。

    Jul, 2019

  • 面向操作流程的指导视频理解预训练

    本研究旨在利用视频表示学习技术，通过构建 Procedural Knowledge Graph (PKG) 生成伪标签来训练视频表示模型，以提高多种程序理解任务的精度。其中 PKG 结构由通过无标签的教学视频和基于文本的程序知识库信息融合而成，训练数据使用了四个新的预训练目标。最终模型 Paprika 在 12 个任务上实现了高达 11.23% 的精度提升。

    Mar, 2023

  • 基于事件引导的通过文本监督的指导视频的流程规划

    本研究针对从带有文本监督的指令视频中进行过程规划的任务，提出了一种基于事件引导的范式，通过从观察到的状态中推断事件并基于状态和预测的事件规划行动。在提出的模型中，还采用了遮盖和预测方法进行关系挖掘，通过将事件信息编码到顺序建模过程中来支持过程规划。实验证明了我们提出的模型的有效性。

    Aug, 2023

  • 适应性指导视频中的检索增强规划器

    本文介绍了在教学视频中的过程规划，其中关键问题包括自适应程序、时间关系、注释成本，并提出了检索增强规划器 (RAP) 模型来解决这些挑战。RAP 通过自适应地确定动作的结论、建立外部内存模块以明确从训练视频中检索最相关的状态 - 动作对，并利用弱监督学习扩大训练数据集，生成动作步骤的伪标签。在 CrossTask 和 COIN 基准测试上的实验证明了 RAP 在自适应过程规划方面的优越性，将其确立为自适应过程规划的强基准解决方案。

    Mar, 2024

  • 通过情境建模和基于模型的策略学习在教学视频中进行程序规划

    本文提出了一种新的过程规划公式，通过贝叶斯推论和基于模型的模仿学习，建模人类行为，从而在实际的指导视频中实现了它，证明了我们的方法可以实现达到指定目标的最先进性能的同时，学习到的上下文信息以潜在空间的形式表现出有趣的特征。

    Oct, 2021

  • 从说明视频和其叙述中学习过程感知视频表示

    研究利用大量网络教学视频和其解说学习视频表示方法，以编码动作步骤及其时间排序，推动步骤分类和预测等领域的发展。通过深度概率模型同时学习视频表示和时间依赖关系，且在 COIN 和 EPIC-Kitchens 等数据集上，具有比同类研究更明显的提升。同时，该研究对于不完整步骤的步骤推测也有良好的表现。

    Mar, 2023

  • 在教学视频中基于视频图像挖掘的按键识别

    我们提出从视频中自动发现任务图表示人们如何执行关键步骤的概率，并利用该图来规范化新视频中的关键步骤识别，从而在多个真实世界教学视频数据集上展示了影响：更可靠的零样本关键步骤定位和改进的视频表示学习，超越了现有技术水平。

    Jul, 2023

  • 多阶段训练的知识感知程序文本理解

    研究了手续性文本理解的挑战，发现外部知识注入和数据不足的问题，提出了一个多阶段训练的知识感知 KOALA 模型，最终在 ProPara 和 Recipes 数据集上达到了最先进的性能表现。

    Sep, 2020

  • Skip-Plan：通过简化的行动空间学习在教学视频中进行程序规划

    通过跳过不确定的节点和边，在行动链中以简化行动空间的方式，我们的模型能够探索行动序列中各种可靠的子关系，并在 CrossTask 和 COIN 两个评估数据集上达到了最先进的性能。

    Oct, 2023