Jul, 2024

教学视频中的开放事件过程规划

HTML
PDF
TL;DR在这篇论文中，我们引入了一项名为开放事件过程规划（OEPP）的新任务，旨在验证规划器是否能够将学到的知识转移到在训练过程中未见过的相似事件。我们重新构建了一个基于现有数据集的OEPP任务基准，并将所涉及的事件分为基础和新颖两部分。通过评估不同事件步骤的描述相似性以及多个阶段的知识传递能力，我们在数据收集过程中精心确保了基础和新颖事件的程序知识的可转移性。基于收集到的数据，我们进一步提出了一个专门为OEPP设计的简单且通用的框架，并使用各种基准方法进行了广泛的研究，对结果进行了详细而深入的分析。
发现论文，激发创造
  • 教学视频中的程序规划

    本文提出Dual Dynamics Networks（DDN）框架来解决学习结构化的、可规划的状态和动作空间的技术挑战，以应对复杂任务规划的问题；DDN框架在真实世界的教学视频上展示了更好的规划性能。

    Jul, 2019

  • 通过情境建模和基于模型的策略学习在教学视频中进行程序规划

    本文提出了一种新的过程规划公式，通过贝叶斯推论和基于模型的模仿学习，建模人类行为，从而在实际的指导视频中实现了它，证明了我们的方法可以实现达到指定目标的最先进性能的同时，学习到的上下文信息以潜在空间的形式表现出有趣的特征。

    Oct, 2021

  • 教学视频中的过程规划：PDPP算法

    研究了指导视频中的过程规划问题，使用扩散模型进行分布拟合，从中采样操作序列达到规划目标，并在三个数据集上验证了其优于当前方法的性能表现。

    Mar, 2023

  • 面向操作流程的指导视频理解预训练

    本研究旨在利用视频表示学习技术，通过构建Procedural Knowledge Graph(PKG)生成伪标签来训练视频表示模型，以提高多种程序理解任务的精度。其中PKG结构由通过无标签的教学视频和基于文本的程序知识库信息融合而成，训练数据使用了四个新的预训练目标。最终模型Paprika在12个任务上实现了高达11.23%的精度提升。

    Mar, 2023

  • 基于事件引导的通过文本监督的指导视频的流程规划

    本研究针对从带有文本监督的指令视频中进行过程规划的任务，提出了一种基于事件引导的范式，通过从观察到的状态中推断事件并基于状态和预测的事件规划行动。在提出的模型中，还采用了遮盖和预测方法进行关系挖掘，通过将事件信息编码到顺序建模过程中来支持过程规划。实验证明了我们提出的模型的有效性。

    Aug, 2023

  • Skip-Plan：通过简化的行动空间学习在教学视频中进行程序规划

    通过跳过不确定的节点和边，在行动链中以简化行动空间的方式，我们的模型能够探索行动序列中各种可靠的子关系，并在 CrossTask 和 COIN 两个评估数据集上达到了最先进的性能。

    Oct, 2023

  • 无任务名称的上下文注入用于程序规划

    本研究探讨了在教学视频中的过程规划挑战，旨在通过观察视频中的视觉起点和目标，创建目标导向的计划。在先前的研究中，通过从大量的中间视觉观察或语言指令逐渐减少训练监督来解决此问题。然而，随着大型语言模型的出现，即使只提供任务名称，这些模型也可以生成详细的计划。本研究提出了一种更弱的设置方式，没有任务名称作为监督，当前大型语言模型无法解决此问题，因为它们需要具备充分信息的良好提示。具体而言，我们假设以前的中间监督可以作为上下文信息，并使用视觉起点和目标观察的标题作为更便宜的监督形式。该方法极大地降低了标记成本，因为标题可通过大型预训练视觉-语言模型轻松获得。从技术上讲，我们应用BLIP生成标题，作为对比学习损失训练上下文特征。然后，将上下文特征输入生成器以辅助计划生成。我们在两个不同规模的数据集上进行的实验证明，我们的模型在多个指标上可以达到可比较的性能，从而验证了我们的假设。

    Feb, 2024

  • SCHEMA: 在教学视频中，状态变化对流程规划至关重要

    我们研究了教学视频中的过程规划问题，旨在根据部分视觉观察结果制定目标导向的行动步骤序列，通过跟踪状态变化建立更有结构化的状态空间。通过在步骤表示中利用通识知识并通过语言描述对齐状态观察，我们提出的SCHEMA模型在CrossTask、COIN和NIV基准数据集上实验，取得了最先进的性能，并得到了可解释的可视化结果。

    Mar, 2024

  • 为何不使用教科书？知识增强的教学视频程序规划

    该研究探讨了代理程序在构建逻辑动作步骤序列方面的能力，从而组装战略性的过程计划。利用来自训练数据的程序化知识图，我们提出了一种名为KEPP的新型知识增强程序规划系统，该系统在各种复杂度设置下的实验评估结果表明，KEPP取得了卓越的、最新的结果，同时只需要很少的监督。

    Mar, 2024

  • 适应性指导视频中的检索增强规划器

    本文介绍了在教学视频中的过程规划，其中关键问题包括自适应程序、时间关系、注释成本，并提出了检索增强规划器 (RAP) 模型来解决这些挑战。RAP 通过自适应地确定动作的结论、建立外部内存模块以明确从训练视频中检索最相关的状态-动作对，并利用弱监督学习扩大训练数据集，生成动作步骤的伪标签。在 CrossTask 和 COIN 基准测试上的实验证明了 RAP 在自适应过程规划方面的优越性，将其确立为自适应过程规划的强基准解决方案。

    Mar, 2024