本文提出 Dual Dynamics Networks（DDN）框架来解决学习结构化的、可规划的状态和动作空间的技术挑战，以应对复杂任务规划的问题；DDN 框架在真实世界的教学视频上展示了更好的规划性能。

Jul, 2019

本文提出了一种基于 transformer 和概率生成模块的弱监督方法，用于学习从自然语言指令中提取过程规划，避免了对训练视频进行昂贵的时序视频标注，并在三个数据集上的对比实验证明其优于之前的全监督模型。

May, 2022

本文提出了一种新的过程规划公式，通过贝叶斯推论和基于模型的模仿学习，建模人类行为，从而在实际的指导视频中实现了它，证明了我们的方法可以实现达到指定目标的最先进性能的同时，学习到的上下文信息以潜在空间的形式表现出有趣的特征。

Oct, 2021

该研究提出了一种名为 PlanT 的新方法，使用标准的 Transformer 架构，通过紧凑的对象层输入表示进行模仿学习来进行自动驾驶的计划，可以更好地识别相关对象，结合现有的感知模块即可实现更优秀的驾驶性能。

Oct, 2022

本研究针对从带有文本监督的指令视频中进行过程规划的任务，提出了一种基于事件引导的范式，通过从观察到的状态中推断事件并基于状态和预测的事件规划行动。在提出的模型中，还采用了遮盖和预测方法进行关系挖掘，通过将事件信息编码到顺序建模过程中来支持过程规划。实验证明了我们提出的模型的有效性。

Aug, 2023

本文提供了一种新框架 Recplan，用于从部分观察到的原始图像轨迹中学习转换模型。通过考虑轨迹中的前面和后面的图像，我们学习原始观察的潜在状态表示，然后基于这样的表示构建转换模型。此外，我们提出了一种基于神经网络的方法，学习估计朝着给定目标观察的距离的启发式模型。基于学习的转换模型和启发式模型，我们实现了一个图像的经典规划器，并在实证中展示了我们的方法比在具有不完整观测的环境中学习视觉规划模型的最新方法更有效。

Nov, 2022

本研究提出了『Visual Planning for Assistance (VPA)』的任务，通过视频中的行动段落和预测，使用预训练语言模型处理长时间的视频历史数据和复杂的行动依赖关系，从而使『multi-modal AI assistants』能够指导用户攻克复杂的多步骤目标。

Apr, 2023

本文介绍了在教学视频中的过程规划，其中关键问题包括自适应程序、时间关系、注释成本，并提出了检索增强规划器 (RAP) 模型来解决这些挑战。RAP 通过自适应地确定动作的结论、建立外部内存模块以明确从训练视频中检索最相关的状态 - 动作对，并利用弱监督学习扩大训练数据集，生成动作步骤的伪标签。在 CrossTask 和 COIN 基准测试上的实验证明了 RAP 在自适应过程规划方面的优越性，将其确立为自适应过程规划的强基准解决方案。

Mar, 2024

本论文介绍了一种新的预训练视频模型，VideoTaskformer，利用遮盖步骤建立弱监督学习任务，学习全局步骤表示，实现对多步骤任务的表示和预测。同时提出了两个新的基准测试来检测指令视频中的错误步骤和步骤执行顺序，以及一项长期预测基准测试，均取得了优于现有基线的性能，适用于评估全球学习的步骤表示质量。

Mar, 2023

通过将序列化决策问题转化为文本条件下的视频生成问题，我们能够推广到新的目标并在不同的环境下进行学习和泛化，从而建立更加通用的智能体。

Jan, 2023