Oct, 2022

看、规划、预测：语言引导的视频预测认知规划

PDF
TL;DR通过自然语言引导视频预测，我们提出了一种新的视觉预测结构，使得计算机可以通过语言输入来分解高级任务计划，并且使用预先训练好的 transformers 使得模型具有一定的任务泛化能力，实验表明，这种结构相对于不具有任务规划或动作引导的基线模型具有显著优势，并且通过深入研究发现语言嵌入技术对于任务泛化能力的提升非常重要。
cognitive planninglanguage-guided video predictionnatural language instructionspre-trained transformerstask generalization
发现论文，激发创造
  • 基于视觉理解规划的语言模型无需视觉输入推断详细计划

    本文研究了如何将自然语言指令转化为虚拟环境中可行的多步骤行动序列，通过实证表明，结合一定的视觉信息和上下文语境，GPT-2 模型能够成功地生成金标准语句执行序列，为基于语言的虚拟代理提供了强大的视觉语义规划模块。

    Sep, 2020

  • 语言模型的认知地图：通过动词表示世界模型的最优规划

    本文研究了语言模型的最佳规划能力，可以构建给定环境的认知地图，实验证明认知地图显著提高了网格世界路径规划任务中的规划生成能力，同时展示了与人类认知类似的两个关键特征：将规划能力泛化到外推环境和有限训练数据下的快速适应。希望本研究结果能够为基于语言模型的模拟人类认知流程提供启示，从而开发出更先进、更健壮的系统，更好地模拟人类思维。

    Jun, 2024

  • 通过情境建模和基于模型的策略学习在教学视频中进行程序规划

    本文提出了一种新的过程规划公式，通过贝叶斯推论和基于模型的模仿学习，建模人类行为，从而在实际的指导视频中实现了它，证明了我们的方法可以实现达到指定目标的最先进性能的同时，学习到的上下文信息以潜在空间的形式表现出有趣的特征。

    Oct, 2021

  • 教学视频中的程序规划

    本文提出 Dual Dynamics Networks（DDN）框架来解决学习结构化的、可规划的状态和动作空间的技术挑战，以应对复杂任务规划的问题；DDN 框架在真实世界的教学视频上展示了更好的规划性能。

    Jul, 2019

  • 明确规划有助于语言模型在逻辑推理中的表现

    在本文中，我们提出了一个使用语言模型进行多步逻辑推理的新型系统，该系统将显式计划纳入其推理过程中，从而通过向前看到它们的未来效果，能够在每一步上做出更明智的推理决策。在我们的实验中，我们的完整系统明显优于其他竞争系统，在多项选择题回答任务中，我们的系统表现与 GPT-3-davinci 相当，尽管只有约 15B 的参数。我们进行了几项削减研究，以证明显式计划在系统性能中起着重要作用。

    Mar, 2023

  • 多模态上下文化计划预测用于体验式任务完成

    本文研究了在任务规划中，使用多模态上下文和自然语言处理来进行高层次的计划预测，以提高机器人物理系统的可迁移性，并利用理想计划作为基准来评估计划预测模型的改进空间。

    May, 2023

  • 使用语言模型进行小样本子目标规划

    本文探讨了预训练的大型语言模型在预测现实世界环境中可行的计划方面的能力，表明预先训练的语言模型中的语言优先级允许我们推断出细粒度的子目标序列，并提出了一种通过环境的交互和反馈重新排列语言模型预测的简单策略，结合预先训练的导航和视觉推理组件在 ALFRED 基准测试中表现优秀。

    May, 2022

  • P3IV: 从教学视频中使用弱监督进行概率过程规划

    本文提出了一种基于 transformer 和概率生成模块的弱监督方法，用于学习从自然语言指令中提取过程规划，避免了对训练视频进行昂贵的时序视频标注，并在三个数据集上的对比实验证明其优于之前的全监督模型。

    May, 2022

  • 虚拟环境的自动映射与视觉预测编码

    预测编码为构建认知地图的统一算法框架，并能通过视觉信息定位环境中的位置。

    Aug, 2023

  • 基于控制的视频预测基准测试

    该论文提出了一个基于视频预测的机器人操作基准测试，使用 11 个任务类别和 310 个任务实例定义来评估模型预测准确性及其相应执行成功率，通过分析五种高性能视频预测模型的效果，发现在建模视觉多样化环境时，规模可以提高感知质量，而不同的属性，如不确定性意识对计划性能的提升也是有帮助的。

    Apr, 2023