Dec, 2022

LLM-Planner: 借助大型语言模型进行少样本基于实例的具身 agent 规划

PDF
TL;DR本研究使用大型语言模型 (Large Language Models, LLMs) 作为规划师，以完成视觉感知环境中的复杂任务的具有身体接口的代理人。研究提出了 LLM-Planner 方法进行 few-shot planning，同时提出通过物理接口增强 LLMs 的简单而有效的方法，实验结果表明该方法在 ALFRED 数据集上能够取得与使用全数据训练的基线模型相当的性能。
large language modelsembodied agentsfew-shot planningphysical groundingalfred dataset
发现论文，激发创造
  • 使用大语言模型模块化地构建合作体验智能体

    论文提出了一种新的基于大型语言模型的多智能体合作框架，在多种身体环境中测试并得到了良好的效果，其具备规划、沟通和与其他人类或智能体合作完成长期任务等能力，并且与人类沟通的模型更容易获得信任，这为未来的智能体合作研究奠定了基础。

    Jul, 2023

  • 关于借助语言模型实现具体任务计划的研究

    本研究旨在探讨语言模型是否具有生成具体执行计划的能力，并针对该问题提出了一个新的问题解决方案: G-PlanET。通过将高级目标和特定环境中物体的数据表输入，我们设计了一种迭代解码策略，并使用新的度量标准 KAS 评估模型执行计划的质量，实验结果表明，将环境信息编码为表格，迭代解码策略可以显著提高语言模型的表现。

    Aug, 2022

  • 语言模型作为零 - shot 规划器：提取行动知识用于具身代理

    本文研究大型语言模型在互动环境中是否可以利用所学的世界知识来执行高层任务，并提出了一种条件方法，将语言模型生成的中级计划语义上翻译为合适的操作以提高执行性能。在 VirtualHome 环境中的实证评估结果表明，该方法在可执行性方面显著优于大型语言模型基线。

    Jan, 2022

  • LoTa-Bench: 为具有体现性代理的面向语言任务规划器进行基准测试

    提出了一个针对家庭服务实体代理的任务规划性能自动量化基准系统，对大型语言模型和提示进行了广泛实验，并探索了基线任务规划器的多个改进，预计该基准工具将加快语言导向的任务规划器的发展。

    Feb, 2024

  • LLM 动态规划

    大型语言模型与符号规划器结合的神经符号框架，为解决涉及体验代理的复杂计划任务提供更快速和高效的解决方案。

    Aug, 2023

  • 利用大语言模型将自然语言转换为计划目标

    本研究探讨了大型语言模型是否能够将自然语言的目标翻译成结构化的计划语言。我们使用 GPT 3.5 变种进行了实验，结果表明大型语言模型更适合进行翻译而不是规划，虽然这些模型能够利用常识知识和推理填补自然语言目标中缺失的细节，但在涉及到数字或物理推理的任务中，它们可能会出现失败，并且对所使用的提示信息很敏感。

    Feb, 2023

  • 基于计划的大型语言模型在双目标对话设置中的应用

    本文介绍了一个新颖的大型语言模型（LLM），在混合主动对话环境中对话，并通过制定规程计划引导用户，并在需要时激活安全保障措施。实验结果表明，该模型取得了 2.1 倍的改进，并在未知领域中显示出良好的泛化能力。

    Feb, 2024

  • EgoPlan-Bench：基于多模态大型语言模型的自我中心体验规划基准测试

    多模态大型语言模型（MLLMs）在具有出色推理和概括能力的大型语言模型（LLMs）基础上开辟了新的具身任务规划途径。我们引入了一项人类注释的基准测试 EgoPlan-Bench，定量调查 MLLMs 在现实场景中作为具身任务规划器的潜力，并构建了一个指导调优数据集 EgoPlan-IT，这些实验结果表明，通过 EgoPlan-IT 调优的模型不仅在我们的基准测试中显著提高了性能，还在模拟中有效地扮演了具身规划器的角色。

    Dec, 2023

  • 通过语言模型进行规划的具身推理

    研究了大型语言模型在具身化场景下的规划能力，通过自然语言反馈的方式，提高对机器人控制场景的理解和指导完成任务的效果。

    Jul, 2022

  • 基于大语言模型的具身化任务规划

    本文提出了一种利用多模态数据集进行物理约束的低水平嵌入式任务规划方法，并通过与 GPT-3.5 和 LLaVA 等方法进行对比实验，证明了该方法相比其他现有解决方案在普适的复杂环境中具有更高的成功率。

    Jul, 2023