Sep, 2024

ReLEP：一种新的真实场景长远嵌入式规划框架

HTML
PDF
TL;DR本研究解决了现有嵌入式人工智能在长远任务规划中的局限，提出了一种新颖的ReLEP框架，该框架能够将抽象指令细化为详细步骤并完成多样化的日常任务。通过使用经过微调的大型视觉语言模型和精心设计的技能库，ReLEP展示了在真实环境中执行长远嵌入式任务的能力，并且在与现有的最先进方法的比较中表现出更优的性能。
发现论文，激发创造
  • 规划、消除和跟踪——语言模型是装备智能体的良师益友

    使用大型语言模型的知识来简化控制问题，而不是直接解决它，作者提出了Plan, Eliminate, and Track (PET) 框架，并在AlfWorld指令跟随基准测试中取得了显着的15%性能提升。

    May, 2023

  • 多模态上下文化计划预测用于体验式任务完成

    本文研究了在任务规划中，使用多模态上下文和自然语言处理来进行高层次的计划预测，以提高机器人物理系统的可迁移性，并利用理想计划作为基准来评估计划预测模型的改进空间。

    May, 2023

  • EmbodiedGPT: 基于身体思维链的视觉-语言预训练

    介绍了 EmbodiedGPT，一种多模式基础模型，用于具有多模式理解和执行能力的具体智能体，可在物理环境中计划和执行动作序列，从而显着提高了具体控制任务的成功率。

    May, 2023

  • 可扩展的自我中心规划实现任务完成

    本文提出了一种称为“Egocentric Planning”的创新方法，将符号规划和面向对象的POMDP相结合，以解决在复杂环境中的任务。在ALFRED中进行的实验表明，该方法可以在完成家庭任务方面取得显著的成功率。该方法需要可靠的感知和代理动作的先决条件和效果的符号化描述。

    Jun, 2023

  • 基于大语言模型的具身化任务规划

    本文提出了一种利用多模态数据集进行物理约束的低水平嵌入式任务规划方法，并通过与 GPT-3.5 和 LLaVA 等方法进行对比实验，证明了该方法相比其他现有解决方案在普适的复杂环境中具有更高的成功率。

    Jul, 2023

  • 任务与动作规划的具身终身学习

    提出了一个新颖的机器人终身学习问题模型，通过对任务和运动规划（TAMP）的学习利用模块化的方法设计生成混合模型，并根据辅助任务确定在线上使用共享或非共享模型，解决了数据如何在任务模型之间共享的问题。该方法在2D领域的模拟和BEHAVIOR基准测试中的实验中均实现了显著的规划成功率提升。

    Jul, 2023

  • 视频语言规划

    我们介绍了视频语言规划（VLP）算法，利用在互联网规模数据上预训练的大型生成模型，通过在生成视频和语言空间中进行可视化规划来完成复杂的长期任务，通过针对多模态（视频和语言）进行详细规划来描述如何完成最终任务，进一步通过目标条件策略将生成的视频转化为真实的机器人行动。

    Oct, 2023

  • EgoPlan-Bench：基于多模态大型语言模型的自我中心体验规划基准测试

    多模态大型语言模型（MLLMs）在具有出色推理和概括能力的大型语言模型（LLMs）基础上开辟了新的具身任务规划途径。我们引入了一项人类注释的基准测试EgoPlan-Bench，定量调查MLLMs在现实场景中作为具身任务规划器的潜力，并构建了一个指导调优数据集EgoPlan-IT，这些实验结果表明，通过EgoPlan-IT调优的模型不仅在我们的基准测试中显著提高了性能，还在模拟中有效地扮演了具身规划器的角色。

    Dec, 2023

  • KARMA：增强具身人工智能代理的短期和长期记忆系统

    本研究解决了具身人工智能代理在执行相互关联的长期序列家庭任务时所面临的记忆问题，导致效率低下和错误。我们提出了KARMA，一种创新的记忆系统，通过记忆增强提示来提升大型语言模型的规划能力，该系统结合了短期和长期记忆模块，从而提高了任务执行的准确性和效率。实验结果显示，与现有技术相比，KARMA显著提高了复杂任务的成功率和执行效率。

    Sep, 2024

  • 可以做到！一个用于具身规划的大型多模态模型的数据集和神经符号基础框架

    本研究针对大型多模态模型在真实环境中的感知、推理、规划和行动能力的不足，提出了Can-Do数据集，通过更复杂的场景评估具身规划能力。我们还提出了神经符号框架NeuroGround，以环境状态为基础生成计划，结合符号规划引擎增强模型产生的计划，实验结果显示该框架优于现有方法。

    Sep, 2024