Dec, 2023

思考机器人：带有思维链推理的身体化指令跟随

PDF
TL;DRThinkBot 通过推理人类指令中的思维链来补全缺失的行动描述，以实现代理人成功完成人类目标的一种嵌入式指令遵循方法。在部分观察到的场景语义地图的基础上，通过对象本地化器来推断代理人实现复杂人类目标所需的相互作用对象的位置。在模拟环境中进行的大量实验证明，ThinkBot 在成功率和执行效率方面比最先进的嵌入式指令遵循方法有明显优势。
embodied instruction followingthinkbotinstruction completionobject localizersimulated environment
发现论文，激发创造
  • 未知环境中的身体指令遵循

    通过利用多模态大型语言模型，我们构建了一个层次化的具有高级任务规划器和低级探索控制器的嵌入指令跟随框架，该方法可以在未知环境中通过在已知可见线索的基础上生成可行的计划来完成抽象指令，实验结果表明，在大型房屋场景中，我们的方法在 204 个复杂的人类指令（如做早餐和整理房间）中实现了 45.09% 的成功率。

    Jun, 2024

  • 苏格拉底规划器：基于问题引导的零样本规划模型与实体指令跟随

    Socratic Planner 是第一个无需训练数据的零样本规划方法，在 Embodied Instruction Following 领域中通过自问自答将指令分解为子目标的结构信息，并通过密集视觉反馈动态调整计划，在 ALFRED 基准测试中取得了竞争性的性能，在需要高维推理的任务中表现出色。

    Apr, 2024

  • DANLI：根据自然语言指令执行的思考代理

    本文提出了一种基于神经和符号表示的推理代理，它在遵循语言指令的同时，基于过去的经验（例如自然语言和自我中心视觉）积极应用推理和计划，从而实现了大于 70％ 的改进，并提供了令人印象深刻的透明度和可解释性。

    Oct, 2022

  • 通过从文本的迁移学习进行深度强化学习的人类指令遵循

    通过使用预先训练的文本语言模型（BERT），我们提出了一种简单的方法来训练使用深度 RL 的指令跟踪代理，以适应自然人指令，从而在人类给出自然指令的情况下，实现从合成模板命令到指令的零 - shot 传输。

    May, 2020

  • 任务驱动的具有体感的对话智能体（TEACh）

    引入 TEACh 数据集，通过三个基准测试，研究基于人类空间的机器人必须能够与人进行自然语言交互，理解和执行指令，使用会话来解决模糊性并从错误中恢复的具体挑战。

    Oct, 2021

  • EmbodiedGPT: 基于身体思维链的视觉 - 语言预训练

    介绍了 EmbodiedGPT，一种多模式基础模型，用于具有多模式理解和执行能力的具体智能体，可在物理环境中计划和执行动作序列，从而显着提高了具体控制任务的成功率。

    May, 2023

  • 互动就是你所需要的？关于机器人理解和执行能力的研究

    该研究旨在探索将机器人与人类环境进行自然语言交互以实现无缝操作的关键挑战，通过使用多变压器模型和 BART 语言模型，我们在执行对话历史任务上取得了显著的改进，并提出了一种新的任务扩展方法通过预测游戏计划来促进任务解决。

    Nov, 2023

  • OPEx: 对体现教学指导中面向语言模型的组件式代理的分析

    在此研究中，提出了 OPEx 框架，它通过展示 Observer、Planner 和 Executor 的核心组成部分，深入分析了每个组件对 Embodied Instruction Following 任务性能的影响，并通过在 TextWorld 上部署多智能体对话策略来进一步提高性能。实验结果表明，引入大型语言模型和多智能体框架可以显著改善 Embodied Instruction Following 的结果。

    Mar, 2024

  • 闭环交互式具身推理的机器人操控

    通过使用 MuJoCo 物理引擎和高质量渲染器 Blender，我们引入一个新的模拟环境，以提供既逼真又准确反映物理环境状态的视觉观察。除此之外，我们还提出了一个由 10 类多步骤推理场景构成的新基准，并开发了一种新的模块化闭环交互式推理（CLIER）方法，考虑到非视觉对象属性的测量、外部干扰引起的场景变化以及机器人动作的不确定结果。我们在模拟环境和实际操作任务中对我们的推理方法进行了广泛评估，并取得了分别高达 76% 和 64% 的成功率。

    Apr, 2024

  • 模仿交互智能

    通过虚拟环境中的交互式训练、行为测试和逆强化学习技术，实现了大规模人类行为模仿，提高了人工智能代理的交互能力，并成功解决了代理评估方面的挑战。

    Dec, 2020