ICCVAug, 2023

上下文感知规划与环境感知记忆对于指令跟随的具身化智能体

PDF
TL;DR通过引入 CPEM（Context-aware Planner and Environment-aware Memory）将先前行动的情境信息与规划和维护对象的空间布局（例如，对象是否已经移动）相结合到感知模型中，改进了视觉导航和对象交互，在可见和不可见环境中实现了如题目要求的各项任务成功性能的最新水平。
embodied ai agentscontextual informationspatial arrangementvisual navigationobject interaction
发现论文，激发创造
  • 未知环境中的身体指令遵循

    通过利用多模态大型语言模型，我们构建了一个层次化的具有高级任务规划器和低级探索控制器的嵌入指令跟随框架，该方法可以在未知环境中通过在已知可见线索的基础上生成可行的计划来完成抽象指令，实验结果表明，在大型房屋场景中，我们的方法在 204 个复杂的人类指令（如做早餐和整理房间）中实现了 45.09% 的成功率。

    Jun, 2024

  • 可扩展的自我中心规划实现任务完成

    本文提出了一种称为 “Egocentric Planning” 的创新方法，将符号规划和面向对象的 POMDP 相结合，以解决在复杂环境中的任务。在 ALFRED 中进行的实验表明，该方法可以在完成家庭任务方面取得显著的成功率。该方法需要可靠的感知和代理动作的先决条件和效果的符号化描述。

    Jun, 2023

  • 基于大语言模型的具身化任务规划

    本文提出了一种利用多模态数据集进行物理约束的低水平嵌入式任务规划方法，并通过与 GPT-3.5 和 LLaVA 等方法进行对比实验，证明了该方法相比其他现有解决方案在普适的复杂环境中具有更高的成功率。

    Jul, 2023

  • 咖啡厅场景的多模态体验互动代理

    通过多模态环境记忆模块，我们提出了多模态交互式智能体（MEIA），能够将自然语言表达的高级任务转化为可执行动作序列，从而实现了大型模型与具有体现性控制的集成，实验结果展示了 MEIA 在各种交互任务中的良好表现。

    Feb, 2024

  • 多模态上下文化计划预测用于体验式任务完成

    本文研究了在任务规划中，使用多模态上下文和自然语言处理来进行高层次的计划预测，以提高机器人物理系统的可迁移性，并利用理想计划作为基准来评估计划预测模型的改进空间。

    May, 2023

  • 视觉导航的认知映射与规划

    提出一种学习从第一人称视角中建图并规划行动序列实现导航的神经网络架构，并应用于仿真和物理机器人环境中，取得了比其他基于学习或传统映射和路径规划方法更好的性能，能够扩展到语义化的目标。

    Feb, 2017

  • 具有可操作感知的多模态神经 SLAM 学习行为

    提出一种神经 SLAM 方法，利用多种模态进行探索，预测可承受意义地图并在其上进行规划，从而显著提高了探索效率，实现了鲁棒的长程规划，使得机器智能能够更有效地识别视觉和语言信息。在 ALFRED 基准测试中，相对先前发表的作品，提出的 Affordance-aware Multimodal Neural SLAM（AMSLAM）方法在成功率上实现了 23.48％的新的最高水平，取得了超过 40％的改进。

    Jan, 2022

  • SAMPLE-HD: 同时动作和运动规划学习环境

    本文提供了一个新的环境，用于学习交互式推理的视觉和行为方面的模拟，以掌握家庭用品的操作技能，并利用 SAMPLE-HD 环境生成场景、语言指令和训练路径。

    Jun, 2022

  • 基于上下文记忆的检索增强规划的多模态 LLM 智能体

    通过提出检索增强规划框架，本研究解决了人类行为在当前决策过程中产生的挑战，并展示了该框架在文本场景和多模态任务中的效果，突显了大型语言模型在复杂实际应用中的功能和适用性。

    Feb, 2024

  • 学习对象属性规划

    本文提出了一种利用符号规划的方法，采用先前的训练数据自动训练神经网络识别物体属性的方法，并使用规划技术来自动化训练数据集的创建和学习过程。最后，我们在模拟和真实环境中进行了实验评估，结果表明所提出的方法能够成功地学习如何识别新的物体属性。

    Jan, 2023