Jun, 2023

可扩展的自我中心规划实现任务完成

PDF
TL;DR本文提出了一种称为 “Egocentric Planning” 的创新方法，将符号规划和面向对象的 POMDP 相结合，以解决在复杂环境中的任务。在 ALFRED 中进行的实验表明，该方法可以在完成家庭任务方面取得显著的成功率。该方法需要可靠的感知和代理动作的先决条件和效果的符号化描述。
embodied agentsegocentric planningobject-oriented pomdpsalfreddomestic tasks
发现论文，激发创造
  • 基于大语言模型的具身化任务规划

    本文提出了一种利用多模态数据集进行物理约束的低水平嵌入式任务规划方法，并通过与 GPT-3.5 和 LLaVA 等方法进行对比实验，证明了该方法相比其他现有解决方案在普适的复杂环境中具有更高的成功率。

    Jul, 2023

  • EgoPlan-Bench：基于多模态大型语言模型的自我中心体验规划基准测试

    多模态大型语言模型（MLLMs）在具有出色推理和概括能力的大型语言模型（LLMs）基础上开辟了新的具身任务规划途径。我们引入了一项人类注释的基准测试 EgoPlan-Bench，定量调查 MLLMs 在现实场景中作为具身任务规划器的潜力，并构建了一个指导调优数据集 EgoPlan-IT，这些实验结果表明，通过 EgoPlan-IT 调优的模型不仅在我们的基准测试中显著提高了性能，还在模拟中有效地扮演了具身规划器的角色。

    Dec, 2023

  • 学习对象属性规划

    本文提出了一种利用符号规划的方法，采用先前的训练数据自动训练神经网络识别物体属性的方法，并使用规划技术来自动化训练数据集的创建和学习过程。最后，我们在模拟和真实环境中进行了实验评估，结果表明所提出的方法能够成功地学习如何识别新的物体属性。

    Jan, 2023

  • 未知环境中的身体指令遵循

    通过利用多模态大型语言模型，我们构建了一个层次化的具有高级任务规划器和低级探索控制器的嵌入指令跟随框架，该方法可以在未知环境中通过在已知可见线索的基础上生成可行的计划来完成抽象指令，实验结果表明，在大型房屋场景中，我们的方法在 204 个复杂的人类指令（如做早餐和整理房间）中实现了 45.09% 的成功率。

    Jun, 2024

  • 上下文感知规划与环境感知记忆对于指令跟随的具身化智能体

    通过引入 CPEM（Context-aware Planner and Environment-aware Memory）将先前行动的情境信息与规划和维护对象的空间布局（例如，对象是否已经移动）相结合到感知模型中，改进了视觉导航和对象交互，在可见和不可见环境中实现了如题目要求的各项任务成功性能的最新水平。

    Aug, 2023

  • 学习用于规划的抽象且可迁移的表示

    该论文提出了一个框架来自我学习代理环境的状态抽象，这些抽象是任务无关的可重用的，从而显著提高了学习效率和代理任务解决的能力。

    May, 2022

  • 通过符号世界知识从自我中心视角定位活动对象

    通过学习任务指令的对象信息、利用对象的动作前后条件和描述性知识，我们提出了一种改进短语定位模型的方法，通过大型语言模型来提取动作 - 对象知识，并设计了一种对象短语和符号知识的联合推理技术，实验证明我们的方法在各项指标上都取得了显著的改善。

    Oct, 2023

  • 动态环境下人机多智能体系统的最佳任务与动作规划及执行

    本文提出了一种联合任务和运动规划方法来优化任务的排序、分配和执行，解决多智能体系统中的时空变异性问题，采用时间轴规划处理任务的时间约束、时间变化和协同分配，在网络平面规划中以环境变化为前提，证明了该方法的有效性。

    Mar, 2023

  • 如今是否已经到达目的地？学习跟随具身教学中的定位

    本研究针对 “Embodied instruction following” 的挑战性问题，利用 ALFRED 基准测试，通过引入多个视角和培训模型预测空间关系的方式来解决目标定位和语言指令接地等关键难点，同时通过引入预训练的物体检测模块来提高语言接地，实验证明我们的方法可以超越基线模型性能。

    Jan, 2021

  • 多模态上下文化计划预测用于体验式任务完成

    本文研究了在任务规划中，使用多模态上下文和自然语言处理来进行高层次的计划预测，以提高机器人物理系统的可迁移性，并利用理想计划作为基准来评估计划预测模型的改进空间。

    May, 2023