本研究提出了一种新的联合导航和组装任务，名为ArraMon，通过视觉和语言导航、对象组装和对象引用表达理解等多个步骤，让代理商在复杂的户外环境中寻找和收集不同的目标对象，然后在自我中心的网格布局环境中逐个将所收集的对象进行组装，研究实现了基于3D动态环境模拟器的数据集，并通过验证步骤过滤收集的指令，在英文和印地语中搜集了总共7.7K个任务实例。

Nov, 2020

通过交互式三维环境中的体验式概念学习者，机器人可以通过学习自然语言指令和人类示范，理解视觉概念、建立语义地图并规划行动，实现长期计划，且无需通过模拟数据获得地基准真的语义深度监督。

Apr, 2023

介绍了 EmbodiedGPT，一种多模式基础模型，用于具有多模式理解和执行能力的具体智能体，可在物理环境中计划和执行动作序列，从而显着提高了具体控制任务的成功率。

May, 2023

通过相关的记忆检索，HELPER利用外部的语言-程序对内存将自由形式的人机对话解析为行动程序，以提供上下文的例子查询来转变开放域自然语言，并且拓展内存以包含用户的语言和行动计划。

Oct, 2023

在计算机视觉和机器人领域，基于自身的智能体需要能够探索环境并执行人类指令，这要求其能够从第一人称观察中完全理解3D场景，并将其以语言的形式进行交互。本研究引入了一种名为EmbodiedScan的多模式、自我中心的3D感知数据集和基准，用于整体的3D场景理解。通过该数据集，我们还引入了一种名为Embodied Perceptron的基线框架，它能够处理任意数量的多模式输入，并展示出卓越的3D感知能力。

Dec, 2023

我们提出了一种基于语义推理和视觉语言模型的方法，通过构建语义地图和使用自校准来提高机器人的提问回答和探索效率。

Mar, 2024

本研究针对具身日常任务中传统模型面临的规划不足和环境知识缺乏的问题，提出了一种新颖的渐进式检索增强生成方法（P-RAG）。该方法通过迭代更新数据库并利用历史信息，显著提升了模型在无真实样本条件下的表现，展示出在实际应用中的潜在影响。

Sep, 2024

本研究解决了具身人工智能代理在执行相互关联的长期序列家庭任务时所面临的记忆问题，导致效率低下和错误。我们提出了KARMA，一种创新的记忆系统，通过记忆增强提示来提升大型语言模型的规划能力，该系统结合了短期和长期记忆模块，从而提高了任务执行的准确性和效率。实验结果显示，与现有技术相比，KARMA显著提高了复杂任务的成功率和执行效率。

Sep, 2024

本研究解决了现有检索增强生成（RAG）技术无法直接适用于具身领域的问题。提出的具身-RAG框架通过建立非参数记忆系统，允许具身代理自主构建层次化知识以支持导航和语言生成。实验表明，该框架能够高效处理各种查询，展示了其在具身代理中的广泛应用潜力。

Sep, 2024

本研究解决了现有检索增强生成技术在具身领域中的适用性不足问题。提出的具身-RAG框架通过非参数记忆系统增强具身代理的基础模型，能够自主构建层次化知识，处理多种导航和语言生成任务。研究表明，该框架有效连接了检索增强生成与机器人领域，展示了其在多个环境中的广泛应用潜力。

Sep, 2024