Sep, 2024

KARMA：增强具身人工智能代理的短期和长期记忆系统

HTML
PDF
TL;DR本研究解决了具身人工智能代理在执行相互关联的长期序列家庭任务时所面临的记忆问题，导致效率低下和错误。我们提出了KARMA，一种创新的记忆系统，通过记忆增强提示来提升大型语言模型的规划能力，该系统结合了短期和长期记忆模块，从而提高了任务执行的准确性和效率。实验结果显示，与现有技术相比，KARMA显著提高了复杂任务的成功率和执行效率。
发现论文，激发创造
  • 适用于具有长视程任务的实体代理的场景记忆变压器

    提出了一种新的记忆-基策略 Scene Memory Transformer (SMT)，将每个观察值嵌入并添加到记忆中，并使用注意机制来利用时空依赖关系，该模型通用且可以在长时间段内高效地使用强化学习训练。在一系列视觉导航任务中，SMT表现出比现有的反应式和基于记忆的策略更出色的表现。

    Mar, 2019

  • 迈向心理时间旅行：一种用于强化学习智能体的分层记忆

    提出一种层次式分块注意力记忆（HCAM）来解决深度强化学习事务中遗忘的问题，该方案在长期记忆、保持和推理记忆、元学习、代理性能等方面获得了显著的提升，同时也提高了样本效率、泛化性和广泛性。

    May, 2021

  • 基于大语言模型的具身化任务规划

    本文提出了一种利用多模态数据集进行物理约束的低水平嵌入式任务规划方法，并通过与 GPT-3.5 和 LLaVA 等方法进行对比实验，证明了该方法相比其他现有解决方案在普适的复杂环境中具有更高的成功率。

    Jul, 2023

  • 上下文感知规划与环境感知记忆对于指令跟随的具身化智能体

    通过引入CPEM（Context-aware Planner and Environment-aware Memory）将先前行动的情境信息与规划和维护对象的空间布局（例如，对象是否已经移动）相结合到感知模型中，改进了视觉导航和对象交互，在可见和不可见环境中实现了如题目要求的各项任务成功性能的最新水平。

    Aug, 2023

  • 带有增强记忆的大型语言模型的开放式指导式具身化智能代理

    通过相关的记忆检索，HELPER利用外部的语言-程序对内存将自由形式的人机对话解析为行动程序，以提供上下文的例子查询来转变开放域自然语言，并且拓展内存以包含用户的语言和行动计划。

    Oct, 2023

  • HELPER-X：基于记忆增强语言模型的统一可指导体现代理人解决四个交互式视觉语言领域

    扩展HELPER的记忆范围，整合额外的API来提问，使得代理可以跨多个领域进行计划执行、自然语言指令跟踪、主动提问和常识房间重组，HELPER-X在四个不同的互动视觉-语言体验代理基准测试中取得了少量训练和最新框架表现，与接受过特定领域培训的代理保持一定的竞争力。

    Apr, 2024

  • ReLEP：一种新的真实场景长远嵌入式规划框架

    本研究解决了现有嵌入式人工智能在长远任务规划中的局限，提出了一种新颖的ReLEP框架，该框架能够将抽象指令细化为详细步骤并完成多样化的日常任务。通过使用经过微调的大型视觉语言模型和精心设计的技能库，ReLEP展示了在真实环境中执行长远嵌入式任务的能力，并且在与现有的最先进方法的比较中表现出更优的性能。

    Sep, 2024

  • 具身-RAG：通用非参数具身记忆用于检索和生成

    本研究解决了现有检索增强生成（RAG）技术无法直接适用于具身领域的问题。提出的具身-RAG框架通过建立非参数记忆系统，允许具身代理自主构建层次化知识以支持导航和语言生成。实验表明，该框架能够高效处理各种查询，展示了其在具身代理中的广泛应用潜力。

    Sep, 2024

  • 具身式检索增强生成：通用非参数具身记忆用于检索与生成

    本研究解决了现有检索增强生成技术在具身领域中的适用性不足问题。提出的具身-RAG框架通过非参数记忆系统增强具身代理的基础模型，能够自主构建层次化知识，处理多种导航和语言生成任务。研究表明，该框架有效连接了检索增强生成与机器人领域，展示了其在多个环境中的广泛应用潜力。

    Sep, 2024

  • 具身RAG：通用非参数具身记忆的检索与生成

    本文解决了现有检索增强生成技术无法直接适应具身领域的问题。提出了一种新的框架“具身RAG”，通过非参数记忆系统增强具身智能体的基础模型，以层级方式构建导航和语言生成知识。研究表明，“具身RAG”成功处理了多种环境中的解释和导航查询，展示了其在具身智能体中的广泛应用潜力。

    Sep, 2024