Nov, 2023

JARVIS-1: 开放世界多任务智能体及伴有增强记忆的多模态语言模型

PDF
TL;DRJARVIS-1 是一个在开放世界中能够感知多模态输入、生成复杂计划和执行控制的智能体，在 Minecraft 宇宙中完成了超过 200 个任务，包括了从入门到中级难度的任务，并且在长期目标挖掘任务中取得了无与伦比的 12.5% 完成率，比以往记录提高了 5 倍以上。通过多模态记忆，JARVIS-1 能够不断自我提升，实现了更通用的智能和改进的自主性。
发现论文，激发创造
  • OmniJARVIS: 统一的视觉 - 语言 - 行为标记使得开放世界指导跟随代理

    OmniJARVIS 是一个新颖的视觉 - 语言 - 动作（VLA）模型，用于开放世界 Minecraft 中的指令跟随代理。通过对多模态交互数据进行统一分词，OmniJARVIS 能够具备强大的推理和高效的决策能力，并在开放世界 Minecraft 中的多种任务上表现出优异的性能。

    Jun, 2024

  • JARVIS: 一种面向对话体现代理的神经符号常识推理框架

    通过将大语言模型与视觉信息相结合，建立了一种神经符号共同思考推理框架 JARVIS，用于构建可解释且高效的对话体载体，结果达到了现有方法中最优结果。

    Aug, 2022

  • Voyager: 具备大型语言模型的开放式智能体

    论文介绍了 Voyager：基于 LLM 的具身化终身学习代理，其由自动课程、可执行代码的技能库和新的迭代提示机制组成，可以在 Minecraft 中探索世界、获得多种技能和进行创新发现。在实证研究中，Voyager 表现出强大的上下文终身学习能力，在 Minecraft 游戏中比其他技术更快地解锁关键技术树里程碑，开发者在 https URL 上公开了代码库和提示。

    May, 2023

  • OSWorld: 多模态代理在真实计算机环境中的开放式任务评测

    通过引入 OSWorld，我们创建了一个包含 369 个计算机任务的基准，以评估多模态代理在开放领域中执行任意应用程序所涉及的计算机任务的能力。在 OSWorld 上进行的全面评估为开发多模态通用代理提供了宝贵的洞见，这是以前的基准测试无法实现的。

    Apr, 2024

  • 利用语言模型在虚拟环境中改善代理间的交互

    通过语言建模，本研究旨在提高 Minecraft 数据集中群体构建任务的任务理解，这些模型集中于基于多模态理解和任务导向对话理解任务，展示了比现有方法大幅改进的实验结果，为未来研究指明了一个有前景的方向。

    Feb, 2024

  • MP5: 基于主动感知的多模态开放式系统在 Minecraft 中的实体化

    设计了一个使用多模态方法的体现系统，基于 Minecraft 仿真器，具备分解子目标、设计情境感知计划、执行体现动作控制以及与目标驱动的主动感知方案频繁通信的能力，在难度较大的任务中获得 22% 的成功率，在严重依赖背景的任务中获得 91% 的成功率，而且表现出在全新的多样任务上具备显著能力。

    Dec, 2023

  • VisualWebArena: 在现实视觉网络任务中评估多模态代理

    通过对多模态网络代理的性能进行评估，我们引入了 VisualWebArena，它是一个用于评估自主多模态代理在具有视觉基础任务方面性能的基准。我们对现有的自主代理进行了广泛的评估，并揭示了文本模型的几个限制以及现有多模态语言代理能力上的差距。

    Jan, 2024

  • 目视与思考：虚拟环境中的具身智能体

    STEVE 是一个在 Minecraft 虚拟环境中基于大型语言模型的综合和具有远见的具象代理，其三个关键组成部分是视觉感知、语言指导和代码动作，通过视觉信息解释、迭代推理和可执行技能行为生成，STEVE 在 Minecraft 环境中实现更快的技能解锁和方块搜索任务。

    Nov, 2023

  • MineDojo：基于互联网规模知识构建开放式具身代理

    介绍了建立于 Minecraft 游戏之上的 MineDojo 框架，该框架支持多任务目标环境，同时结合大规模的多模态知识库和灵活可扩展的代理架构，利用大规模的预先训练的视频语言模型作为学习奖励函数的新型代理学习算法，成功解决一系列无需设计的开放式任务。

    Jun, 2022

  • Plan4MC：针对开放世界 Minecraft 任务的技能强化学习和规划

    在 Minecraft 环境中，我们使用强化学习技术训练多任务代理，将任务分解成学习基本技能和规划技能这两个步骤，通过提出三种细粒度的基本技能，搭配内在奖励机制使用强化学习训练代理，在学会技能后，我们使用大型语言模型建立技能图模型，并提出技能搜索算法为代理生成适当的技能计划。在实验中，我们成功的完成了 24 个不同的 Minecraft 任务，并得到了比基线算法更好的表现。

    Mar, 2023