Minedreamer: 通过想象链学习模拟世界控制中的指令跟随

Mar, 2024

Minedreamer: 通过想象链学习模拟世界控制中的指令跟随

MineDreamer: Learning to Follow Instructions via Chain-of-Imagination for Simulated-World Control

Enshen Zhou, Yiran Qin, Zhenfei Yin, Yuzhou Huang, Ruimao Zhang...

TL;DR设计一种通用 - 具身化代理，通过使用多模态大型语言模型和扩散模型的先进技术，并利用想象链机制，实现低级控制信号生成中的指令跟随能力的增强。MineDreamer 在 Minecraft 模拟器上开发，能够稳定地按照单步和多步指令执行，胜过通用代理基准，并提高了其性能，并通过定性分析显示其对开放世界的泛化和理解能力。

Abstract

It is a long-lasting goal to design a generalist-embodied agent that can follow diverse instructions in human-like ways. However, existing approaches often fail to steadily follow instructions due to difficulties in understanding abstract and sequential natural language instructions. T

generalist-embodied agent instruction-following multimodal large language models diffusion models chain-of-imagination

发现论文，激发创造

控制梦境：通过潜在想象学习行为

使用潜意识想象力，在学习世界模型的基础上，Dreamer 这一强化学习代理能够纯粹通过图像解决长周期任务，具有数据效率高，计算时间短和最终性能强等优势。

Dec, 2019

在众多模拟世界中扩展可指示代理

通过在虚拟 3D 环境中训练智能代理系统，使其能够在任何 3D 环境中遵循任意语言指令，这是创建通用人工智能的关键挑战。本文介绍了 Scalable, Instructable, Multiworld Agent (SIMA) 项目，该项目通过在不同类型的虚拟 3D 环境中训练代理系统来实现此目标，并在多样化的研究环境和商业视频游戏中取得了有希望的初步结果。

Mar, 2024

创意智能代理：为创意任务赋予想象力

我们研究建立具有开放式创造性任务的具身代理。通过增强控制器与想象器，根据语言指令生成详细的任务想象，我们提出了创造性代理解决方案的一类方法。我们在 Minecraft 游戏中使用 GPT-4V 评估了这些创造性任务，展示创造性代理是首批在 Minecraft 的生存模式中实现多样化建筑创作的 AI 代理。

Dec, 2023

通过从文本的迁移学习进行深度强化学习的人类指令遵循

通过使用预先训练的文本语言模型（BERT），我们提出了一种简单的方法来训练使用深度 RL 的指令跟踪代理，以适应自然人指令，从而在人类给出自然指令的情况下，实现从合成模板命令到指令的零 - shot 传输。

May, 2020

目视与思考：虚拟环境中的具身智能体

STEVE 是一个在 Minecraft 虚拟环境中基于大型语言模型的综合和具有远见的具象代理，其三个关键组成部分是视觉感知、语言指导和代码动作，通过视觉信息解释、迭代推理和可执行技能行为生成，STEVE 在 Minecraft 环境中实现更快的技能解锁和方块搜索任务。

Nov, 2023

MineDojo：基于互联网规模知识构建开放式具身代理

介绍了建立于 Minecraft 游戏之上的 MineDojo 框架，该框架支持多任务目标环境，同时结合大规模的多模态知识库和灵活可扩展的代理架构，利用大规模的预先训练的视频语言模型作为学习奖励函数的新型代理学习算法，成功解决一系列无需设计的开放式任务。

Jun, 2022

未知环境中的身体指令遵循

通过利用多模态大型语言模型，我们构建了一个层次化的具有高级任务规划器和低级探索控制器的嵌入指令跟随框架，该方法可以在未知环境中通过在已知可见线索的基础上生成可行的计划来完成抽象指令，实验结果表明，在大型房屋场景中，我们的方法在 204 个复杂的人类指令（如做早餐和整理房间）中实现了 45.09% 的成功率。

Jun, 2024

MineLand: 模拟大规模多智能体交互，具有有限的多模态感知和生理需求

我们提出了一种多智能体 Minecraft 模拟器 MineLand，通过引入有限的多模态感知和物质需求，弥合了传统多智能体模拟器对完美信息和无限能力的假设，支持最多 48 个智能体，强制它们通过通信和协作来满足食物和资源等物质需求，从而促进了动态有效的多智能体交互，还引入了一个灵感来自多任务理论的 AI 智能体框架 Alex，使智能体能够处理复杂的协调和调度，实验证明该模拟器、相应的基准测试和 AI 智能体框架对于实现更生态和细致的集体行为具有积极作用。

Mar, 2024

在 Minecraft 中实现模仿学习的扩展

本研究将模仿学习应用于 Minecraft 环境中的探索问题，通过实验调研了网络结构、损失函数和数据扩充等因素的影响，并取得了良好的表现，可以作为未来竞赛和相关研究的起点。

Jul, 2020

从像素和自然语言指令中学习解决体素建筑任务

采用预训练语言模型生成行动计划是一种很有前途的研究策略，本文提出了一种新的方法，将语言模型与强化学习相结合，用于在类似 Minecraft 的环境中按照自然语言指令构建对象，在 IGLU 2022 竞赛中形成了强化学习基线。

Nov, 2022