本文探讨了在 Minecraft 中制定计划的问题，提出了一种名为 Describe, Explain, Plan and Select (DEPS) 的交互式规划方法，基于大型语言模型来改善长期计划的错误修正和目标选择。经过实验，我们的方法使得多任务代理程序的表现接近翻倍，这为 $ exttt {ObtainDiamond}$ 大挑战提供了有希望的更新。

Feb, 2023

STEVE 是一个在 Minecraft 虚拟环境中基于大型语言模型的综合和具有远见的具象代理，其三个关键组成部分是视觉感知、语言指导和代码动作，通过视觉信息解释、迭代推理和可执行技能行为生成，STEVE 在 Minecraft 环境中实现更快的技能解锁和方块搜索任务。

Nov, 2023

JARVIS-1 是一个在开放世界中能够感知多模态输入、生成复杂计划和执行控制的智能体，在 Minecraft 宇宙中完成了超过 200 个任务，包括了从入门到中级难度的任务，并且在长期目标挖掘任务中取得了无与伦比的 12.5% 完成率，比以往记录提高了 5 倍以上。通过多模态记忆，JARVIS-1 能够不断自我提升，实现了更通用的智能和改进的自主性。

Nov, 2023

本文提出了一种利用多模态数据集进行物理约束的低水平嵌入式任务规划方法，并通过与 GPT-3.5 和 LLaVA 等方法进行对比实验，证明了该方法相比其他现有解决方案在普适的复杂环境中具有更高的成功率。

Jul, 2023

采用预训练语言模型生成行动计划是一种很有前途的研究策略，本文提出了一种新的方法，将语言模型与强化学习相结合，用于在类似 Minecraft 的环境中按照自然语言指令构建对象，在 IGLU 2022 竞赛中形成了强化学习基线。

Nov, 2022

介绍了一种新的框架 Ghost in the Minecraft (GITM)，它将大型语言模型和基于文本的知识和记忆相结合，旨在在 Minecraft 中创建具有普适性的智能体，并在这一框架下通过使用结构化动作和大型语言模型成功的提高了 'ObtainDiamond' 任务的成功率。

May, 2023

研究学习目标条件无关策略在 Minecraft 中的应用，提出了 Goal-Sensitive Backbone (GSB) 策略和自适应视角预测模块用于解决任务状态多样性和非静态动力学带来的挑战，并在 20 个 Minecraft 任务上进行了实验以证明方法的有效性。

Jan, 2023

在机器人的交互感知中，使用预先训练的大型语言模型（LLMs）作为交互感知框架，并将其应用于决策问题以及规划多模态环境中的任务执行，这样可以通过感知来指导认知行为和高层次的决策规划，这种方法可以显著提高任务完成的准确性和效率。

Mar, 2023

多模态大型语言模型（MLLMs）在具有出色推理和概括能力的大型语言模型（LLMs）基础上开辟了新的具身任务规划途径。我们引入了一项人类注释的基准测试 EgoPlan-Bench，定量调查 MLLMs 在现实场景中作为具身任务规划器的潜力，并构建了一个指导调优数据集 EgoPlan-IT，这些实验结果表明，通过 EgoPlan-IT 调优的模型不仅在我们的基准测试中显著提高了性能，还在模拟中有效地扮演了具身规划器的角色。

Dec, 2023

本文在 Minecraft 中引入了一组新的强化学习任务，并使用这些任务系统地比较和对比现有的深度强化学习架构和我们的新的基于记忆的深度强化学习架构。实验结果表明，我们的新架构相比现有的深度强化学习架构，在未使用的环境中有更好的泛化表现。

May, 2016