本研究探讨在 Minecraft 代理设置中应用和评估大型语言模型（LLMs），介绍澄清问题并研究改进的挑战和机会，同时提供了与代理互动的在线平台，并与先前的工作进行了评估。

Feb, 2024

采用预训练语言模型生成行动计划是一种很有前途的研究策略，本文提出了一种新的方法，将语言模型与强化学习相结合，用于在类似 Minecraft 的环境中按照自然语言指令构建对象，在 IGLU 2022 竞赛中形成了强化学习基线。

Nov, 2022

该论文研究了大型语言模型在游戏《Minecraft》中生成 3D 建筑的能力，提出了一种文本到《Minecraft》建筑的模型，实验结果表明，该模型能够根据特定的提示生成符合用户要求的完整建筑。

Jun, 2024

本文介绍了一种基于 Minecraft 环境的智能建筑代理程序，能够通过对话实现任意建筑物的建造，通过对 Minecraft Corpus 数据集进行扩展，赋予建筑代理程序提出问题的能力，并提出了两个新的任务，联合学习任务和学习提问任务。实验结果表明，该模型具有最先进的表现，并有实质性改进。

Apr, 2022

大语言模型（LLMs）的一个优点是它们的情境化能力 —— 根据学生的输入（如解决方案策略或前期讨论）提供不同的回应，以更好地让学生参与其中。我们提出了一个概念验证的 LLM 应用的设计和评估，以为学生提供动态和情境化的反馈。具体来说，我们在一个大学级别的云计算课程的在线编程练习机器人中加入了 ChatGPT，它在数据库设计的协作查询优化任务中为学生提供情境化的反思触发点。我们展示了 LLMs 可以用于生成高度情境化的反思触发器，这些触发器结合了上下文中正在进行的协作讨论的详细信息。我们详细讨论了触发器设计空间的探索以及其与学习目标的对应关系，以及在一项涉及 34 名学生的试点研究中对学生学习的影响。

Apr, 2024

将先前的上下文和非语言环境融入对话中，可改进语言到行动组件，本文展示了通过微调 LLM 来预测基于先前环境的行动，在 Jayannavar 等人 (2020) 任务上，我们的模型 NeBuLa 相比基准线将净行动 F1 分数提升了一倍。我们还通过使用合成数据集研究了我们模型构建形状和理解位置描述的能力。

Jun, 2024

通过语言建模，本研究旨在提高 Minecraft 数据集中群体构建任务的任务理解，这些模型集中于基于多模态理解和任务导向对话理解任务，展示了比现有方法大幅改进的实验结果，为未来研究指明了一个有前景的方向。

Feb, 2024

我们提出了一种新型基础设施，名为 MindAgent，用于评估游戏交互中的规划和协调能力，并引入了新的游戏场景和相关基准，以评估多智能体协作效率。我们使用新的自动度量 CoS 进行全面评估。我们希望我们对大型语言语料库学习的 LLMs 以及用于通用调度和协调的新基础设施的发现能够揭示如何获取这些技能的一些见解。

Sep, 2023

通过设计一个块世界环境，在这个环境中，两个拥有独特目标和技能的语言代理需要通过行动和自然语言交流合作来建立一个目标结构，并采用中间推理步骤来模拟合作者的状态并识别和纠正执行错误，最终的实验结果表明语言代理具有很强的基础能力，并且我们的方法显著改进了评估指标。

Mar, 2024

STEVE 是一个在 Minecraft 虚拟环境中基于大型语言模型的综合和具有远见的具象代理，其三个关键组成部分是视觉感知、语言指导和代码动作，通过视觉信息解释、迭代推理和可执行技能行为生成，STEVE 在 Minecraft 环境中实现更快的技能解锁和方块搜索任务。

Nov, 2023