Jan, 2023

具身化智能体是否会梦见像素化的绵羊？：利用语言引导的世界建模进行具身决策

PDF
TL;DR使用大型语言模型来假设抽象世界模型从而提高强化学习代理的样本效率。在 Minecraft 物品制作中，DECKARD 代理通过 LLM-guided exploration 提出 AWM 并验证其有效性，从而实现了与现代方法相比一个数量级的提升。
发现论文，激发创造
  • 带大型语言模型线索的世界模型用于目标实现

    通过将提出的具有示意性子目标的语言模型与模型回滚相结合，我们提出了一种新的多模态的基于模型的强化学习方法，名为大语言模型梦境，用以鼓励在具有挑战性任务中发现和达成目标，从而对各种困难的、稀疏奖励的环境进行了大量实验，并显示出优于近期方法的性能提升。

    Jun, 2024

  • 从词语到行动：揭示 LLM 驱动的自主系统的理论基础

    从理论角度出发，研究大型语言模型在物理世界中解决决策问题的原因，通过层次化强化学习模型，证明预先训练的大型语言模型规划器通过上下文学习有效地进行贝叶斯聚合模仿学习，并引入探索策略避免线性遗憾。扩展该理论框架应用于环境的过渡模型推断和多智能体协调等场景。

    May, 2024

  • 语言引导的世界模型：一种基于模型的人工智能控制方法

    安装概率世界模型到人工智能代理中，为人类与控制这些代理打开了一个高效的交流途径；我们开发了一种名为语言引导的世界模型（LWMs），通过阅读语言描述来捕捉环境动态，提高了代理的通信效率，同时允许人类用简洁的语言反馈在多个任务中同时改变行为。该研究证明了当前最先进的 Transformer 架构在该基准测试上表现不佳，激励我们设计更强大的架构。通过模拟展示了我们提出的 LWMs 的实用性，使代理能够在执行前生成和讨论计划，增强了代理的可解释性和安全性，并使其在真实环境中的性能提高了三倍，而无需在该环境中进行任何交互式经验的收集。

    Jan, 2024

  • 带有世界知识模型的 Agent 规划

    使用大型语言模型作为代理模型来执行交互式规划任务已取得令人称赞的结果。本文引入了参数化的世界知识模型（WKM）来促进代理规划，通过从专家和采样轨迹中自我合成知识，并提供全局任务知识和动态状态知识来指导全局规划和辅助局部规划。实验证明我们的方法在复杂的真实世界模拟数据集上相比强基线能够取得优越性能，减轻了盲目试错和幻觉行为问题，为代理对世界的理解提供了有力支持，同时表明了 WKM 具有更好的泛化性能、弱 WKM 能指导强代理模型的规划，并且统一的 WKM 训练具有进一步发展的潜力。

    May, 2024

  • 语言模型遇上世界模型：具身体验增强语言模型

    本文提出了一种通过 fine-tuning 使用世界模型使大型自然语言模型获得基于物理环境的知识和技能，以帮助解决模型在简单的推理和规划中的局限性，实验证明这种方法能够提高基本的 LM 在 18 项下游任务上的性能，尤其是 1.3B 和 6B 的小 LM。

    May, 2023

  • LanGWM: 语言引导的世界模型

    通过语言为鲁棒的动作选择增强状态抽象技术，利用语言为基础的视觉特征来改进强化学习中的世界模型学习，提高对于复杂任务中的视觉控制的推广性。

    Nov, 2023

  • 基于 LLM 的具有视觉信息和面向预测的具身化世界模型

    在这项研究中，通过探索利用视觉数据和 LLM 作为世界模型的可能性，以改善嵌入式人工智能的性能，实验结果表明 LLM 可以从视觉数据中提取必要信息，并利用这些信息提高其作为世界模型的性能，同时还指出设计的提示可以发挥 LLM 作为世界模型的功能。

    Jun, 2024

  • 从像素和自然语言指令中学习解决体素建筑任务

    采用预训练语言模型生成行动计划是一种很有前途的研究策略，本文提出了一种新的方法，将语言模型与强化学习相结合，用于在类似 Minecraft 的环境中按照自然语言指令构建对象，在 IGLU 2022 竞赛中形成了强化学习基线。

    Nov, 2022

  • 强化学习智能体的心智模型构建：基于语言模型的研究

    大语言模型是否能够忠实地模拟决策智能体的智能能力，本研究通过实证方法首次探讨了大语言模型在通过推理构建决策智能体的心智模型方面的能力，并提供了关于其对强化学习智能体行为的解释性约束方面的新见解。

    Jun, 2024

  • 通过强化学习实现算法代理和 LLM 之间的高效交互

    本文主要介绍了使用基于强化学习的调解模型，来解决使用大型语言模型进行高级指令的效率和成本问题，并在四种实验环境下验证了该方法的准确性和效率。

    Jun, 2023