Jun, 2024

带大型语言模型线索的世界模型用于目标实现

PDF
TL;DR通过将提出的具有示意性子目标的语言模型与模型回滚相结合，我们提出了一种新的多模态的基于模型的强化学习方法，名为大语言模型梦境，用以鼓励在具有挑战性任务中发现和达成目标，从而对各种困难的、稀疏奖励的环境进行了大量实验，并显示出优于近期方法的性能提升。
reinforcement learninglong-horizon taskssparse goalsmulti-modal model-based rldreaming with large language models
发现论文，激发创造
  • 利用大型语言模型指导强化学习的预训练

    提出了一种名为 ELLM（LLM 探索）的方法，它利用来自文本语料库的背景知识来塑造探索，通过利用大规模语言模型预训练，无需人介入便能引导智能体朝向有人类意义的和可能有用的行为方向，通过在 Crafter 游戏环境和 Housekeep 机器人模拟器中的实验，证明了 ELLM 训练的代理在预训练期间具有更好的常识行为覆盖，并且在一系列下游任务中通常与或优于性能。

    Feb, 2023

  • 大规模语言模型的强化学习问题解决

    使用大型语言模型作为强化学习代理以解决对话式强化学习问题，通过提出的提示技术，演示了如何迭代引导语言模型学习和优化特定强化学习任务的策略，并通过两个具体案例研究展示了该方法的实用性。

    Apr, 2024

  • 通过 RL 对想象中的对话进行零样本目标导向对话

    通过使用强化学习进行交互式对话的目标导向任务，本研究提出利用大型语言模型生成可能的交互示例，再通过强化学习算法优化这些示例，以实现更优化的交互能力，从而在教学和偏好引导等不同目标导向对话任务中实现了最新的性能。

    Nov, 2023

  • 利用大语言模型将自然语言转换为计划目标

    本研究探讨了大型语言模型是否能够将自然语言的目标翻译成结构化的计划语言。我们使用 GPT 3.5 变种进行了实验，结果表明大型语言模型更适合进行翻译而不是规划，虽然这些模型能够利用常识知识和推理填补自然语言目标中缺失的细节，但在涉及到数字或物理推理的任务中，它们可能会出现失败，并且对所使用的提示信息很敏感。

    Feb, 2023

  • 具身化智能体是否会梦见像素化的绵羊？：利用语言引导的世界建模进行具身决策

    使用大型语言模型来假设抽象世界模型从而提高强化学习代理的样本效率。在 Minecraft 物品制作中，DECKARD 代理通过 LLM-guided exploration 提出 AWM 并验证其有效性，从而实现了与现代方法相比一个数量级的提升。

    Jan, 2023

  • LLM 动态规划

    大型语言模型与符号规划器结合的神经符号框架，为解决涉及体验代理的复杂计划任务提供更快速和高效的解决方案。

    Aug, 2023

  • 自省提示：用于上下文决策的大型语言模型

    本研究利用自省式提示 (Introspective Tips) 促进了大型语言模型 (Large Language Models) 的自我优化，从学习过程中的经验、集成专家演示和跨越多种游戏等三种方面提高决策性能，却不调整 LMM 参数，结论在 TextWorld 超过 100 个游戏中都表现出优异的结果。

    May, 2023

  • 部分可观察机器人任务的大型语言模型交互规划

    使用大型语言模型（LLMs）的互动规划技术，通过机器人收集环境中缺失的信息并推断底层问题的状态，从而指导机器人执行所需的动作。

    Dec, 2023

  • Plan-Seq-Learn: 语言模型引导强化学习解决长时程机器人任务

    利用大型语言模型（LLMs）和运动规划，提出了一种模块化方法 Plan-Seq-Learn（PSL），将抽象语言和学习到的低级控制相结合，从头开始解决长期目标的机器人任务，并在超过 25 个具有挑战性的机器人任务中取得了最先进的结果。

    May, 2024

  • 大型语言模型用于具体任务的可拓展性策略

    通过大型语言模型 (LLM) 以及强化学习技术，我们开发了一种名为 LLaRP 的方法，使得 LLM 可以作为具有推广性的策略应用于具体视觉任务中，能够忽略任务指令的复杂改写并生成新的最佳行为，在未见过的任务中达到了其他常见的学习基线或零样本 LLM 应用的 1.7 倍成功率，并发布了一个名为 “Language Rearrangement” 的新基准测试数据集，用于研究基于语言、多任务和具体化 AI 问题。

    Oct, 2023