文本环境中的强化学习智能体的语言引导探索

Mar, 2024

文本环境中的强化学习智能体的语言引导探索

Language Guided Exploration for RL Agents in Text Environments

Hitesh Golchha, Sahil Yerawar, Dhruvesh Patel, Soham Dan, Keerthiram Murugesan

TL;DR通过使用预训练语言模型（称为 GUIDE）为强化学习代理（称为 EXPLORER）提供决策级别的指导，我们引入了 Language Guided Exploration（LGE）框架，并观察到 LGE 在具有挑战性的文本环境中显著优于传统强化学习代理、行为克隆和文本决策转换等先进方法。

Abstract

Real-world sequential decision making is characterized by sparse rewards and large decision spaces, posing significant difficulty for experiential learning systems like $\textit{tabula rasa}$ reinforcement learni

sequential decision making experiential learning large language models language guided exploration rl agents

发现论文，激发创造

探索导向的文本强化学习推理

本文提出了一种用于文字强化学习的探索引导推理代理 EXPLORER，通过神经符号化模块实现对未见数据的泛化并在 Text-World cooking 和 Text-World Commonsense 游戏中取得了优于基准代理的性能。

Mar, 2024

大型语言模型能否进行上下文探索？

现代大型语言模型（LLMs）在强化学习和决策中能否进行探索是我们的研究重点。我们在不进行训练干预的情况下测试现有 LLMs 的本地性能。我们将 LLMs 部署为简单的多臂赌博机环境中的代理，使用完全基于环境描述和交互历史的 LLM 提示。通过实验，我们发现模型在没有干预的情况下无法稳定地进行探索。尽管某些配置表现良好，但得出的结论是在复杂环境中，可能需要非平凡的算法干预才能使 LLMs 代理能够做出理想的决策。

Mar, 2024

复杂长时程机器人操作任务的内在语言引导探索

在复杂稀疏环境中，提出使用大型语言模型（LLMs）的内在引导探索（IGE-LLMs）框架，以解决强化学习中的长期操纵任务的问题。结果显示，IGE-LLMs 在探索和长期操纵任务中表现出显著较高的性能，同时具有模块化性和对不同内在缩放参数的鲁棒性。

Sep, 2023

ExpeL：LLM 代理人是经验学习者

我们介绍了一种名为 ExpeL 的经验学习代理，它可以自主地收集经验并从训练任务的语料库中提取知识，通过回想其提取的洞察和过去的经验做出明智的决策，我们的实证结果突出了 ExpeL 代理的强大学习效果，并展示了其在性能上的持续增强以及迁移学习潜力。

Aug, 2023

AutoGuide: 大型语言模型代理的自动生成和选择状态感知指南

通过提取蕴含于离线数据中的知识，AutoGuide 框架在大型语言模型的知识缺失问题上取得了重大突破，并通过提供与代理程序当前决策过程相关的有用知识，在顺序决策基准测试中大幅优于竞争的基于大型语言模型的基线模型。

Mar, 2024

利用大型语言模型指导强化学习的预训练

提出了一种名为 ELLM（LLM 探索）的方法，它利用来自文本语料库的背景知识来塑造探索，通过利用大规模语言模型预训练，无需人介入便能引导智能体朝向有人类意义的和可能有用的行为方向，通过在 Crafter 游戏环境和 Housekeep 机器人模拟器中的实验，证明了 ELLM 训练的代理在预训练期间具有更好的常识行为覆盖，并且在一系列下游任务中通常与或优于性能。

Feb, 2023

面向基于文本的教育环境的通用智能体: RL 与 LLMs 的整合研究

通过将强化学习与大型语言模型结合，研究了在开放性文本学习环境中增强代理的泛化能力，提出了三种代理类型：基于强化学习的代理、基于大型语言模型的代理和融合两者的混合代理，以提高代理的性能和泛化能力，并通过 PharmaSimText 提供的基准测试验证了研究成果。结果表明，基于强化学习的代理在任务完成方面表现出色，但在提问诊断问题方面有所欠缺；相反，基于大型语言模型的代理在提问诊断问题方面表现较好，但在完成任务方面表现较差；而混合的大型语言模型辅助强化学习代理能够克服这些限制，凸显了将强化学习和大型语言模型相结合在开放性学习环境中开发高性能代理的潜力。

Apr, 2024

文本游戏中的指令跟随学习

研究文本游戏在强化学习环境下的指令正确率，设计使用 Linear Temporal Logic 结构化语言支持时间上下文语义的指令，通过文字游戏的实验验证该结构化语言指令的有效性和优越性。

Nov, 2022

自然语言引导的强化学习探索

本文介绍了一种使用自然语言帮助强化学习泛化至未知环境技术的方法，使用编码器 - 解码器网络来学习自然语言行为描述与状态 - 动作信息之间的关联，并使用改进的策略塑造算法来指导智能体探索，从而提高其在未知环境中的学习能力。通过对经典游戏 Frogger 的评价，表明我们的改进策略形态算法在优化学习上优于 Q-Learning 算法和基线策略形态算法。

Jul, 2017

基于探索的基于文本游戏的语言学习

本文介绍一种采用探索和模仿学习的代理程序，能够在玩基于文本的电脑游戏时表现出最先进的性能。该方法使用 Go-Explore 探索方法以及模仿学习策略去训练模型，实现了更高效的解决文本游戏和更强的泛化能力。

Jan, 2020