Aug, 2023

ExpeL：LLM 代理人是经验学习者

PDF
TL;DR我们介绍了一种名为 ExpeL 的经验学习代理，它可以自主地收集经验并从训练任务的语料库中提取知识，通过回想其提取的洞察和过去的经验做出明智的决策，我们的实证结果突出了 ExpeL 代理的强大学习效果，并展示了其在性能上的持续增强以及迁移学习潜力。
large language modelsdecision-making tasksfinetuningexperiential learning (expel) agenttransfer learning potential
发现论文，激发创造
  • 软件开发代理的体验式合作学习

    使用经验共同学习的新框架，充实以往经验，使大语言模型（LLMs）和自主代理能够更高效地处理未知任务。

    Dec, 2023

  • 通過行動學習增強大型語言模型代理

    我们的研究探索了语言代理程序的开放式行为学习，在每一次迭代中，通过修正和更新当前可用的动作，从而提高动作的有效性，实验证明，这种开放式行为学习方法显著改善了代理程序的性能，突出了经验行为学习在更智能的大型语言模型代理程序发展中的重要性。

    Feb, 2024

  • 大型语言模型能否进行上下文探索？

    现代大型语言模型（LLMs）在强化学习和决策中能否进行探索是我们的研究重点。我们在不进行训练干预的情况下测试现有 LLMs 的本地性能。我们将 LLMs 部署为简单的多臂赌博机环境中的代理，使用完全基于环境描述和交互历史的 LLM 提示。通过实验，我们发现模型在没有干预的情况下无法稳定地进行探索。尽管某些配置表现良好，但得出的结论是在复杂环境中，可能需要非平凡的算法干预才能使 LLMs 代理能够做出理想的决策。

    Mar, 2024

  • 文本环境中的强化学习智能体的语言引导探索

    通过使用预训练语言模型（称为 GUIDE）为强化学习代理（称为 EXPLORER）提供决策级别的指导，我们引入了 Language Guided Exploration（LGE）框架，并观察到 LGE 在具有挑战性的文本环境中显著优于传统强化学习代理、行为克隆和文本决策转换等先进方法。

    Mar, 2024

  • 大型语言模型的自我演进调研

    自进化方法是通往超级智能的大语言模型的训练范式，本文概述了大语言模型中自进化方法的综合调查，包括概念框架、演化目标、现有挑战和未来发展方向。

    Apr, 2024

  • 自省提示：用于上下文决策的大型语言模型

    本研究利用自省式提示 (Introspective Tips) 促进了大型语言模型 (Large Language Models) 的自我优化，从学习过程中的经验、集成专家演示和跨越多种游戏等三种方面提高决策性能，却不调整 LMM 参数，结论在 TextWorld 超过 100 个游戏中都表现出优异的结果。

    May, 2023

  • 通过代理分析提高机器人任务学习中从 LLMs 提取知识的能力

    介绍了通过内置的自主机器人来扩大 LLM 响应的空间，根据语言能力、身体实体、环境和用户喜好挑选、修补、选择 LLM 提供的响应，从而使机器人能够完成 75% 以上的任务一次学习并显著减少需要人工监督的程度。

    Jun, 2023

  • 利用 LLMs 实现内容为中心的认知代理的知识获取自动化

    该论文介绍了一种利用大型语言模型技术支持智能代理语义词典中新条目的自动学习的系统。这种学习方法通过现有的非玩具词典和自然语言生成器引导启动，将意义的表达按基本本体建立转换为自然语言句子。此学习方法已应用于学习多词表达式，其含义与智能代理语义词典中的及物动词等效。实验展示了一种融合基于知识的方法、资源、传统数据分析和大型语言模型的混合学习架构的优势。

    Dec, 2023

  • 面向基于文本的教育环境的通用智能体: RL 与 LLMs 的整合研究

    通过将强化学习与大型语言模型结合，研究了在开放性文本学习环境中增强代理的泛化能力，提出了三种代理类型：基于强化学习的代理、基于大型语言模型的代理和融合两者的混合代理，以提高代理的性能和泛化能力，并通过 PharmaSimText 提供的基准测试验证了研究成果。结果表明，基于强化学习的代理在任务完成方面表现出色，但在提问诊断问题方面有所欠缺；相反，基于大型语言模型的代理在提问诊断问题方面表现较好，但在完成任务方面表现较差；而混合的大型语言模型辅助强化学习代理能够克服这些限制，凸显了将强化学习和大型语言模型相结合在开放性学习环境中开发高性能代理的潜力。

    Apr, 2024

  • 大型语言模型作为训练强化学习智能体的良好策略导师

    通过使用大规模语言模型，我们提出了一种新的框架，通过从语言模型教师代理接收指导行为，训练一个小规模专用的学生代理。通过将语言模型的先验知识融入到本地学生模型中，该学生代理可以用较少的数据进行训练，并通过环境反馈进一步提升其能力。实验结果表明，我们的方法提高了样本效率，并实现了比基准方法更卓越的性能。

    Nov, 2023