Jun, 2023

大型语言模型是半参数强化学习代理

PDF
TL;DR提出一种新颖的可进化的 LLM（Large Language Model）智能体框架，称为 REMEMBERER，并将 LLM 配备了长期记忆，以便在不同的任务目标中利用过去的经验，这胜过具有固定示例或配备瞬态工作内存的 LLM 智能体。通过引入具有经验记忆的强化学习（RLEM）来更新记忆，整个系统可以从成功和失败的经验中学习，并在不微调 LLM 参数的情况下发展其能力。在两种强化学习任务集上进行了大量实验来评估所提出的框架，结果表明，通过不同的初始化和训练集，平均结果超过了先前的 SOTA 4％和 2％，证明了 REMEMBERER 的优越性和鲁棒性。
发现论文，激发创造
  • 带有增强记忆的大型语言模型的开放式指导式具身化智能代理

    通过相关的记忆检索，HELPER 利用外部的语言 - 程序对内存将自由形式的人机对话解析为行动程序，以提供上下文的例子查询来转变开放域自然语言，并且拓展内存以包含用户的语言和行动计划。

    Oct, 2023

  • RecMind: 大规模语言模型强力推荐智能体

    使用 Large Language Models (LLMs) 进行个性化推荐任务的研究，设计了一种基于 LLM 的自主推荐代理系统 RecMind，通过精心规划、利用外部知识工具和个人数据，以及提出的 Self-Inspiring 算法来改善规划能力，实现了准确的个性化推荐。实验证明 RecMind 在多种推荐场景下表现优异，超过了现有的零 / 少样本 LLM-based 推荐方法，并与最近的预训练模型 P5 达到了竞争性的性能。

    Aug, 2023

  • MEMORYLLM: 迈向自我可更新的大型语言模型

    MEMORYLLM 是一个自我更新且具有信息记忆能力的模型，它通过在 transformer 的潜在空间中引入固定大小的内存池，能够有效地整合新知识并保持长期信息记录能力，同时维持操作性完整性。

    Feb, 2024

  • 基于大型语言模型的智能体的记忆共享

    在人工智能领域，大型语言模型（LLM）代理通过自然语言提示来执行任务，消除了显式重新训练或精调的需要，尤其是在诸如常识问题和是 / 否查询等固定答案任务中。然而，将上下文学习应用于开放性挑战，例如诗歌创作，由于提供的示例的全面性和代理的理解问题内容的能力存在显著限制，导致输出与预期结果经常不一致。为了解决这一差距，我们的研究引入了用于 LLM 多代理的记忆共享（MS）框架，该框架利用实时内存存储和检索系统增强上下文学习过程。该系统中的每个 “记忆” 都捕捉了 LLM 代理提出的查询以及相应的实时响应，将来自各种相似代理的这些记忆聚合到所有代理共享的记忆池中。该框架不仅帮助代理识别特定任务的最相关示例，而且通过其他代理应用未来的记忆评估其潜在效用。对涉及代理特定功能的三个不同领域进行的实证验证表明，MS 框架显著提高了代理在开放性问题上的性能。此外，我们还讨论了在 MS 中哪种类型的记忆池和检索策略可以更好地帮助代理，并提供了 MS 的未来发展方向。代码和数据可在此 https URL 获取。

    Apr, 2024

  • 基于大型语言模型的代理人的记忆机制调查

    大型语言模型（LLM）基于代理近年来引起了研究和行业界的广泛关注。本文提出了对 LLM 基于代理的记忆机制进行全面调查，包括记忆的定义、需要、设计、评估以及在代理应用中的重要作用，并分析了现有工作的局限性和未来方向。

    Apr, 2024

  • 增强语言模型的长期记忆

    提出了一种名为 LongMem 的框架，该框架通过引入长期记忆机制，使得语言模型能够利用历史上下文信息，从而使得模型在文本生成等任务中取得了优异效果。

    Jun, 2023

  • 强化学习智能体的心智模型构建：基于语言模型的研究

    大语言模型是否能够忠实地模拟决策智能体的智能能力，本研究通过实证方法首次探讨了大语言模型在通过推理构建决策智能体的心智模型方面的能力，并提供了关于其对强化学习智能体行为的解释性约束方面的新见解。

    Jun, 2024

  • 利用语言模型进行具身推理的协作

    本文探究将强化学习代理人和大规模语言模型相结合，实现在复杂环境中的推理和泛化的能力，通过预训练语言模型作为规划器，简单的合成体智能作为行动器，和与规划器通信的汇报器这三部分，展示这个系统在零 - shot 泛化的任务中的表现，并且讨论了其失败情况以及组件使用增强学习的培训任务。

    Feb, 2023

  • 利用大型语言模型指导强化学习的预训练

    提出了一种名为 ELLM（LLM 探索）的方法，它利用来自文本语料库的背景知识来塑造探索，通过利用大规模语言模型预训练，无需人介入便能引导智能体朝向有人类意义的和可能有用的行为方向，通过在 Crafter 游戏环境和 Housekeep 机器人模拟器中的实验，证明了 ELLM 训练的代理在预训练期间具有更好的常识行为覆盖，并且在一系列下游任务中通常与或优于性能。

    Feb, 2023

  • 为大型语言模型代理赋予工作记忆能力

    本文通过应用认知心理学的工作记忆框架来增强大型语言模型（LLMs）的架构，以解决其在人类记忆能力方面的限制，并提出了一种创新模型，包括集中的工作记忆中心和情景缓冲区，以提供更高的连续性，以实现复杂任务和合作场景中的细致语境推理。然而，对于情景记忆的优化编码、存储、优先级、检索和安全性仍需进一步研究，以促进发展具有更复杂、类似人类记忆能力的 LLM 代理。这表明记忆机制是人工通用智能领域的重要前沿。

    Dec, 2023