Jun, 2024

AI 原生记忆：从 LLMs 通往 AGI 的路径

PDF
TL;DR通过集成记忆，我们设想了从大型语言模型（LLMs）到人工通用智能（AGI）的一种路径。我们认为 AGI 应该是一个 LLM 作为核心处理器的系统，其中除了原始数据外，该系统的记忆还可以存储推理过程中得出的大量重要结论。相比仅处理原始数据的检索增强生成（RAG）方法，这种方法不仅更紧密地连接语义相关的信息，还可以在查询时简化复杂的推理。最终，每个个体 / 人都应该有自己的大型个人模型，即可以参数化和压缩所有类型记忆的深度神经网络模型（因此是 AI 本地的）。最后，我们讨论了 AI 本地记忆作为（主动的）参与、个性化、分发和社会在 AGI 时代的变革基础设施的巨大潜力，以及相应的隐私和安全挑战与初步解决方案。
large language modelsartificial general intelligencememoryreasoningai-native memory
发现论文，激发创造
  • 基于大型语言模型的智能体的记忆共享

    在人工智能领域，大型语言模型（LLM）代理通过自然语言提示来执行任务，消除了显式重新训练或精调的需要，尤其是在诸如常识问题和是 / 否查询等固定答案任务中。然而，将上下文学习应用于开放性挑战，例如诗歌创作，由于提供的示例的全面性和代理的理解问题内容的能力存在显著限制，导致输出与预期结果经常不一致。为了解决这一差距，我们的研究引入了用于 LLM 多代理的记忆共享（MS）框架，该框架利用实时内存存储和检索系统增强上下文学习过程。该系统中的每个 “记忆” 都捕捉了 LLM 代理提出的查询以及相应的实时响应，将来自各种相似代理的这些记忆聚合到所有代理共享的记忆池中。该框架不仅帮助代理识别特定任务的最相关示例，而且通过其他代理应用未来的记忆评估其潜在效用。对涉及代理特定功能的三个不同领域进行的实证验证表明，MS 框架显著提高了代理在开放性问题上的性能。此外，我们还讨论了在 MS 中哪种类型的记忆池和检索策略可以更好地帮助代理，并提供了 MS 的未来发展方向。代码和数据可在此 https URL 获取。

    Apr, 2024

  • 基于记忆增强的 LLM 个性化学习，短期和长期记忆协调

    通过使用参数高效的微调模式和计算仿生记忆机制，我们提出了一种新颖的个人化大语言模型方法，该方法在用户导向的生成任务中展示了卓越的效果和优越性能。

    Sep, 2023

  • 基于大语言模型的智能代理的崛起与潜力：一项调查

    人工智能代理是一个前景光明的领域，利用大型语言模型作为基础构建通用人工智能代理带来了显著的进展，其在单一代理场景、多代理场景以及人机合作中的广泛应用展示了卓越的潜力，并为人类社会提供了有价值的见解。

    Sep, 2023

  • MemoryBank：用长期内存增强大语言模型

    提出了 MemoryBank，这是一种采用 Ebbinghaus 遗忘曲线中的记忆更新机制的新型记忆机制，旨在解决长期交互中 LLM 的记忆缺陷问题，并通过与心理对话调整提高其同理心。通过实验研究，证明了 MemoryBank 能够成功提高聊天机器人在长期 AI Companion 中的表现能力。

    May, 2023

  • 为大型语言模型代理赋予工作记忆能力

    本文通过应用认知心理学的工作记忆框架来增强大型语言模型（LLMs）的架构，以解决其在人类记忆能力方面的限制，并提出了一种创新模型，包括集中的工作记忆中心和情景缓冲区，以提供更高的连续性，以实现复杂任务和合作场景中的细致语境推理。然而，对于情景记忆的优化编码、存储、优先级、检索和安全性仍需进一步研究，以促进发展具有更复杂、类似人类记忆能力的 LLM 代理。这表明记忆机制是人工通用智能领域的重要前沿。

    Dec, 2023

  • 探索基于大型语言模型的智能代理：定义、方法与前景

    对基于大型语言模型（LLM）的智能代理进行了深入调查，涵盖了单代理和多代理系统中的定义、研究框架、组成、认知和规划方法、工具利用、对环境反馈的响应，以及在多代理系统中部署 LLM-based 代理的机制，包括多角色协作、信息传递和缓解代理之间通信问题的策略，同时介绍了流行的数据集和应用场景，最后展望了基于 LLM 的代理在人工智能和自然语言处理领域的前景。

    Jan, 2024

  • 外部推理：朝着多大语言模型互换人类反馈的辅助方向

    通过对 LLMs 的选择性整合外部知识，介绍了一种基于多个 LLM 之间交互协助的外部推理新方法 (ChatPDF)，在人类反馈的响应下，根据查询的复杂性调整支持水平，经过全面评估后取得了最先进的性能，并且相比 LLMs 直接处理全文，这种方法更加高效。

    Jul, 2023

  • 基于大规模语言模型的人工智能代理的深入调研

    本文研究了大型语言模型（LLM）与传统人工智能代理之间的核心区别和特征，着重比较了两种代理的基本特征，并阐明了 LLM 代理在处理自然语言、知识存储和推理能力方面的显著优势。随后，对 AI 代理的核心组成部分进行了深入分析，包括规划、记忆和工具使用。尤其对于关键的记忆组件，本文引入了创新的分类方案，不仅摆脱了传统的分类方法，还为 AI 代理的记忆系统设计提供了新的视角。我们坚信对这些核心组件的深入研究和理解将为 AI 代理技术的未来发展奠定坚实的基础。在文章结尾，我们提供了进一步研究的指导性建议，希望能为该领域的学者和研究人员提供有价值的见解。

    Sep, 2023

  • 基于大型语言模型的游戏智能代理调查

    利用 LLMs 在复杂的电脑游戏环境中赋予游戏智能体人类般的决策能力，以推进人工智能 (AGI) 的发展，并提供了 LLM 基础的游戏智能体的综述，包括感知、记忆、思考、角色扮演、行动和学习的六个关键组成部分，调研了六种游戏类型的现有代表性 LLM 基础游戏智能体，并展望了未来的研究和发展方向。

    Apr, 2024

  • 大型语言模型在人工智能通用智能方面的缺失要素：脑中的容器

    我们首先综述了对大型语言模型（LLMs）的现有评估，包括标准化测试和面向能力的基准测试。然后，我们明确了当前评估方法存在的几个问题，倾向于夸大 LLMs 的能力。我们进一步阐述了人工通用智能应该超越 LLMs 能力的几个特征。我们提出了通用智能代理的四个特征：1）能够执行无限的任务；2）能够在特定环境中生成新的任务；3）基于支撑任务生成的价值体系进行操作；4）拥有反映现实的世界模型，影响其与世界的交互。在这一观点基础上，我们强调了人工通用智能中缺失的部分，即认知与行动的统一。我们认为与现实世界中的对象进行积极互动可以提供更强大的形成概念表示的信号。此外，知识获取不仅依赖于被动输入，还需要反复尝试和错误。最后，我们概述了人工通用智能领域未来研究的有希望的方向。

    Jul, 2023