具备自控制内存系统的大规模语言模型释放无限长度输入容量

Apr, 2023

具备自控制内存系统的大规模语言模型释放无限长度输入容量

Unleashing Infinite-Length Input Capacity for Large-scale Language Models with Self-Controlled Memory System

Xinnian Liang, Bing Wang, Hui Huang, Shuangzhi Wu, Peihao Wu...

TL;DR本文提出了 Self-Controlled Memory 系统，包括语言模型代理、记忆流和记忆控制器三个核心模块，可以扩展 Large-scale Language Models 的输入容量，使其能够处理超长文本，而且实验结果表明该系统能够使非优化多轮对话的模型达到与 ChatGPT 相当的效果，并在超长文本摘要或长期对话方面优于 ChatGPT。

Abstract

large-scale language models (LLMs) are constrained by their inability to process lengthy inputs. To address this limitation, we propose the self-controlled memory (SCM) system to unleash infinite-length input cap

large-scale language models self-controlled memory ultra-long inputs memory controller multi-turn dialogue

发现论文，激发创造

SirLLM: 流式无限保留 LLM

通过使用流输入和令牌熵度量以及内存衰减机制，SirLLM 克服了长文本输入对 LLMs 的内存限制，并在不需要调整的情况下，帮助 LLMs 在无限对话中保持更长时间的记忆。

May, 2024

增强语言模型的长期记忆

提出了一种名为 LongMem 的框架，该框架通过引入长期记忆机制，使得语言模型能够利用历史上下文信息，从而使得模型在文本生成等任务中取得了优异效果。

Jun, 2023

InfLLM: 揭示 LLM 对于无需训练的记忆理解极长序列的内在能力

通过引入一种无需训练的基于内存的方法 InfLLM，使得大型语言模型 (LLM) 能够高效处理长序列并捕获远距离依赖关系。

Feb, 2024

MEMORYLLM: 迈向自我可更新的大型语言模型

MEMORYLLM 是一个自我更新且具有信息记忆能力的模型，它通过在 transformer 的潜在空间中引入固定大小的内存池，能够有效地整合新知识并保持长期信息记录能力，同时维持操作性完整性。

Feb, 2024

MemoryBank：用长期内存增强大语言模型

提出了 MemoryBank，这是一种采用 Ebbinghaus 遗忘曲线中的记忆更新机制的新型记忆机制，旨在解决长期交互中 LLM 的记忆缺陷问题，并通过与心理对话调整提高其同理心。通过实验研究，证明了 MemoryBank 能够成功提高聊天机器人在长期 AI Companion 中的表现能力。

May, 2023

在大型语言模型中，递归总结实现了长期的对话记忆

使用大型语言模型递归生成摘要 / 记忆，从而提高长期记忆能力，进而解决开放领域对话系统中遗忘重要信息的问题。实验证明，该方法可以在长对话环境中生成更加一致的回应。

Aug, 2023

CAMELoT：针对不需要训练的集成联想存储的大型语言模型

通过引入关联记忆模块，在不需要重新训练的情况下，使得任何预训练（固定）基于注意力的大型语言模型能够处理任意长的输入序列，从而在长文本建模中实现了显著的困惑度降低。

Feb, 2024

基于记忆增强的 LLM 个性化学习，短期和长期记忆协调

通过使用参数高效的微调模式和计算仿生记忆机制，我们提出了一种新颖的个人化大语言模型方法，该方法在用户导向的生成任务中展示了卓越的效果和优越性能。

Sep, 2023

走入记忆迷宫：通过互动阅读突破环境限制

我们提出了 MemWalker，这是一种将长上下文处理成摘要节点树的方法，模型通过迭代提示的方式导航该树以寻找相关信息并一旦收集足够信息便回答问题，在长文本问答任务上，我们方法的性能优于使用长上下文窗口、重复和检索的基线方法。通过交互式阅读文本，MemWalker 还提升了解释能力，突出了推理步骤，并准确指出与查询相关的文本片段。

Oct, 2023

基于大型语言模型的智能体的记忆共享

在人工智能领域，大型语言模型（LLM）代理通过自然语言提示来执行任务，消除了显式重新训练或精调的需要，尤其是在诸如常识问题和是 / 否查询等固定答案任务中。然而，将上下文学习应用于开放性挑战，例如诗歌创作，由于提供的示例的全面性和代理的理解问题内容的能力存在显著限制，导致输出与预期结果经常不一致。为了解决这一差距，我们的研究引入了用于 LLM 多代理的记忆共享（MS）框架，该框架利用实时内存存储和检索系统增强上下文学习过程。该系统中的每个 “记忆” 都捕捉了 LLM 代理提出的查询以及相应的实时响应，将来自各种相似代理的这些记忆聚合到所有代理共享的记忆池中。该框架不仅帮助代理识别特定任务的最相关示例，而且通过其他代理应用未来的记忆评估其潜在效用。对涉及代理特定功能的三个不同领域进行的实证验证表明，MS 框架显著提高了代理在开放性问题上的性能。此外，我们还讨论了在 MS 中哪种类型的记忆池和检索策略可以更好地帮助代理，并提供了 MS 的未来发展方向。代码和数据可在此 https URL 获取。

Apr, 2024