本文提出了Self-Controlled Memory系统，包括语言模型代理、记忆流和记忆控制器三个核心模块，可以扩展Large-scale Language Models的输入容量，使其能够处理超长文本，而且实验结果表明该系统能够使非优化多轮对话的模型达到与ChatGPT相当的效果，并在超长文本摘要或长期对话方面优于ChatGPT。

Apr, 2023

本文提出了一种系统性方法，通过对LLMs的参数化记忆进行质量控制来构建相应的反记忆，并借此进行了一系列受控实验，研究了LLMs在遇到知识冲突时的行为，发现LLMs在保持一致性和可信性的情况下，即使与其参数化记忆冲突，也可以高度接受外部证据，但在提供与其参数化记忆一致的信息时，它们也表现出强烈的确认偏差。这些结果对工具和检索增强LLMs的进一步开发和部署具有重要意义。

May, 2023

使用大型语言模型递归生成摘要/记忆，从而提高长期记忆能力，进而解决开放领域对话系统中遗忘重要信息的问题。实验证明，该方法可以在长对话环境中生成更加一致的回应。

Aug, 2023

基于LooGLE评估模型的表现，研究显示商业模型在短依赖任务上胜过开源模型，同时也揭示了长依赖任务的困难，并指出在短问答任务中检索式技术有着明显的好处，而扩展上下文窗口长度的策略对于长上下文理解的影响有限。

Nov, 2023

提出了UniMem框架，将现有的长上下文处理方法从记忆增强的角度进行统一；通过分析Transformer-XL、Memorizing Transformer、RMT和Longformer等方法，揭示它们的设计原理和优势；基于这些分析，提出了整合这些算法优势的创新方法UniMix，并通过实验证明了UniMix在处理长上下文方面具有比基准模型更低的困惑度。

Feb, 2024

MEMORYLLM是一个自我更新且具有信息记忆能力的模型，它通过在transformer的潜在空间中引入固定大小的内存池，能够有效地整合新知识并保持长期信息记录能力，同时维持操作性完整性。

Feb, 2024

本文介绍了一种名为HOMER的新的无需训练的方案，它使用分而治之的算法将长输入划分为可管理的块，并采用逐层合并的分层策略，以解决大语言模型在上下文限制方面的问题，同时还提出了一种优化的计算顺序，使其对输入长度的内存需求呈对数尺度变化，从而提高了性能和内存效率。

Apr, 2024

我们介绍了MemLLM，这是一种通过整合结构化且显式的读写内存模块来增强LLMs的新方法。 MemLLM通过使内存与LLM的动态交互，改善了LLM在使用存储的知识方面的能力，从而解决了上述挑战。我们的实验结果表明，MemLLM提高了LLM的性能和可解释性，尤其是在语言建模和知识密集型任务中。我们认为MemLLM是使LLMs通过内存增强更加扎实和事实准确的重要一步。

Apr, 2024

通过模仿人脑记忆层次结构，我们提出了分层记忆Transformer（HMT）框架，以提高模型的长上下文处理能力，并通过在限定上下文和长上下文模型上的评估验证了其有效性。

May, 2024

本文解决了大型语言模型在处理长上下文时面临的挑战，提出了MemLong：一种利用外部检索器进行历史信息检索的记忆增强方法。研究表明，MemLong不仅提升了长上下文语言建模的能力，还能将单个3090 GPU的上下文长度从4k扩展至80k，显著优于现有的最先进模型。

Aug, 2024