FragRel: 大型语言模型外部存储中利用片段级关系
本文提出了Self-Controlled Memory系统,包括语言模型代理、记忆流和记忆控制器三个核心模块,可以扩展Large-scale Language Models的输入容量,使其能够处理超长文本,而且实验结果表明该系统能够使非优化多轮对话的模型达到与ChatGPT相当的效果,并在超长文本摘要或长期对话方面优于ChatGPT。
Apr, 2023
本文提出了一种系统性方法,通过对LLMs的参数化记忆进行质量控制来构建相应的反记忆,并借此进行了一系列受控实验,研究了LLMs在遇到知识冲突时的行为,发现LLMs在保持一致性和可信性的情况下,即使与其参数化记忆冲突,也可以高度接受外部证据,但在提供与其参数化记忆一致的信息时,它们也表现出强烈的确认偏差。这些结果对工具和检索增强LLMs的进一步开发和部署具有重要意义。
May, 2023
使用大型语言模型递归生成摘要/记忆,从而提高长期记忆能力,进而解决开放领域对话系统中遗忘重要信息的问题。实验证明,该方法可以在长对话环境中生成更加一致的回应。
Aug, 2023
基于LooGLE评估模型的表现,研究显示商业模型在短依赖任务上胜过开源模型,同时也揭示了长依赖任务的困难,并指出在短问答任务中检索式技术有着明显的好处,而扩展上下文窗口长度的策略对于长上下文理解的影响有限。
Nov, 2023
提出了UniMem框架,将现有的长上下文处理方法从记忆增强的角度进行统一;通过分析Transformer-XL、Memorizing Transformer、RMT和Longformer等方法,揭示它们的设计原理和优势;基于这些分析,提出了整合这些算法优势的创新方法UniMix,并通过实验证明了UniMix在处理长上下文方面具有比基准模型更低的困惑度。
Feb, 2024
MEMORYLLM是一个自我更新且具有信息记忆能力的模型,它通过在transformer的潜在空间中引入固定大小的内存池,能够有效地整合新知识并保持长期信息记录能力,同时维持操作性完整性。
Feb, 2024
本文介绍了一种名为HOMER的新的无需训练的方案,它使用分而治之的算法将长输入划分为可管理的块,并采用逐层合并的分层策略,以解决大语言模型在上下文限制方面的问题,同时还提出了一种优化的计算顺序,使其对输入长度的内存需求呈对数尺度变化,从而提高了性能和内存效率。
Apr, 2024
我们介绍了MemLLM,这是一种通过整合结构化且显式的读写内存模块来增强LLMs的新方法。 MemLLM通过使内存与LLM的动态交互,改善了LLM在使用存储的知识方面的能力,从而解决了上述挑战。我们的实验结果表明,MemLLM提高了LLM的性能和可解释性,尤其是在语言建模和知识密集型任务中。我们认为MemLLM是使LLMs通过内存增强更加扎实和事实准确的重要一步。
Apr, 2024
通过模仿人脑记忆层次结构,我们提出了分层记忆Transformer(HMT)框架,以提高模型的长上下文处理能力,并通过在限定上下文和长上下文模型上的评估验证了其有效性。
May, 2024
本文解决了大型语言模型在处理长上下文时面临的挑战,提出了MemLong:一种利用外部检索器进行历史信息检索的记忆增强方法。研究表明,MemLong不仅提升了长上下文语言建模的能力,还能将单个3090 GPU的上下文长度从4k扩展至80k,显著优于现有的最先进模型。
Aug, 2024