Feb, 2024

UniMem：面向长上下文大型语言模型的统一视图

PDF
TL;DR提出了 UniMem 框架，将现有的长上下文处理方法从记忆增强的角度进行统一；通过分析 Transformer-XL、Memorizing Transformer、RMT 和 Longformer 等方法，揭示它们的设计原理和优势；基于这些分析，提出了整合这些算法优势的创新方法 UniMix，并通过实验证明了 UniMix 在处理长上下文方面具有比基准模型更低的困惑度。
发现论文，激发创造
  • 增强语言模型的长期记忆

    提出了一种名为 LongMem 的框架，该框架通过引入长期记忆机制，使得语言模型能够利用历史上下文信息，从而使得模型在文本生成等任务中取得了优异效果。

    Jun, 2023

  • 大型语言模型记忆机制的多角度分析

    大语言模型（LLMs）在各个领域展示了前所未有的性能，但其特殊行为之一 —— 记忆化 —— 仍缺乏解释，本研究通过多个角度全面探讨记忆化现象及其动态，并通过实验证实了模型大小、连续大小和上下文大小之间的记忆化关系，以及不同记忆化得分下句子的嵌入分布和解码动态，揭示了当模型开始生成记忆化或非记忆化句子时的边界效应，最后通过训练 Transformer 模型预测不同模型的记忆化，证明了通过上下文预测记忆化的可行性。

    May, 2024

  • UniMC：通过相关性表示学习的长期记忆对话统一框架

    本文提出了一种建立长期亲密关系的开放领域长期记忆对话模型框架 UniMC，该模型通过学习相关表示增强了不同任务子模块之间的联系，并通过参数共享和联合训练优化了对话的连贯性和魅力。

    Jun, 2023

  • HMT：用于长文本语言处理的分层记忆变形器

    通过模仿人脑记忆层次结构，我们提出了分层记忆 Transformer（HMT）框架，以提高模型的长上下文处理能力，并通过在限定上下文和长上下文模型上的评估验证了其有效性。

    May, 2024

  • MEMORYLLM: 迈向自我可更新的大型语言模型

    MEMORYLLM 是一个自我更新且具有信息记忆能力的模型，它通过在 transformer 的潜在空间中引入固定大小的内存池，能够有效地整合新知识并保持长期信息记录能力，同时维持操作性完整性。

    Feb, 2024

  • 走入记忆迷宫：通过互动阅读突破环境限制

    我们提出了 MemWalker，这是一种将长上下文处理成摘要节点树的方法，模型通过迭代提示的方式导航该树以寻找相关信息并一旦收集足够信息便回答问题，在长文本问答任务上，我们方法的性能优于使用长上下文窗口、重复和检索的基线方法。通过交互式阅读文本，MemWalker 还提升了解释能力，突出了推理步骤，并准确指出与查询相关的文本片段。

    Oct, 2023

  • UIO-LLMs：面向长上下文 LLMs 的无偏增量优化

    通过使用 UIO-LLMs 方法，将大规模语言模型应用于长文本管理，成功处理了长上下文窗口的挑战，实现了扩展上下文窗口长度且保持推断成本线性增加的目标。

    Jun, 2024

  • CAMELoT：针对不需要训练的集成联想存储的大型语言模型

    通过引入关联记忆模块，在不需要重新训练的情况下，使得任何预训练（固定）基于注意力的大型语言模型能够处理任意长的输入序列，从而在长文本建模中实现了显著的困惑度降低。

    Feb, 2024

  • 层次化上下文合并：提升预训练语言模型对长上下文的理解能力

    本文介绍了一种名为 HOMER 的新的无需训练的方案，它使用分而治之的算法将长输入划分为可管理的块，并采用逐层合并的分层策略，以解决大语言模型在上下文限制方面的问题，同时还提出了一种优化的计算顺序，使其对输入长度的内存需求呈对数尺度变化，从而提高了性能和内存效率。

    Apr, 2024

  • InfLLM: 揭示 LLM 对于无需训练的记忆理解极长序列的内在能力

    通过引入一种无需训练的基于内存的方法 InfLLM，使得大型语言模型 (LLM) 能够高效处理长序列并捕获远距离依赖关系。

    Feb, 2024