May, 2024

HMT：用于长文本语言处理的分层记忆变形器

PDF
TL;DR通过模仿人脑记忆层次结构，我们提出了分层记忆 Transformer（HMT）框架，以提高模型的长上下文处理能力，并通过在限定上下文和长上下文模型上的评估验证了其有效性。
transformer-based large language modelslong-context processing abilityhierarchical memory transformerimitating brain memory hierarchycontext-constrained and long-context models
发现论文，激发创造
  • 层次化上下文合并：提升预训练语言模型对长上下文的理解能力

    本文介绍了一种名为 HOMER 的新的无需训练的方案，它使用分而治之的算法将长输入划分为可管理的块，并采用逐层合并的分层策略，以解决大语言模型在上下文限制方面的问题，同时还提出了一种优化的计算顺序，使其对输入长度的内存需求呈对数尺度变化，从而提高了性能和内存效率。

    Apr, 2024

  • 增强语言模型的长期记忆

    提出了一种名为 LongMem 的框架，该框架通过引入长期记忆机制，使得语言模型能够利用历史上下文信息，从而使得模型在文本生成等任务中取得了优异效果。

    Jun, 2023

  • 循环记忆变压器

    本文提出并研究了一种记忆增强的分段循环 Transformer 模型 (RMT)，通过通过加入特殊的记忆 tokens 实现，该模型能够存储和处理局部和全局信息，传递长序列片段之间的信息，具有学习长期依赖性和内存处理方面的潜力.

    Jul, 2022

  • UniMem：面向长上下文大型语言模型的统一视图

    提出了 UniMem 框架，将现有的长上下文处理方法从记忆增强的角度进行统一；通过分析 Transformer-XL、Memorizing Transformer、RMT 和 Longformer 等方法，揭示它们的设计原理和优势；基于这些分析，提出了整合这些算法优势的创新方法 UniMix，并通过实验证明了 UniMix 在处理长上下文方面具有比基准模型更低的困惑度。

    Feb, 2024

  • 利用层次化聚合树增强长期记忆的检索增强生成

    大型语言模型的上下文能力有限，通过使用分层聚合树内存结构可以在长对话中进行推理，提高对话的连贯性和摘要质量，同时避免了参数呈指数级增长。

    Jun, 2024

  • 走入记忆迷宫：通过互动阅读突破环境限制

    我们提出了 MemWalker，这是一种将长上下文处理成摘要节点树的方法，模型通过迭代提示的方式导航该树以寻找相关信息并一旦收集足够信息便回答问题，在长文本问答任务上，我们方法的性能优于使用长上下文窗口、重复和检索的基线方法。通过交互式阅读文本，MemWalker 还提升了解释能力，突出了推理步骤，并准确指出与查询相关的文本片段。

    Oct, 2023

  • 多轮开放域对话系统中的历史感知层次变压器

    本文提出了历史感知的分层 Transformer - 多轮开放域对话系统，能够利用历史交互信息与时下言语背景生成基于上下文且相关性强的对话回应，并在大规模多轮对话数据集上取得了优异的表现结果。

    Feb, 2023

  • 层级注意力网络在文档级神经机器翻译中的应用

    本文提出了一种层次化的注意力模型，通过在神经机器翻译中引入文本级的上下文信息，有效提升了翻译的质量。实验结果表明，编码器和解码器都对上下文信息做出了积极贡献。

    Sep, 2018

  • 使用随机矩阵理论将 Transformer 扩展到 1M 个标记及以上

    运用循环记忆技术扩展了 BERT 在自然语言处理中的作用，在保持高精度的同时，将模型的有效上下文长度提高到两百万个 tokens，具有广泛的应用潜力。

    Apr, 2023

  • MEMORYLLM: 迈向自我可更新的大型语言模型

    MEMORYLLM 是一个自我更新且具有信息记忆能力的模型，它通过在 transformer 的潜在空间中引入固定大小的内存池，能够有效地整合新知识并保持长期信息记录能力，同时维持操作性完整性。

    Feb, 2024