Dec, 2023

在线语言模型交互的压缩上下文记忆

PDF
TL;DR本文提出一种在在线场景（如 ChatGPT）中用于 Transformer 语言模型的新型上下文压缩方法，将不断扩展的上下文压缩到紧凑的记忆空间中，并通过轻量级条件 LoRA 在推理过程中实现对压缩上下文记忆的操作，从而减小内存和注意力操作，实现与完整上下文模型相当的性能，但所需上下文内存空间仅为原来的五分之一。
context compression methodtransformer language modelscompressed context memory systemlightweight conditional lorareduced memory and attention operations
发现论文，激发创造
  • 压缩上下文以增强大型语言模型的推理效率

    使用选择性上下文方法（Selective Context）可以显著提高大型语言模型（LLMs）的推理效率，减少内存占用和推理时间，并在维持可比较性能的基础上实现对上下文成本的 50％降低，36％的推理内存使用率降低以及 32％的推理时间降低。

    Oct, 2023

  • 循环上下文压缩：高效扩大 LLM 的上下文窗口

    使用递归上下文压缩方法（RCC）有效地扩展了基于 Transformer 的大型语言模型 (LLMs) 的上下文窗口长度，解决了模型回应质量变差的问题，并以接近 0.95 的 BLEU4 得分在文本重建任务中实现了高达 32 倍的压缩率，以及在 1M 序列长度的密码检索任务中近乎 100％的准确率，同时在长文本问答任务中表现出与非压缩方法相媲美的性能，并显著节省了存储资源。

    Jun, 2024

  • LLoCO：离线学习长上下文

    通过上下文压缩和领域内参数高效微调，我们提出了一种解决大型语言模型处理长篇内容的挑战的新方法，使得 LLM 能够创建原始上下文的简洁表示，并有效地检索相关信息以准确回答问题。我们介绍了 LLoCO，一种通过使用 LoRA 组合上下文压缩、检索和参数高效微调的技术，将 4k 个令牌的 LLaMA2-7B 模型的有效上下文窗口扩展到处理高达 128k 个令牌。在几个长上下文问答数据集上对我们的方法进行评估，结果显示 LLoCO 在推理过程中使用 $30 imes$ 更少的令牌，显著优于上下文学习，实现了高达 $7.62 imes$ 的加速，大大降低了长文档问答的成本，为高效处理长上下文提供了有希望的解决方案。我们的代码公开可用于该 https URL。

    Apr, 2024

  • 通过语义压缩扩展大型语言模型的上下文窗口

    提出了一种新颖的语义压缩方法，使得基于 Transformer 的大型语言模型（LLM）能够适用于长度为原先的 6-8 倍的文本，而无需进行显著的计算开销或需要微调。该方法通过信息论中的源编码概念和使用预训练模型，减少长输入的语义冗余后再传递给 LLM 进行下游任务。实验结果表明，该方法有效地扩展了 LLM 在包括问答、摘要、少样本学习和信息检索等任务中的上下文窗口，并且在减少相关计算开销的同时能够保持生成文本的流畅性。

    Dec, 2023

  • 内上下文格式：大型语言模型的快速压缩上下文

    通过使用 In-Context Former 方法，我们成功减少了基于 Transformer 的大型语言模型的压缩成本，并使得实时压缩的场景成为可能。

    Jun, 2024

  • 使用哨兵标记对自回归 Transformer 进行上下文压缩

    通过增量压缩指定范围的令牌的中间激活，我们提出了一种即插即用的方法，从而在处理后续上下文时减少了内存和计算成本。实验证明，与稀疏注意力基线相比，我们的方法在流畅度、n-gram 匹配和语义相似性方面具有优势。最后，我们全面评估了上下文压缩对系统改进的益处。

    Oct, 2023

  • 高效的无限上下问 Transformer 与无限注意力

    该研究介绍了一种有效的方法，用于将基于 Transformer 的大型语言模型扩展到无限长的输入，同时保证有界的内存和计算。我们提出的方法的关键组成部分是一种称为 Infini-attention 的新的注意力技术，它将压缩性记忆融入到传统的注意力机制中，并在单个 Transformer 块中集成了被屏蔽的局部注意力和长期线性注意力机制。我们在长文本语言建模、1M 序列长度密钥上下文块检索和 500K 长度的书籍摘要任务上展示了我们方法的有效性，使用 1B 和 8B 规模的大型语言模型。我们的方法引入了最小化的有界内存参数，并实现了 LLMs 的快速流式推理。

    Apr, 2024

  • 将语言模型适应于压缩上下文

    该论文旨在介绍一种新型的 AutoCompressors 语言模型，可以将长文档内容压缩成简洁的总结向量，并将其用作语言模型的轻提示，从而提高了模型处理长文本时间的效率，并在任务演示、检索等领域取得了显著进展。

    May, 2023

  • TCRA-LLM：基于令牌压缩检索的大规模语言模型，用于推理成本降低

    使用自学生成的样本进行 Fine-tune，我们提出了两种方法进行文本压缩：摘要压缩和语义压缩。摘要压缩可以减少 65% 的检索令牌大小并提高 0.3% 的准确性，语义压缩可以将令牌大小减少 20%，但只有 1.6% 的准确性损失。

    Oct, 2023

  • LoMA：无损压缩的内存注意力

    提出了一种新方法，即无损压缩记忆关注（LoMA）方法，可以根据一组压缩比将信息无损地压缩到特殊记忆令牌 KV 对中，实现资源消耗的减少，并取得了显著的结果。

    Jan, 2024