EMNLPOct, 2023

压缩上下文以增强大型语言模型的推理效率

PDF
TL;DR使用选择性上下文方法（Selective Context）可以显著提高大型语言模型（LLMs）的推理效率，减少内存占用和推理时间，并在维持可比较性能的基础上实现对上下文成本的 50％降低，36％的推理内存使用率降低以及 32％的推理时间降低。
large language modelsselective contextinference efficiencymemory costreduction in inference time
发现论文，激发创造
  • 使用基于自信息的内容过滤增强 LLMs 的上下文效率：揭示 LLMs 的上下文约束

    本文提出了一种名为 “选择性上下文” 的方法，利用自身信息来过滤 less informative 的内容，并在不同数据源上展示了提高固定上下文长度效率的有效性。

    Apr, 2023

  • 通过语义压缩扩展大型语言模型的上下文窗口

    提出了一种新颖的语义压缩方法，使得基于 Transformer 的大型语言模型（LLM）能够适用于长度为原先的 6-8 倍的文本，而无需进行显著的计算开销或需要微调。该方法通过信息论中的源编码概念和使用预训练模型，减少长输入的语义冗余后再传递给 LLM 进行下游任务。实验结果表明，该方法有效地扩展了 LLM 在包括问答、摘要、少样本学习和信息检索等任务中的上下文窗口，并且在减少相关计算开销的同时能够保持生成文本的流畅性。

    Dec, 2023

  • 在线语言模型交互的压缩上下文记忆

    本文提出一种在在线场景（如 ChatGPT）中用于 Transformer 语言模型的新型上下文压缩方法，将不断扩展的上下文压缩到紧凑的记忆空间中，并通过轻量级条件 LoRA 在推理过程中实现对压缩上下文记忆的操作，从而减小内存和注意力操作，实现与完整上下文模型相当的性能，但所需上下文内存空间仅为原来的五分之一。

    Dec, 2023

  • 将语言模型适应于压缩上下文

    该论文旨在介绍一种新型的 AutoCompressors 语言模型，可以将长文档内容压缩成简洁的总结向量，并将其用作语言模型的轻提示，从而提高了模型处理长文本时间的效率，并在任务演示、检索等领域取得了显著进展。

    May, 2023

  • 内上下文格式：大型语言模型的快速压缩上下文

    通过使用 In-Context Former 方法，我们成功减少了基于 Transformer 的大型语言模型的压缩成本，并使得实时压缩的场景成为可能。

    Jun, 2024

  • 通过数据压缩进行有效的上下文示例选择

    本文提出了一种数据压缩方法来选择上下文示例，引入了一个两阶段的方法，可以有效选择相关示例，并在上下文示例中保留足够的训练数据集信息。使用四个语言模型，在五个不同的真实世界数据集上，我们的方法显示了平均 5.90% 的显著改进。

    May, 2024

  • RECOMP: 通过压缩和选择性增强改进基于检索的语言模型

    将检索到的文档压缩为文本摘要，以降低计算成本并减轻语言模型的负担，以提高任务性能；在语言建模和开放域问题回答任务中，以最低为 6% 的压缩率实现性能上最小损失，并在给定一种语言模型训练方法时能够迁移到其他语言模型，并提供与检索文档基本一致的摘要。

    Oct, 2023

  • 提高长文本层面机器翻译质量

    文档级上下文对神经机器翻译至关重要，然而仅仅增加本地上下文的大小并不能捕捉到整个上下文信息，而这些挑战可以通过引入受限的注意力机制来解决，并在低资源情况下实现良好的折衷方案。

    Jun, 2023

  • 循环上下文压缩：高效扩大 LLM 的上下文窗口

    使用递归上下文压缩方法（RCC）有效地扩展了基于 Transformer 的大型语言模型 (LLMs) 的上下文窗口长度，解决了模型回应质量变差的问题，并以接近 0.95 的 BLEU4 得分在文本重建任务中实现了高达 32 倍的压缩率，以及在 1M 序列长度的密码检索任务中近乎 100％的准确率，同时在长文本问答任务中表现出与非压缩方法相媲美的性能，并显著节省了存储资源。

    Jun, 2024

  • 面向高效和可解释的自回归转换器的动态上下文剪枝

    本文提出一种采用动态修剪机制的 Autoregressive Transformers 方法，可以在保持模型表现力不变的同时，减少生成过程中上下文信息的存储和计算负担，有效地解决了推理成本过高的问题。实验证明，该方法可以高效地修剪 80% 的上下文信息，同时大幅提升推理吞吐量和节约存储空间。

    May, 2023