Jun, 2023

通过位置插值扩展大型语言模型的上下文窗口

PDF
TL;DR本文介绍了一种名为 Position Interpolation 的方法，它扩展了 RoPE-based pretrained LLMs 的上下文窗口大小，可以达到 32768，而且只需要最小限度的微调，同时在需要长上下文的各种任务中（包括密码检索、语言建模和长文档摘要等）展示了强大的实证结果。
position interpolationrope-based pretrained llmslong contextpasskey retrievaldocument summarization
发现论文，激发创造
  • 扩展 LLMs 上下文窗口至 100 个样本

    本研究介绍了一种新颖的 RoPE 扩展方法，通过调整 RoPE 的基础频率和缩放注意力 logits，帮助 LLMs 高效适应更大的上下文窗口，并验证了这种方法在微调性能和稳健性方面的优越性。

    Jan, 2024

  • LongRoPE: 将 LLM 上下文窗口扩展到 200 万个标记以上

    LargeRoPE 通过识别和利用位置插值中的非均匀性，引入渐进扩展策略和调整，将预训练语言模型的上下文窗口扩展到 2048k tokens，同时保持原始短上下文窗口的性能。

    Feb, 2024

  • LongEmbed：扩展嵌入模型以用于长上下文检索

    现代自然语言处理（NLP）应用中的嵌入模型在信息检索和大规模生成方面起着重要作用，本文探索了现有嵌入模型的上下文窗口扩展，将限制提升到 32k，而不需要额外的训练。我们通过新构建的 LongEmbed 基准测试，对目前的嵌入模型在长文本检索上的性能进行了评估，并发现有巨大的改进空间。我们实验表明训练前的扩展策略（如位置插值）可以有效地将现有嵌入模型的上下文窗口扩展多倍，无论其原始上下文是 512 还是 4k 以上。对于使用绝对位置编码（APE）的模型，我们展示了进一步微调以取得显著性能提升并严格保留短序列输入的原始行为的可能性。对于使用旋转位置嵌入（RoPE）的模型，当使用 RoPE 特定方法（如 NTK 和 SelfExtend）时，我们观察到显著的增强效果，表明 RoPE 在上下文窗口扩展方面的优越性。为了促进未来的研究，我们发布了 E5-Base-4k 和 E5-RoPE-Base 数据集，并提供了 LongEmbed 基准测试。

    Apr, 2024

  • PoSE: 通过位置跳跃训练实现 LLMs 的高效上下文窗口扩展

    本文介绍了 Positional Skip-wisE（PoSE）训练方法，用于将大型语言模型（LLMs）高效地适应于极长的上下文窗口。通过在训练过程中使用具有操作位置索引的固定上下文窗口来模拟长输入，PoSE 将训练长度与目标上下文窗口大小分离。实验证明，与在完整长度上进行微调相比，PoSE 大大降低了内存和时间开销，并对性能影响很小。利用这一优势，我们成功将 LLaMA 模型扩展到了 128k 标记。此外，我们在实验中证实了 PoSE 与所有基于 RoPE 的 LLMs 和各种位置插值策略是兼容的。值得注意的是，通过解耦微调长度和目标上下文窗口，PoSE 在理论上可以无限扩展上下文窗口，仅受推理内存使用的限制。随着高效推理技术的不断发展，我们相信 PoSE 在进一步扩展上下文窗口方面具有巨大的潜力。

    Sep, 2023

  • 通过分解位置向量探索大型语言模型的上下文窗口

    通过分析位置向量对注意力的形成和影响，我们设计了两种无需训练的上下文窗口扩展方法，即位置向量替换和注意力窗口扩展。实验结果表明，我们的方法可以有效地扩展上下文窗口的长度。

    May, 2024

  • YaRN：大型语言模型的高效上下文窗口扩展

    Rotary Position Embeddings (RoPE) 在 transformer-based 语言模型中被证明能够有效地编码位置信息，但这些模型在训练的序列长度之外无法推广。我们提出了 YaRN（另一种 RoPE 扩展方法），一种计算高效的方法，可扩展这些模型的上下文窗口，所需的令牌数量比先前的方法少 10 倍，训练步骤少 2.5 倍。通过使用 YaRN，我们展示了 LLaMA 模型可以有效地利用和推广到比它们原始的预训练所允许的上下文长度更长的上下文，同时还超过了先前的上下文窗口扩展的最新技术水平。此外，我们证明了 YaRN 具有超越微调数据集有限上下文的能力。我们发布了使用 64k 和 128k 上下文窗口用 YaRN 进行微调的 Llama 2 7B/13B 的检查点。

    Aug, 2023

  • 位于中间：通过即插即用位置编码，语言模型更好地使用长上下文

    本文介绍了一种名为多尺度位置编码（Ms-PoE）的简单而有效的插件式方法，用于增强大型语言模型（LLMs）处理位于上下文中部的相关信息的能力，并通过广泛的实验证明了该方法的有效性。

    Mar, 2024

  • 位置插值改进 ALiBi 外推

    使用线性位置插值来扩展采用线性偏差注意力 (ALiBi) 的模型的外推范围，研究表明，位置插值显著提高了上游语言建模和下游摘要和检索任务的外推能力。

    Oct, 2023

  • 相对位置的功能内插改进长上下文 Transformer

    使用功能性相对位置编码与渐进插值方法 (FIRE) 对 Transformers 进行训练，在处理更长的上下文时具有更好的泛化性能。

    Oct, 2023

  • 通过缩放单一维度来减轻大型语言模型的位置偏见

    本文研究了大型语言模型中的位置偏见问题，发现注意力权重和因果性注意掩码是位置偏见的微观表现，提出了通过调整位置隐状态来减轻位置偏见的方法，并通过在多个任务上进行实验验证了该方法的有效性和普适性。

    Jun, 2024