May, 2024

用短指令和合成位置进行长上下文对齐

PDF
TL;DR该研究论文介绍了一种名为 Step-Skipping Alignment 的技术，为大型语言模型（LLMs）增强了长上下文能力，通过在指令 - 跟随样本中策略性地插入跳过的位置来合成长程依赖，从而有效扩展上下文，并通过在不同上下文窗口大小的基础模型上进行广泛实验来验证其有效性。
发现论文，激发创造
  • LongAlign: 大型语言模型的长文本对齐配方

    扩展大型语言模型以有效处理长篇背景需要依据相似长度的输入序列进行指导微调，本文提出了 LongAlign 框架，包括长篇背景对齐的指导数据、训练和评估方法，通过 Self-Instruct 构建了包含各种长篇背景任务的数据集，采用打包和排序批处理策略加快有差异长度分布的数据的监督微调，引入了损失权重方法以平衡打包训练过程中不同序列对损失的贡献，并引入了 LongBench-Chat 测试基准来评估对 1 万至 10 万字查询的指导跟进能力，实验证明 LongAlign 在长篇背景任务中性能比现有的大型语言模型框架提升了 30％，同时保持了对短语、通用任务的熟练处理能力。

    Jan, 2024

  • PoSE: 通过位置跳跃训练实现 LLMs 的高效上下文窗口扩展

    本文介绍了 Positional Skip-wisE（PoSE）训练方法，用于将大型语言模型（LLMs）高效地适应于极长的上下文窗口。通过在训练过程中使用具有操作位置索引的固定上下文窗口来模拟长输入，PoSE 将训练长度与目标上下文窗口大小分离。实验证明，与在完整长度上进行微调相比，PoSE 大大降低了内存和时间开销，并对性能影响很小。利用这一优势，我们成功将 LLaMA 模型扩展到了 128k 标记。此外，我们在实验中证实了 PoSE 与所有基于 RoPE 的 LLMs 和各种位置插值策略是兼容的。值得注意的是，通过解耦微调长度和目标上下文窗口，PoSE 在理论上可以无限扩展上下文窗口，仅受推理内存使用的限制。随着高效推理技术的不断发展，我们相信 PoSE 在进一步扩展上下文窗口方面具有巨大的潜力。

    Sep, 2023

  • LongSkywork：用于大型语言模型中高效扩展上下文长度的训练方法

    LongSkywork 是一种具有长上下文处理能力的大型语言模型 (LLM)，通过在标准 SFT 阶段之后添加长上下文 SFT 阶段来增强长上下文处理能力，使用合成数据的方法显著提高了训练效率，并在各种长上下文基准测试中取得了出色的表现。

    Jun, 2024

  • 超越极限：大型语言模型中扩展上下文长度的技术综述

    本文调查了扩展序列长度的技术和方法，包括架构修改和注意机制的改变等多种方法，并讨论了当前方法的局限性和未来研究方向建议，强调了序列长度对大型语言模型进一步发展的重要性。

    Feb, 2024

  • 基础模型的长文本推理能力优化

    我们介绍了一系列支持高达 32,768 个令牌的有效上下文窗口的长上下文 LLMs。通过从 Llama 2 开始的持续预训练，我们的模型系列是在更长的训练序列和上采样长文本的数据集上构建的。我们在语言模型、合成上下文探索任务以及广泛的研究基准上进行了广泛的评估。在研究基准上，我们的模型在大多数常规任务上均取得了一致的改进，并在长上下文任务上相对于 Llama 2 取得了显著的提升。值得注意的是，通过一种耗时效率高且不需要人工注释长指导数据的指令调整过程，70B 变体已经超过了 gpt-3.5-turbo-16k 在一套长上下文任务中的整体性能。除了这些结果，我们对我们方法的各个组成部分进行了深入分析。我们深入研究了 Llama 的位置编码，并讨论了它在建模长依赖性方面的局限性。我们还研究了预训练过程中各种设计选择的影响，包括数据混合和序列长度的训练课程 - 我们的消融实验表明，在预训练数据集中有大量长文本并不是达到强大性能的关键，我们从经验上验证了长上下文持续预训练相对于从头开始的长序列预训练更高效且同样有效。

    Sep, 2023

  • LLM 或许为 LongLM: 无需调整自我延伸 LLM 上下文窗口

    通过自扩展方法，利用现有的大型语言模型的内在能力来处理长文本，并延伸其上下文窗口，以有效应对长输入序列。

    Jan, 2024

  • LongIns: 一个对 LLMs 具有挑战性的基于长文本上下文的考试

    利用 LongIns benchmark dataset 在长背景下评估大型语言模型的推理性能及上下文窗口长度对其表现的影响。

    Jun, 2024

  • 长上下文真不算长：大语言模型的长依赖数据勘探者

    提出了一个名为 ProLong 的数据挖掘框架，该框架可以在大型语言模型（LLMs）的训练中分配每个样本一个长依赖得分，用于排名和过滤对增强长上下文建模能力更为有利的样本，实验结果表明，ProLong 能够有效识别具有长依赖关系的文档，并且在这些文档上训练的 LLMs 显著提高了长上下文建模能力。

    May, 2024

  • E^2-LLM：大型语言模型的高效和极端长度扩展

    我们提出了一种名为 E2-LLM 的高效和极长扩展的大型语言模型方法，通过减少计算成本并对不同样本进行增强方法来在推理时支持任意上下文长度，实验结果表明其在具有挑战性的长上下文任务中的有效性。

    Jan, 2024

  • 长上下文语言模型对长上下文学习困难

    在极限标签分类领域中，本研究介绍了一种专门的基准测试（LIConBench），重点关注长上下文学习。我们评估了 13 个长上下文大语言模型在我们的基准测试上，发现在 20K 的令牌长度下，大部分大语言模型表现相对良好且受益于利用长上下文窗口，然而，在上下文窗口超过 20K 后，除了 GPT-4 之外，大部分大语言模型表现出明显下降。这表明现有大语言模型在处理和理解长的上下文丰富序列时存在显著差距。我们的研究揭示了当前大语言模型在长上下文理解和推理方面仍存在挑战，我们相信 LIConBench 可以作为未来长上下文大语言模型的更切实可行的评估。

    Apr, 2024