Dec, 2022

感受野对齐实现 Transformer 长度外推

PDF
TL;DR研究了相对位置嵌入在语言模型上的应用，提出了基于对齐假设的自注意力机制，在训练过程中对齐输入，在测试过程中保证了相对位置嵌入的性质。提出的 Sandwich positional embedding 将比训练序列更长的信息融入模型之中，且由于隐式窗口化的自注意力机制，其可实现高效的推断。
transformer language modelrelative positional embeddingself-attention matrixperplexitieswindowed attention
发现论文，激发创造
  • 使用带线性偏置的注意力机制实现输入长度的外推：训练时短、测试时长

    本文提出 Attention with Linear Biases (ALiBi) 方法，拟合模型课以推广到更长的序列，并比多种其他方法在 WikiText-103 基准测试上表现更好。

    Aug, 2021

  • 注意力对齐和灵活位置嵌入改进了 Transformer 长度外推

    提出两种通过温度缩放实现的注意力对齐策略，改善了 T5 在语言建模、检索和多文档问答中对长篇文本的应用能力，无需进行微调。

    Nov, 2023

  • 可长度推广的 Transformer

    本文探讨了 Transformers 中的位置建模以及如何提高其对于长文本的预测能力，通过引入相对位置编码和块状因果注意力机制，可以有效提高模型的预测性能。

    Dec, 2022

  • Transformer 外推的探索

    通过数学和经验分析研究，本文发现某些类型的相对位置编码（RPE）允许长度外推，并从中得出两种实践方法用于语言建模任务，同时提出了一种新的理论接收域（TRF）用于测量 RPE 的接收域，并在多个数据集上进行了广泛实验以验证这些发现的有效性。

    Jul, 2023

  • Transformer 长度外推：以位置编码为视角的调查

    该研究论文对基于 Transformer 的预训练语言模型和长度外推问题进行了系统性的回顾，聚焦于可外推位置编码方法，旨在帮助读者深入理解已有方法并为未来研究提供启示。

    Dec, 2023

  • 位置编码对 Transformer 中长度推广的影响

    本文研究了基于解码器的 Transformer 模型在用不同的位置编码方式时对长度泛化的影响，发现在一系列的推理和数学任务中，NoPE 的表现比其它方法更为优秀，而且无需额外计算。理论上，NoPE 能够代表绝对和相对位置嵌入，但在使用 SGD 训练时，它主要呈现 T5 相对位置嵌入的注意力模式。同时，scratchpad 并不总是有助于解决长度泛化问题，其格式对模型的性能有很大的影响。总之，本文的工作表明解码器 - only 的 Transformer 不一定需要显式的位置嵌入以在更长的序列上泛化良好。

    May, 2023

  • 随机位置编码增强 Transformer 的长度泛化

    本研究发现，Transformers 在固定上下文长度的任务中表现出快速泛化的特性。但是，它们不能在任意长度序列上泛化，即使是像复制字符串这样的简单任务也不行。本文介绍了一种新的位置编码方案，可以解决长序列位置编码失效的问题，并通过大规模实验，证明该方案可提高分类精度。

    May, 2023

  • 位置插值改进 ALiBi 外推

    使用线性位置插值来扩展采用线性偏差注意力 (ALiBi) 的模型的外推范围，研究表明，位置插值显著提高了上游语言建模和下游摘要和检索任务的外推能力。

    Oct, 2023

  • 使用位置编码控制输出序列长度

    该研究提出了一种简单而有效的方法，将正弦位置编码扩展到神经编码器 - 解码器模型中，以保持长度限制，可生成任意长度的文本，并提高 ROUGE 分数。

    Apr, 2019

  • Transformer 模型可以实现长度概括，但不具备鲁棒性

    使用适当的数据格式和位置编码的组合，本研究首次展示了标准 Transformers 在能够外推到输入长度 2.5 倍的序列长度方面的成功，然而与内分布泛化不同，长度泛化仍然是脆弱的，受到随机权重初始化和训练数据顺序等因素的显著影响，导致不同随机种子之间存在较大差异。

    Feb, 2024