Mar, 2024

MEP：多核学习增强相对位置编码长度外推

PDF
TL;DR当预测序列长度超过训练期间观察到的长度时，transformer 的推断准确性会降低。本研究基于 ALiBi 方法，提出了一种新的相对位置编码方法 MEP，它结合了不同的核函数（如指数核函数和高斯核函数）通过加权平均组成一个偏置，应用于后 softmax 注意力分数，实现了长度推知挑战的解决。实验证明，我们方法的两个版本都达到了最先进的性能，在各种数据集上优于传统的无参数和参数化方法。
transformer's inference accuracyrelative positional encoding methodmultiple kernel functionsmepstate-of-the-art performance
发现论文，激发创造
  • KERPLE：用于长度外推的核化相对位置嵌入

    提出了一种广义的相对位置嵌入的框架 KERPLE，通过核化位置差异实现外推，实验结果表明，对于三个大型语言模型数据集，采用对数变体可以实现良好的外推性能。

    May, 2022

  • 稳定、快速和准确：基于核函数的相对位置编码的注意力机制

    使用快速傅里叶变换（FFT）可以有效加速具有相对位置编码（RPE）的 Transformer 模型中的注意力计算，并且适当使用相对位置编码可以缓解基准核化注意力的训练不稳定性问题。

    Jun, 2021

  • 位置编码对 Transformer 中长度推广的影响

    本文研究了基于解码器的 Transformer 模型在用不同的位置编码方式时对长度泛化的影响，发现在一系列的推理和数学任务中，NoPE 的表现比其它方法更为优秀，而且无需额外计算。理论上，NoPE 能够代表绝对和相对位置嵌入，但在使用 SGD 训练时，它主要呈现 T5 相对位置嵌入的注意力模式。同时，scratchpad 并不总是有助于解决长度泛化问题，其格式对模型的性能有很大的影响。总之，本文的工作表明解码器 - only 的 Transformer 不一定需要显式的位置嵌入以在更长的序列上泛化良好。

    May, 2023

  • 相对位置编码在线性复杂度 Transformer 中的应用

    本研究提出了随机位置编码的方法来生成代替传统加性（正弦）位置编码的 PE，并证明其类似于 RPE，建立了位置编码与相关高斯过程的交叉协方差结构之间的联系。这种方法能够弥补针对最近的线性 Transformer 变量不可用于 RPE 的问题，并展示了其在 Long-Range Arena 基准测试和音乐生成方面的性能表现。

    May, 2021

  • Transformer 外推的探索

    通过数学和经验分析研究，本文发现某些类型的相对位置编码（RPE）允许长度外推，并从中得出两种实践方法用于语言建模任务，同时提出了一种新的理论接收域（TRF）用于测量 RPE 的接收域，并在多个数据集上进行了广泛实验以验证这些发现的有效性。

    Jul, 2023

  • 感受野对齐实现 Transformer 长度外推

    研究了相对位置嵌入在语言模型上的应用，提出了基于对齐假设的自注意力机制，在训练过程中对齐输入，在测试过程中保证了相对位置嵌入的性质。提出的 Sandwich positional embedding 将比训练序列更长的信息融入模型之中，且由于隐式窗口化的自注意力机制，其可实现高效的推断。

    Dec, 2022

  • 线性化的相对位置编码

    通过单元转换，在现有线性相对位置编码方法的基础上，提出了家族化的线性相对位置编码算法，实现了保持线性空间 - 时间复杂性的新相对位置编码方法框架，并在语言建模、文本分类和图像分类等各种应用中表现出了最先进的性能，强调了一个用于设计线性变压器相关位置编码方法的普适范例。

    Jul, 2023

  • 可长度推广的 Transformer

    本文探讨了 Transformers 中的位置建模以及如何提高其对于长文本的预测能力，通过引入相对位置编码和块状因果注意力机制，可以有效提高模型的预测性能。

    Dec, 2022

  • Transformer 长度外推：以位置编码为视角的调查

    该研究论文对基于 Transformer 的预训练语言模型和长度外推问题进行了系统性的回顾，聚焦于可外推位置编码方法，旨在帮助读者深入理解已有方法并为未来研究提供启示。

    Dec, 2023

  • HyPE：带有双曲偏差的相对位置编码的注意力

    通过引入超几何位置编码（HyPE），本研究提出一种新颖方法，利用超几何函数的特性来编码令牌的相对位置，以实现对令牌顺序的约束。该方法通过初步的连接操作和矩阵乘法实现相对距离的编码，间接地将偏置引入到 softmax 计算中，从而确保了与 FlashAttention-2 的兼容性，并支持对编码中任何潜在可学习参数的梯度反向传播。通过仔细的超参数选择，HyPE 可以近似于 ALiBi 的注意力偏置，从而在预训练期间具有良好的泛化能力，为超出预训练长度的上下文提供了有前途的泛化能力。对 HyPE 的实验评估可作为未来研究的一个方向。

    Oct, 2023