本研究提出了随机位置编码的方法来生成代替传统加性（正弦）位置编码的 PE，并证明其类似于 RPE，建立了位置编码与相关高斯过程的交叉协方差结构之间的联系。这种方法能够弥补针对最近的线性 Transformer 变量不可用于 RPE 的问题，并展示了其在 Long-Range Arena 基准测试和音乐生成方面的性能表现。

May, 2021

本文针对基于相对位置编码的 Transformer 模型展开数学分析，证明了其并不是一种完全可逼近连续的序列转序列函数的神经网络，但是提出了满足一定条件的新型注意力机制 URPE 并在多个任务上进行了实验，证明了其在参数效率和性能上均超过了其他模型。

May, 2022

本文介绍了相对位置编码的在图像识别中的研究，提出了基于 2D 图像的新型相对位置编码方法，即图像 RPE。经过实验验证，该方法可以显著提高 DeiT 和 DETR 的准确率，而不需要额外的超参数调节。

Jul, 2021

提出了一种广义的相对位置嵌入的框架 KERPLE，通过核化位置差异实现外推，实验结果表明，对于三个大型语言模型数据集，采用对数变体可以实现良好的外推性能。

May, 2022

通过改进因果掩码的方法，提出了 StableMask，解决了 decoder-only Transformer 架构中的限制，并在语言模型中得到了显著的增强。

Feb, 2024

通过引入超几何位置编码（HyPE），本研究提出一种新颖方法，利用超几何函数的特性来编码令牌的相对位置，以实现对令牌顺序的约束。该方法通过初步的连接操作和矩阵乘法实现相对距离的编码，间接地将偏置引入到 softmax 计算中，从而确保了与 FlashAttention-2 的兼容性，并支持对编码中任何潜在可学习参数的梯度反向传播。通过仔细的超参数选择，HyPE 可以近似于 ALiBi 的注意力偏置，从而在预训练期间具有良好的泛化能力，为超出预训练长度的上下文提供了有前途的泛化能力。对 HyPE 的实验评估可作为未来研究的一个方向。

Oct, 2023

当预测序列长度超过训练期间观察到的长度时，transformer 的推断准确性会降低。本研究基于 ALiBi 方法，提出了一种新的相对位置编码方法 MEP，它结合了不同的核函数（如指数核函数和高斯核函数）通过加权平均组成一个偏置，应用于后 softmax 注意力分数，实现了长度推知挑战的解决。实验证明，我们方法的两个版本都达到了最先进的性能，在各种数据集上优于传统的无参数和参数化方法。

Mar, 2024

通过单元转换，在现有线性相对位置编码方法的基础上，提出了家族化的线性相对位置编码算法，实现了保持线性空间 - 时间复杂性的新相对位置编码方法框架，并在语言建模、文本分类和图像分类等各种应用中表现出了最先进的性能，强调了一个用于设计线性变压器相关位置编码方法的普适范例。

Jul, 2023

研究了 transformers 在时间序列数据中应用时所需的位置编码方法，提出了一种新的绝对位置编码方法，称为时间绝对位置编码（tAPE）；提出了一种高效的相对位置编码实现方法（eRPE），并将 tAPE/eRPE 与卷积输入编码相结合，提出了一种新的多元时间序列分类（MTSC）模型 ConvTran。此模型在 32 个多元时间序列数据集上进行的广泛实验表明，优于最先进的卷积和 transformer-based 模型。

May, 2023

通过理论洞察和实证分析，我们研究了位置编码在更高维度上不充分表示对注意机制、模型学习相对位置信息的能力和模型的收敛性等关键方面的影响，发现这些挑战不仅存在于绝对位置编码，也可能对旋转位置编码等相对位置编码方法的性能产生负面影响。因此，我们引入了一种新颖的解决方案，使用正交勒让德多项式的位置编码（PoPE）来克服现有方法的一些限制，并通过实验结果证明，PoPE 法可以提高基准 transformer 模型的性能，并显著加快模型的收敛速度。此外，我们还提出了关于位置编码的新理论视角，基于 PoPE 的出色性能。

Apr, 2024