Jul, 2023

线性化的相对位置编码

PDF
TL;DR通过单元转换，在现有线性相对位置编码方法的基础上，提出了家族化的线性相对位置编码算法，实现了保持线性空间 - 时间复杂性的新相对位置编码方法框架，并在语言建模、文本分类和图像分类等各种应用中表现出了最先进的性能，强调了一个用于设计线性变压器相关位置编码方法的普适范例。
relative positional encodinglinear transformersunitary transformationlinearized relative positional encoding (lrpe)state-of-the-art performance
发现论文，激发创造
  • 相对位置编码在线性复杂度 Transformer 中的应用

    本研究提出了随机位置编码的方法来生成代替传统加性（正弦）位置编码的 PE，并证明其类似于 RPE，建立了位置编码与相关高斯过程的交叉协方差结构之间的联系。这种方法能够弥补针对最近的线性 Transformer 变量不可用于 RPE 的问题，并展示了其在 Long-Range Arena 基准测试和音乐生成方面的性能表现。

    May, 2021

  • GRPE: 图形 Transformer 的相对位置编码

    该研究提出了一种新的位置编码方法，用于学习 Transformer 架构上的图形，结果表明这种方法优于以往的方法并可公开获取其代码。

    Jan, 2022

  • 重新思考和改进相对位置编码在视觉变换器中的应用

    本文介绍了相对位置编码的在图像识别中的研究，提出了基于 2D 图像的新型相对位置编码方法，即图像 RPE。经过实验验证，该方法可以显著提高 DeiT 和 DETR 的准确率，而不需要额外的超参数调节。

    Jul, 2021

  • 代数位置编码

    我们介绍了一种新颖的位置编码策略，用于 Transformer 风格模型，解决了现有方法的不足之处。我们的框架提供了一种灵活的映射，从一个领域的代数规范到正交操作符的解释。该设计保留了源域的代数特性，确保模型满足所需的结构属性。我们的方案可以适应各种结构，包括序列、网格和树形结构，以及它们的组合。我们进行了一系列实验证明我们方法的实际适用性。结果表明，在没有超参数优化或任何 “任务搜索” 的情况下，性能可以达到或超过当前的最新水平。代码将在 github.com/konstantinosKokos/UnitaryPE 上提供。

    Dec, 2023

  • PoPE：基于勒让德正交多项式的位置编码在大型语言模型中的应用

    通过理论洞察和实证分析，我们研究了位置编码在更高维度上不充分表示对注意机制、模型学习相对位置信息的能力和模型的收敛性等关键方面的影响，发现这些挑战不仅存在于绝对位置编码，也可能对旋转位置编码等相对位置编码方法的性能产生负面影响。因此，我们引入了一种新颖的解决方案，使用正交勒让德多项式的位置编码（PoPE）来克服现有方法的一些限制，并通过实验结果证明，PoPE 法可以提高基准 transformer 模型的性能，并显著加快模型的收敛速度。此外，我们还提出了关于位置编码的新理论视角，基于 PoPE 的出色性能。

    Apr, 2024

  • 改进 transformer 的位置编码以用于多元时间序列分类

    研究了 transformers 在时间序列数据中应用时所需的位置编码方法，提出了一种新的绝对位置编码方法，称为时间绝对位置编码（tAPE）；提出了一种高效的相对位置编码实现方法（eRPE），并将 tAPE/eRPE 与卷积输入编码相结合，提出了一种新的多元时间序列分类（MTSC）模型 ConvTran。此模型在 32 个多元时间序列数据集上进行的广泛实验表明，优于最先进的卷积和 transformer-based 模型。

    May, 2023

  • Transformer 中的位置编码初始化对关系推理的重要性

    学习可学习的位置编码对关系推理任务的重要性进行研究，发现可学习的位置编码优于常用的其他位置编码，并且初始化对学到的表示和下游泛化性能有着重要影响。结果表明，在没有提供或无法确定真实位置的任务中，学习高性能和鲁棒性的位置编码对关系推理任务非常重要。

    Jun, 2024

  • 你的 Transformer 可能没有你期望的那么强大

    本文针对基于相对位置编码的 Transformer 模型展开数学分析，证明了其并不是一种完全可逼近连续的序列转序列函数的神经网络，但是提出了满足一定条件的新型注意力机制 URPE 并在多个任务上进行了实验，证明了其在参数效率和性能上均超过了其他模型。

    May, 2022

  • 位置编码对 Transformer 中长度推广的影响

    本文研究了基于解码器的 Transformer 模型在用不同的位置编码方式时对长度泛化的影响，发现在一系列的推理和数学任务中，NoPE 的表现比其它方法更为优秀，而且无需额外计算。理论上，NoPE 能够代表绝对和相对位置嵌入，但在使用 SGD 训练时，它主要呈现 T5 相对位置嵌入的注意力模式。同时，scratchpad 并不总是有助于解决长度泛化问题，其格式对模型的性能有很大的影响。总之，本文的工作表明解码器 - only 的 Transformer 不一定需要显式的位置嵌入以在更长的序列上泛化良好。

    May, 2023

  • 语音识别和直接翻译的相对位置编码

    通过在自注意力网络中采用相对位置编码方案，我们成功地让 Transformer 模型适应了语音数据的分散分布特点，并在 Switchboard 基准测试中获得了最佳识别结果，也在 MuST-C 语音翻译基准测试中获得了最佳出版结果，并且我们的模型能够更好地利用合成数据，并适应语音翻译的变量句子分割质量。

    May, 2020