EMNLPApr, 2021

Transformer 的简单有效位置编码

PDF
TL;DR本文介绍了一种新的机制 ——Decoupled Positional Attention，将位置和段信息编码为 Transformer 模型，提高了训练和推理效率，在 GLUE、XTREME 和 WMT 基准测试中实现了竞争性表现，并进一步将该方法推广到远程的 transformers，显示了性能提升。
transformer modelspositional encodingsdecoupled positional attentionglue benchmarkslong-range transformers
发现论文，激发创造
  • Transformer 的动态位置编码

    本研究提出了一种新的动态位置编码（DPE）方法，通过新的位置嵌入来纠正目标单词的位置信息，相较于传统 Transformers 在英德法意四种翻译任务中取得了显著的性能提升。

    Apr, 2022

  • 语音识别和直接翻译的相对位置编码

    通过在自注意力网络中采用相对位置编码方案，我们成功地让 Transformer 模型适应了语音数据的分散分布特点，并在 Switchboard 基准测试中获得了最佳识别结果，也在 MuST-C 语音翻译基准测试中获得了最佳出版结果，并且我们的模型能够更好地利用合成数据，并适应语音翻译的变量句子分割质量。

    May, 2020

  • 重新思考语言预训练中的位置编码

    提出一种新的位置编码方法 TUPE，该方法通过将词的上下文相关性和位置相关性分开并采用不同的投影矩阵进行计算，并将它们相加来消除混杂和杂乱的关联。在广泛的实验和离线研究中，我们证明了该方法的有效性。

    Jun, 2020

  • 使用连续动态模型为 Transformer 学习位置编码

    提出了一种新的位置信息编码方法，使用神经常微分方法对非循环模型（如 Transformer）进行编码，并证明在翻译和理解任务中，该编码方法与已有编码方法相比具有更好的性能。

    Mar, 2020

  • Transformers 中的位置信息：概述

    本文综述了如何将位置信息整合到 Transformer 模型中，以比较不同方法在重要模型维度上的优劣，以及指出在选择位置编码时应考虑的应用特性，并为未来的研究提供刺激。

    Feb, 2021

  • 改进转换器使用忠实位置编码

    我们提出了一种基于数学基础的新位置编码方法，保证了不丢失输入序列的位置顺序信息，并且系统地改善了时间序列分类任务的预测性能。

    May, 2024

  • 使用更好的相对位置嵌入改进 Transformer 模型

    本文提出基于自我关注机制的绝对位置嵌入和相对位置嵌入方法，通过增加查询、键和相对位置嵌入之间的交互，进一步优化了位置信息的利用。其最有前途的一种方法是将绝对位置嵌入泛化，相比之前的位置嵌入方法，在 SQuAD1.1 上有更好的表现。本文还通过实验证明了相对位置嵌入方法具有合理的泛化性和鲁棒性。最后，还展示了这种新方法可以用于在小的计算预算下提高大型模型的准确性。

    Sep, 2020

  • 相对位置编码在线性复杂度 Transformer 中的应用

    本研究提出了随机位置编码的方法来生成代替传统加性（正弦）位置编码的 PE，并证明其类似于 RPE，建立了位置编码与相关高斯过程的交叉协方差结构之间的联系。这种方法能够弥补针对最近的线性 Transformer 变量不可用于 RPE 的问题，并展示了其在 Long-Range Arena 基准测试和音乐生成方面的性能表现。

    May, 2021

  • 位置编码对 Transformer 中长度推广的影响

    本文研究了基于解码器的 Transformer 模型在用不同的位置编码方式时对长度泛化的影响，发现在一系列的推理和数学任务中，NoPE 的表现比其它方法更为优秀，而且无需额外计算。理论上，NoPE 能够代表绝对和相对位置嵌入，但在使用 SGD 训练时，它主要呈现 T5 相对位置嵌入的注意力模式。同时，scratchpad 并不总是有助于解决长度泛化问题，其格式对模型的性能有很大的影响。总之，本文的工作表明解码器 - only 的 Transformer 不一定需要显式的位置嵌入以在更长的序列上泛化良好。

    May, 2023

  • 随机位置编码增强 Transformer 的长度泛化

    本研究发现，Transformers 在固定上下文长度的任务中表现出快速泛化的特性。但是，它们不能在任意长度序列上泛化，即使是像复制字符串这样的简单任务也不行。本文介绍了一种新的位置编码方案，可以解决长序列位置编码失效的问题，并通过大规模实验，证明该方案可提高分类精度。

    May, 2023