EMNLPSep, 2020

使用更好的相对位置嵌入改进 Transformer 模型

PDF
TL;DR本文提出基于自我关注机制的绝对位置嵌入和相对位置嵌入方法，通过增加查询、键和相对位置嵌入之间的交互，进一步优化了位置信息的利用。其最有前途的一种方法是将绝对位置嵌入泛化，相比之前的位置嵌入方法，在 SQuAD1.1 上有更好的表现。本文还通过实验证明了相对位置嵌入方法具有合理的泛化性和鲁棒性。最后，还展示了这种新方法可以用于在小的计算预算下提高大型模型的准确性。
transformer architecturesposition informationposition embeddingsself-attention mechanisminductive property
发现论文，激发创造
  • 相对位置表示的自注意力

    本研究通过在自我关注机制中引入对序列元素相对位置或距离的表示，比绝对位置表示获得了更好的机器翻译结果。同时，将相对位置表示和绝对位置表示相结合并不能进一步提高翻译质量。

    Mar, 2018

  • 语音识别和直接翻译的相对位置编码

    通过在自注意力网络中采用相对位置编码方案，我们成功地让 Transformer 模型适应了语音数据的分散分布特点，并在 Switchboard 基准测试中获得了最佳识别结果，也在 MuST-C 语音翻译基准测试中获得了最佳出版结果，并且我们的模型能够更好地利用合成数据，并适应语音翻译的变量句子分割质量。

    May, 2020

  • 使用连续的增强位置嵌入编码相对位置的 CAPE

    这篇论文提出了一种增强型绝对位置嵌入 (CAPE) 的方法，使得 Transformer 神经网络在保持绝对位置嵌入简单和快速的同时，能够更好地推广到训练时未曾出现的更长序列，并在机器翻译等领域中获得更好的性能。

    Jun, 2021

  • 卷积与自注意力：重新解释预训练语言模型中的相对位置

    该研究探讨了卷积和自注意力在自然语言任务中的关系，提出了一种将卷积融合到自注意力中的方法，并使用 BERT 在多个下游任务上验证了卷积相对于绝对位置嵌入的性能优势。

    Jun, 2021

  • 定位感知的自注意力与相对位置编码在槽填充中的应用

    本文提出如何在关系抽取任务中使用自注意力和相对位置编码。使用一个位置感知的注意力层，利用相对位置编码使每个单词考虑其左右上下文，仅使用注意力机制，在 TACRED 数据集上表现显著提升。

    Jul, 2018

  • SHAPE: 基于位移的绝对位置编码用于 Transformers

    本论文通过随机平移绝对位置来构建 shift invariance 的 position representation SHAPE，其计算效率和性能与其他方法相当且更为简单。

    Sep, 2021

  • 绝对位置嵌入的奇妙案例

    使用 Transformer 语言模型中的绝对位置嵌入会导致对相对位置信息的过度依赖，从而使得模型在句子位置信息被移位时性能显著下降，这表明了使用绝对位置嵌入所建模 “相对位置信息” 的功效需要重新审视。

    Oct, 2022

  • Transformer 的简单有效位置编码

    本文介绍了一种新的机制 ——Decoupled Positional Attention，将位置和段信息编码为 Transformer 模型，提高了训练和推理效率，在 GLUE、XTREME 和 WMT 基准测试中实现了竞争性表现，并进一步将该方法推广到远程的 transformers，显示了性能提升。

    Apr, 2021

  • 位置编码学到了什么？一项关于预训练语言模型位置编码的实证研究

    本文通过特征级别分析和大量实证研究主流预训练位置嵌入对 Transformer 的影响，从而为特定任务选择适当的位置编码函数提供新的见解。

    Oct, 2020

  • 重新思考语言预训练中的位置编码

    提出一种新的位置编码方法 TUPE，该方法通过将词的上下文相关性和位置相关性分开并采用不同的投影矩阵进行计算，并将它们相加来消除混杂和杂乱的关联。在广泛的实验和离线研究中，我们证明了该方法的有效性。

    Jun, 2020