本文提出将依赖树结构位置表示与传统的序列位置编码相结合，以更好地模拟输入句子的潜在结构，在中文到英文和英文到德语的翻译任务中，分别针对绝对和相对位置编码方式，实验证明提出的方法能够稳定提高自我注意力网络在各种自然语言处理任务上的表现。

Sep, 2019

位置编码（PEs）用于将单词顺序信息注入基于 Transformer 的语言模型中。本研究对双向遮蔽语言模型（BERT-style）中的位置编码进行了系统研究，揭示了其核心功能和与下游任务性能相关的两个常见特性（局部性和对称性），并对当前位置编码的弱点进行了定量评估。这些结果可为开发基于 Transformer 的语言模型的更好位置编码提供基础。

Oct, 2023

本研究通过在自我关注机制中引入对序列元素相对位置或距离的表示，比绝对位置表示获得了更好的机器翻译结果。同时，将相对位置表示和绝对位置表示相结合并不能进一步提高翻译质量。

Mar, 2018

本研究提出了一种新的动态位置编码（DPE）方法，通过新的位置嵌入来纠正目标单词的位置信息，相较于传统 Transformers 在英德法意四种翻译任务中取得了显著的性能提升。

Apr, 2022

本文探讨了自注意力机制（SAN）在序列建模中缺乏位置信息的问题，并通过一项新的单词重新排序检测任务分别检测了 SAN 和循环神经网络（RNN）的单词位置学习情况，实验结果表明，虽然缺乏循环结构，但在机器翻译中，SAN 通过学习单词位置的方式更为高效。

Jun, 2019

本文介绍了如何使用双语平行数据集来模拟目标语序，在改进了位置编码机制的基础上，提出了一种新的序列重排序方法来显式地模拟源语句子的重排序信息，同时实验证明，该方法在多种翻译任务中均有效。

Apr, 2020

本文分析了现有语言模型的位置嵌入，发现其对于自注意力有着强烈的翻译不变性，并提出了一种解决方案 —— 翻译不变的自注意力模型（TISA），它可以以一种可解释的方式考虑标记之间的相对位置，而无需传统的位置嵌入，实验表明它在 GLUE 任务上的性能优于 ALBERT 模型。

Jun, 2021

该研究提出了一种新的位置空间门控单元（PoSGU），用于处理视觉多层感知器中的局部信息和多粒度非局部关系，从而构建了一种新型的视觉 MLP，称为 PosMLP，减少了参数复杂度而其性能得到提高。

Jul, 2022

提出一种新的位置编码方法 TUPE，该方法通过将词的上下文相关性和位置相关性分开并采用不同的投影矩阵进行计算，并将它们相加来消除混杂和杂乱的关联。在广泛的实验和离线研究中，我们证明了该方法的有效性。

Jun, 2020

提出了一种新的位置编码方法：上下文位置编码 (CoPE)，使得位置可以被上下文条件化，可以实现更一般的位置指定，例如参考第 $i$ 个特定词、名词或句子。该方法能够解决选择性复制、计数和翻转任务，并提高语言建模和编码任务的困惑度。

May, 2024