本研究提出了一种新的动态位置编码（DPE）方法，通过新的位置嵌入来纠正目标单词的位置信息，相较于传统 Transformers 在英德法意四种翻译任务中取得了显著的性能提升。

Apr, 2022

本文介绍了一种新的重排序方法，利用神经网络和基于依存性的嵌入来预测两个源单词之间的依存关系，以确定翻译的单词顺序，实现了在中英翻译中统计显著的 0.57 BLEU 分数的提高。

Feb, 2017

本研究提出一种基于联合表示的神经机器翻译模型，通过提出的高效注意力机制对表示进行精细化处理，实现了新的序列到序列建模范式并在多项机器翻译任务中取得了更优结果，同时提出了系统的模型放大方法，成功将模型规模缩小 50%，同时取得更高的翻译品质。

Feb, 2020

本研究探讨了在 Transformer-based 神经语言模型中移除位置编码的影响，发现掩码语言建模任务中位置信息的重要性随着掩码数量的增加而增加，并且没有位置编码的模型不能完成该任务，这揭示了 Transformers 通过位置编码捕捉语言的顺序敏感方面的直接关系。

Nov, 2022

本文使用 LSTM 循环神经网络，建立了一种基于单词对和对齐的新型神经排序模型，成功地解决了机器翻译中的重排序问题，并在 NIST OpenMT12 测试中实现了显著性能提升。

Dec, 2015

通过在自注意力网络中采用相对位置编码方案，我们成功地让 Transformer 模型适应了语音数据的分散分布特点，并在 Switchboard 基准测试中获得了最佳识别结果，也在 MuST-C 语音翻译基准测试中获得了最佳出版结果，并且我们的模型能够更好地利用合成数据，并适应语音翻译的变量句子分割质量。

May, 2020

本文通过实证研究生成顺序来探讨机器翻译的效果，发现对于英德翻译任务，以字母和最短优先等方式生成的效果相当于标准 Transformer 生成的效果，提出了不必严格遵循从左到右的翻译方式。而对于英中翻译任务，由于语言对齐度低，生成的效果则对生成顺序更加敏感。

Oct, 2019

本文使用跨语言位置表示法，将自注意力网络中的位置编码扩展为双语感知潜在结构，利用括号转换语法（BTG）基于重排序信息，以鼓励自注意力网络学习双语对角线对齐，并通过 WMT'14 英语⇒德语，WAT'17 日语⇒英语，WMT'17 中英互译任务的实验结果验证，显著且一致地改善了翻译质量。

Apr, 2020

本研究通过在自我关注机制中引入对序列元素相对位置或距离的表示，比绝对位置表示获得了更好的机器翻译结果。同时，将相对位置表示和绝对位置表示相结合并不能进一步提高翻译质量。

Mar, 2018

本文介绍了三种不同类型的编码器，用于将源句法明确地合并到神经机器翻译 (NMT) 中，并在中英文翻译实验中证明了这三种编码器的有效性，尤其是 Mixed RNN encoder 能有效提升 1.4 BLEU points，同时提供了深入分析来揭示源语法如何有益于 NMT。

May, 2017