本文研究了通过浅层模型堆叠训练深度编码器的浅层到深层的方法对神经机器翻译模型进行改进，并通过实验表明该方法可以显著提高翻译质量，并在 WMT'16 和 WMT'14 的任务中取得了 30.33 和 43.29 的 BLEU 分数。

Oct, 2020

本研究提出了利用句子上下文进行神经机器翻译的新方法，并在 WMT14 英德和英法基准测试中进行了实验，结果表明，通过利用句子上下文可以提高翻译性能，深度句子上下文可以形成更全面的上下文表示。

Jun, 2019

本文提出多层表示融合（MLRF）方法来融合神经机器翻译系统中的堆叠层，并设计三个融合函数以从堆叠中学习更好的表示。实验结果显示，我们的方法在 IWSLT 德英和 NIST 中英机器翻译任务上分别比强 Transformer 基线提高了 0.92 和 0.56 BLEU 分数，这是新的德英翻译的最新水平。

Feb, 2020

本篇研究论文提出了一种通过适当使用层归一化技术以及一种新的传递先前层组合方法，在机器翻译任务中，构建比 Transformer-Big 模型更深层的 Transformer 模型，并在 WMT'16 英德、NIST OpenMT'12 中英和更大的 WMT'18 中英任务中将深层系统（30/25 层编码器）与浅层 Transformer-Big / 基线（6 层编码器）相比，BLEU 分数提高了 0.4-2.4 点，而且深度模型的大小更小 1.6 倍并且训练速度更快 3 倍。

Jun, 2019

本研究致力于改进基于编码器 - 解码器框架的神经机器翻译模型，通过显式地结合源侧语法树，在两种结构化表示（顺序和树）之间进行学习，提出具有树覆盖模型和双向树编码器的翻译模型，并证实优于其他基线模型。

Jul, 2017

本文研究了神经机器翻译中不同层面的向量表示的学习情况，并发现高层次对语义的学习更有效，而较低层次对词性标注的学习效果更好。

Jan, 2018

本研究提出一种基于联合表示的神经机器翻译模型，通过提出的高效注意力机制对表示进行精细化处理，实现了新的序列到序列建模范式并在多项机器翻译任务中取得了更优结果，同时提出了系统的模型放大方法，成功将模型规模缩小 50%，同时取得更高的翻译品质。

Feb, 2020

本文提出了一种多语言编码器 - 解码器架构，其中包括一个中间的共享‘注意桥接层’，能够获取多语言句子代表。我们通过以一种我们称之为‘注意力桥’的共享层连接带有语言特定编码器和解码器的模型来训练，并展示了一种新的框架来高效实现多语言 NMT。在多重平行数据集中系统地测试了该方法，结果表明该模型能显著提高强度双语模型的性能，并且也可以用于零 - shot 翻译，展示了其抽象和转移学习的能力。

Nov, 2018

本文探讨了非常深的 Transformer 模型在神经机器翻译中的应用，使用一种简单但有效的初始化技术来稳定训练，我们证明了可行性，并且通过使用 60 个编码器层和 12 个解码器层，此类深度模型在 WMT14 英法和英德翻译基准上录得了比基准浅层模型高达 2.5 BLEU 的结果（其中包括通过回译得到的 46.4 BLEU 以及 30.1 BLEU），代码和训练模型将在公开网站上开放。

Aug, 2020

本研究分析了神经机器翻译模型在不同粒度上学习到的表示，并通过相关的外围特性对其质量进行评估，结果表明深层次的 NMT 模型学习了大量的语言信息，其中鲜明的发现包括：（i）词组结构和词类等语言单元在模型较低的层次上被捕捉；（ii）而词汇语义或非局部的句法和语义依存则在较高层次上表示更好；（iii）使用字符所学习的表示比使用子词单位所学习的更具有词形信息；（iv）多语言模型所学习的表示比双语模型更加丰富。

Nov, 2019