本文研究了神经机器翻译中编码器 - 解码器注意机制的特点，发现当翻译含义模糊的词汇时，注意机制更关注上下文标记。但与其他名词相比，注意机制更容易将更多注意力分配给模糊的名词本身而不是上下文标记，因此得出结论：注意机制不是神经机器翻译模型用于词义消歧所使用的主要机制之一。实验结果表明，NMT 模型在编码器隐藏状态中学习编码所需的上下文信息，而用于 Transformer 模型的注意机制表现为前几层逐渐了解源和目标标记，而最后几层学习从相关但不对齐的上下文标记中提取特征信息。

Oct, 2018

本文提出一种新的方法来解决神经机器翻译中同形异义词的问题，该方法利用编码器的隐藏状态以及受 WordNet 数据集启发的同义词句子进行 encoder 的微调，从而实现单词级别的同形异义词消歧表示（HDR），最终应用于 transformer-based NMT 以提高 BLEU 得分和其他翻译准确度指标。

Apr, 2023

本文提出了一种通过预测目标语句中词汇的方法，直接对编码器和解码器中隐藏状态向量进行监督，从而提高了表示质量和机器翻译的效率，实验证明在中英翻译任务和德英翻译任务中 BLEU 得分分别提高了 4.53 和 1.3。

Aug, 2017

本文探讨神经机器翻译 (NMT) 的简化与编码器自由的 NMT 模型。研究结果指出，在编码器自由的模型中，注意力机制作为强特征提取器，并且源表示不可缺少，但词嵌入在编码器自由的模型中是有竞争力的。此外，编码器自由的模型对德英和中英的对齐质量具有不同影响。

Jul, 2019

研究多编码器方法在文档级神经机器翻译中的应用，证实上下文编码器不仅编码周围的句子还会产生噪声，探讨引入噪音和严谨的 dropout 方法在多编码器 NMT 中的作用，实验结果证明噪声训练在小数据集中发挥重要作用，并通过使用噪音生成和 dropout 方法，在 IWSLT Fr-En 任务上创立了新的最优效果。

May, 2020

本文提出了一种基于双向解码器的神经机器翻译模型，其中正向解码器按原有的方法工作，但加入了逆向解码器，以利用源语言和目标语言的双向信息，从而提高翻译质量。实验结果表明，该模型在中英文和英德文翻译任务上均能够显著提高 NMT 的效果。

Jan, 2018

本文提出了一种新的神经机器翻译方法，采用层聚合和多层注意力机制，通过引入辅助正则化项促进不同层捕获多样化信息，实验结果表明该方法在 WMT14 英德和 WMT17 中英数据上具有普适性与有效性。

Oct, 2018

Multi-channel Encoder is proposed to improve Attention-based Encoder-Decoder architecture for neural machine translation by enhancing encoding components with different levels of composition, achieving a 6.52 BLEU point improvement on Chinese-English translation and BLEU=38.8 on the WMT14 English-French task.

Dec, 2017

本研究致力于改进基于编码器 - 解码器框架的神经机器翻译模型，通过显式地结合源侧语法树，在两种结构化表示（顺序和树）之间进行学习，提出具有树覆盖模型和双向树编码器的翻译模型，并证实优于其他基线模型。

Jul, 2017

本研究中，我们提出了一种名为 HySAN 的新型自注意力机制，它可以通过针对不同类型的自注意力网络设计特定的掩码来提取各种语义，并引入挤压门来融合不同类型的自注意力网络，在三个机器翻译任务上实现了优于 Transform 的显著基线，并实现了超越最先进的 NMT 系统的卓越结果。

Nov, 2018