本文介绍了一种混合搜索的关注机制神经机器翻译模型，该模型使用机器翻译模型和短语级翻译概率等特征来实现目标短语的波束搜索，结果显示与强 NMT 基准模型相比，使用短语模型搜索可以将机器翻译质量提高达到 2.3% 的 BLEU 绝对值的效果。

Aug, 2017

本文研究了两种简单而有效的注意力机制 —— 全局式和局部式，证明了这两种方法在英德翻译任务中的有效性，并使用不同的注意力架构建立了一个新的 WMT'15 英德翻译任务最佳结果的集成模型，其 BLEU 分数为 25.9 分，比现有的最佳基于 NMT 和 n-gram reranker 的系统提高 1.0 分。

Aug, 2015

本文介绍了一种结合多头自注意力和短语建模的新型神经网络 Mg-Sa，利用 n-gram 或者句法格式训练多个注意头以关注短语，并通过短语间的交互增强结构建模弱点，实验结果表明该方法可以提高 NMT 的性能。

Sep, 2019

本文提出了一种新的端对端句法神经机器翻译模型，在源端短语结构的基础上扩展了序列到序列模型，并引入了注意力机制，可以软对齐短语和源句子中的单词，实验结果表明，相比于序列到序列的注意力 NMT 模型，该模型表现显著提升，在 WAT'15 英日翻译数据集上，与当下最优秀的树到串翻译系统相比可媲美。

Mar, 2016

本文研究了将句法知识纳入 Transformer 模型的不同方法，并提出一种新的、无需参数的依赖感知自注意机制，能够提高其翻译质量，特别是在长句子和低资源情况下。作者在 WMT 英德、英土和 WAT 英日翻译任务中展示了每种方法的有效性。

Sep, 2019

本文提出了将基于注意力的神经翻译模型与基于短语的统计机器翻译方法集成的方法，并使用有效的 GPU 批处理算法。在 WMT 2016 共享任务上，该方法的英俄翻译系统表现早期略逊于基于纯神经网络的系统，但在限制系统方面表现优异。而其俄英翻译系统在 BLEU 评估中取得最佳结果，表现优于最佳纯神经网络系统 1.1 个 BLEU 点和基于短语的基线系统 1.6 个 BLEU 点，且在其限制系统的聚类中表现最佳。

May, 2016

本论文研究了注意力机制在神经机器翻译中生成对齐的问题，并从重新排序方面分析和解释了这个问题。提出了一种受传统对齐模型指导学习的监督注意力机制，实验表明，这种机制比标准注意力机制产生更好的对齐效果，并且在中英文翻译任务中均有显著提高。

Sep, 2016

本研究提出了一种名为 INTERACTIVE ATTENTION 的注意力机制，可以通过读写操作来建模解码器与源句子表示之间的交互，从而跟踪交互历史并提高翻译效果，实验结果表明，与基线和某些注意力机制的改进相比，使用 INTERACTIVE ATTENTION 的神经机器翻译系统可以在多个测试数据集上平均优于开源的 attention-based NMT 系统 Groundhog 4.22 BLEU 分数和开源短语 - based 系统 Moses 3.94 BLEU 分数。

Oct, 2016

提出了基于上下文感知 NMT 的层次化注意力机制来处理整个文档的翻译，并使用稀疏注意力机制在文档上选择性地关注相关句子和关键词，将这些注意力模块产生的文档级上下文表示集成到 Transformer 模型的编码器或解码器中，通过在英德数据集上的实验进一步验证了该方法的有效性。

Mar, 2019

本文将多模态注意力机制应用于图像字幕生成领域，通过在自然语言描述和图像上同时聚焦，实现了一种基于图像字幕的另一种语言描述生成方法，并在 Multi30k 数据集上取得了更好的效果。

Sep, 2016