本文探讨了序列到序列模型下的多任务学习问题，主要包括共享编码器和解码器的三种设置，结果表明使用少量的解析和图像标题数据训练模型可以有效地提高翻译质量并在一些测试中实现新的最优结果，并揭示了自编码器和跳越思考等两种无监督学习目标在多任务学习上的有趣属性。

Nov, 2015

本文提出了一种简单的多源神经机器翻译解决方案 —— 通过预处理 N 路多语种语料库，将源语言句子连接成一个长的多源输入句子，不修改神经机器翻译（NMT）架构或训练过程，使用预处理的语料库训练 NMT 系统，实验结果表明该方法在资源匮乏和资源丰富情况下均有效（使用 2 种源语言可达到 4 BLEU，使用 5 种源语言可达到 6 BLEU），同时与现有的 MSNMT 方法进行比较，表明我们的方法尽管简单却具有竞争力的结果。我们还通过可视化关注力提供了一些多语言信息的见解。

Feb, 2017

本研究提出了两种结合多源序列的注意力机制的方法，并在 WMT16 的多模态翻译和自动后编辑任务中进行了系统评估。结果表明，所提出的方法在两个任务上都取得了有竞争力的结果。

Apr, 2017

本研究设计并研究了一种新的分层注意力 Transformer 架构（HAT），在几个序列到序列任务中优于标准 Transformer，包括在 PubMed、arXiv、CNN/DM、SAMSum 和 AMI 上的四个摘要任务中取得了最新的 ROUGE 分数。该架构在 WMT20 英文到德文翻译任务中优于文档级机器翻译基线，并通过可视化分层编解码器注意力来研究了分层层次的理解，最后研究了编码器预训练上的分层学习并分析了其在分类任务上的性能。

Apr, 2021

本文提出了一种多任务学习框架，利用文本数据来提高自动语音识别和语音翻译的性能，其中包括基于注意力的序列到序列建模、去噪自动编码器、机器翻译等技术。在英语语音识别任务中，该方法相对于基线线下降了 10~15% 的词错误率，在 MuST-C 任务中有 3.6~9.2 BLEU 的提高。

Oct, 2020

该论文介绍了 MASS 作为一种在 encoder-decoder 架构下的自然语言生成前预训练方法，通过在随机遮掩的句子中构建代表性提取和语言建模能力，再在文本生成、翻译及会话生成等多个语言生成任务中进行进一步微调，以获得比其他无预训练模型和其他预训练方法更加出色的表现。

May, 2019

提出了一种新颖的多源技术，利用线性化的解析将源语法合并到神经机器翻译中，通过使用单独的编码器将相同源语句的顺序和解析版本相结合，然后使用分层注意机制将结果表示组合，该模型在 WMT17 英德任务上比 seq2seq 和基线解析模型都有超过 1 BLEU 的改进，并且分析表明，与标准解析方法相比，我们的多源语法模型能够成功进行翻译而不需要任何已解析的输入，在长句子上的表现也不如基线模型差。

Aug, 2018

提出了一种神经编码器 - 解码器机器翻译模型框架，该模型开始交替学习语法和翻译，逐渐将重点放在翻译上，实现了在相对较大的平行语料库（WMT14 英语到德语）和低资源（WIT 德语到英语）设置中的 BLEU 得分显着提高。

Apr, 2018

本文提出将多标签分类任务视为序列生成问题，并应用具有新型解码器结构的序列生成模型来解决这个任务，实验结果表明我们的建议方法大大优于以前的工作，同时分析实验结果表明建议方法不仅捕捉标签之间的相关性，而且在预测不同标签时自动选择最有信息的词。

Jun, 2018

本文介绍了一种基于相互信息最大化的神经机器翻译模型，该模型使用一种简单的重新排序方法和一种增加 N-best 列表多样性的解码算法，应用于 WMT 德英和法英任务中，该模型能够在标准 LSTM 和基于注意力的神经机器翻译体系结构上提供持续的性能提升。

Jan, 2016