本文提出了一种层次化的注意力模型，通过在神经机器翻译中引入文本级的上下文信息，有效提升了翻译的质量。实验结果表明，编码器和解码器都对上下文信息做出了积极贡献。
Sep, 2018
本文提出了一种基于卷积神经网络、门控递归单元和注意机制的组合方法，用于文档分类任务，并通过层次结构表示提取了更有意义、更可泛化和抽象的特征，改善了当前基于注意力机制的文档分类方法的结果。
Jan, 2019
从无标注数据中预训练了一种能够包括来自整个文档的上下文信息的分层文档表示，包括定长的句子 / 段落表示，并应用于文档分割、文档级问答和抽取式文档摘要等方面取得了有效结果。
本文提出了一种层次注意机制的神经翻译模型，采用双向树形编码器来增强源端层次表示，用加权变异的注意机制平衡词汇和短语向量之间的信息，通过树形稀有词编码将该模型扩展至亚字级别以缓解词汇缺失的问题，实证结果表明，该模型在英汉翻译任务中显著优于序列到序列的注意力机制和基于树的神经翻译模型。
Jul, 2017
我们提出了针对多种源语言和目标语言翻译的任务特定的注意力模型，旨在改进序列到序列神经机器翻译的质量。我们在欧洲议会语料库的四种语言上进行的实验表明，使用目标语言特定的注意力模型相对于参数共享模型提供了一致的翻译质量的提升，甚至在低资源的零 - shot 翻译方向上也观察到了翻译质量的改善。
Jun, 2018
本文提出了一种基于视觉物体检测和不同文本语义的多语言多模态表示的模型，采用多头注意力机制对两种语言的文本语义和视觉对象进行细粒度对齐，从而学习到更好的视觉 - 语义嵌入空间，并在多个任务上展现了比其他方法更显著的性能提升。
Sep, 2019
该论文提出了一种元学习方法，可以在有限资源的情况下进行文档分类，并在少量标记数据的情况下取得了较好的效果，涉及跨语言、多语言的情况。作者还对多个元学习方法进行了比较和调整，提出了一种简单且有效的调整方式，并在多语言上取得了新的最佳表现。
Jan, 2021
提出了一种多路多语言的神经机器翻译方法，通过共享单个的注意力机制，仅线性地增加神经网络的参数数量即可实现多语言翻译，并成功地提高了低资源语言对的翻译质量。
Jan, 2016
本文提出了一种多语言编码器 - 解码器架构，其中包括一个中间的共享‘注意桥接层’，能够获取多语言句子代表。我们通过以一种我们称之为‘注意力桥’的共享层连接带有语言特定编码器和解码器的模型来训练，并展示了一种新的框架来高效实现多语言 NMT。在多重平行数据集中系统地测试了该方法，结果表明该模型能显著提高强度双语模型的性能，并且也可以用于零 - shot 翻译，展示了其抽象和转移学习的能力。
Nov, 2018
该研究提出了一种多任务学习的方法，将来自各种不同数据集的任务共享视觉语言表示。结果表明该方法在图像字幕检索、视觉问答和视觉定位方面比先前的单任务学习方法表现更好，同时通过可视化注意力图分析了学习到的分层表示。
Dec, 2018