该研究提出了一种基于注意力机制的序列到序列模型用于手写体识别，其中结合了卷积神经网络进行视觉信息的提取，实验结果表明其相比于最近的序列到序列方法取得了显著提升。
Mar, 2019
提出了使用基于注意力机制的人工神经网络（RNNs）来实现序列建模任务的机制，它允许 RNNs 关注需要的输入的关键部分。通过使用一个多层的有条件序列编码器，读取一个令牌并对其进行离散的决策，来控制信息流入以上层。此方法在几种任务类型上进行评估，包括各种属性的合成任务以及大规模的问答任务，并且相对于已有的基准模型，都得到了一致的性能改进。
Jun, 2018
本文针对合成的任务型对话数据，研究了编码器 - 解码器模型在处理话语中的犹豫和自我修正等不连贯现象时的表现，并发现这些现象对于带有注意力机制的序列到序列模型的任务成功几乎没有影响，同时分析发现模型在处理这些现象时的表示中没有意识到其结构，但是加入这些现象的数据可以帮助模型更清晰的建立表示。
Aug, 2018
介绍了一种迭代递归注意力模型，通过重用以前计算的查询结果来构建输入数据的递增表示，以便在情感分类数据集上训练，并演示其在易于解释的方式下识别和组合输入的不同方面的能力，同时获得接近最先进性能。
通过比较基于循环神经网络和 Transformer 架构的语言模型在人类语言处理方面的能力，本文揭示了 Transformer 在解释自定步调阅读时间和阅读过程中神经活动方面优于 RNN，并挑战了人类句子处理涉及循环和即时处理的普遍理念，并提供了线索检索的证据
May, 2020
本文探讨使用循环神经网络中 attention 机制解决序列到序列问题的方法，并介绍相关的应用于计算机视觉中的算法并验证其优越性，同时也提出了未来的研究方向。
Jan, 2016
该研究使用注意力编码 - 解码循环神经网络模型抽象化文本摘要，并在两个不同的语料库上展示其实现最先进的性能。同时，该研究还提出了几种解决文摘中的关键问题的新模型，比如建模关键词、捕捉句子到单词结构的层次以及提取训练时很少出现的单词等。此外，研究还建立了一个多句子的文摘数据集，以便后续的新研究能建立性能基准。
Feb, 2016
研究了在交互系统中，使用增量接口对双向编码器进行逐步处理的可能性，结果支持可以保留大部分双向编码器非增量质量。
Oct, 2020
我们提出一种递归编码器 - 解码器深度神经网络架构，直接将一种语言中的语音转换为另一种语言中的文本，通过多任务训练序列到序列的语音翻译和识别模型通过共享编码器网络来提高性能。
Mar, 2017
本论文提出了一种有键 - 值注意机制的神经语言模型，能够输出不同的 key 和 value 表示，同时对下一个单词的分布进行编码，比现有的基于记忆的、神经语言模型表现更好，但发现该方法主要利用最近五个输出表示的记忆。
Feb, 2017