通过使用基于卷积神经网络而非 encoder-decoder 结构的方法，每一层在输出序列上重新编码源标记，我们的模型在参数更少的情况下表现出色，优于现有的机器翻译系统。
Aug, 2018
提出了使用基于注意力机制的人工神经网络（RNNs）来实现序列建模任务的机制，它允许 RNNs 关注需要的输入的关键部分。通过使用一个多层的有条件序列编码器，读取一个令牌并对其进行离散的决策，来控制信息流入以上层。此方法在几种任务类型上进行评估，包括各种属性的合成任务以及大规模的问答任务，并且相对于已有的基准模型，都得到了一致的性能改进。
Jun, 2018
本文介绍了使用深度神经网络中的递归神经网络和卷积神经网络等措施来实现注意力机制，以解决多元随机变量富含联合分布的结构化输出问题。通过典型任务如机器翻译、图像字幕生成、视频片段描述和语音识别实验，系统展示了很好的性能。
Jul, 2015
本文提出一种基于序列到序列模型的视觉任务结构化输出预测方法，该模型使用神经网络，其中每个输出变量依赖于之前预测的输出变量，模型应用于空间定位任务，使用卷积神经网络处理输入图像，并在每个时间步使用多尺度反卷积架构进行空间预测，我们探究了权重共享和权重不共享的效果，并展示了链式预测在单人姿势估计和视频姿势估计方面取得的最佳效果。
May, 2016
使用自注意力机制来扩展以往基于循环神经网络的图输入的方法，以处理上游系统中自然语言处理任务的歧义度，进而有效地提高语音翻译任务的性能。
Jun, 2019
本篇论文提出了一种用相对位置编码的 Toeplitz 矩阵来建模序列的方法，能够更高效地处理长序列，同时还能够在大多数下游任务中获得优异的性能，并且具有较强的序列长度外推能力。
May, 2023
利用卷积神经网络架构完全替代了循环神经网络的流行序列到序列学习方法，运用门控线性单元简化了梯度传播，为每个解码器层装备了单独的注意力模块，在 GPU 和 CPU 上取得了比 Wu 等人（2016）更高的准确性和十倍以上的速度。
May, 2017
研究使用基于树结构的神经网络模型作为编码器建立语音翻译模型，使用词汇图来代替输入，可以提高翻译准确性。
Apr, 2017
本文研究探讨了应用于对话行为检测和关键词提取的神经注意力模型在序列分类任务中的应用和作用，并通过实验结果和可视化分析验证了该模型在去除噪音和提取关键信息方面的表现。
Mar, 2016
本文探讨使用循环神经网络中 attention 机制解决序列到序列问题的方法，并介绍相关的应用于计算机视觉中的算法并验证其优越性，同时也提出了未来的研究方向。
Jan, 2016