本文提出了一种将对话级别的语篇信息融入语言模型中的上下文语言模型，该模型在 Switchboard Dialog Act Corpus 上表现出比传统单轮 RNN 语言模型更好的性能。
Jan, 2017
本研究提出了一种基于注意力机制的双向长短时记忆网络模型，将论述关系的参数组合作为一个联合序列来模拟可以胜过不考虑词序的方法。我们的模型采用了部分采样方案，概念上简单，但是在中文语境的论语树库中取得了最先进的性能，我们还通过可视化其注意力机制的活动状态，说明了该模型在选择性关注输入序列相关部分方面的能力。
Apr, 2017
通过使用一个循环网络来明确地建模词语先前和随后的注意力水平之间的关系，我们改进了 Bahdanau 等人（2014）的注意力模型，并且我们的参数化注意力模型的实验表明其可以提高翻译质量。
Jul, 2016
本文研究探讨了应用于对话行为检测和关键词提取的神经注意力模型在序列分类任务中的应用和作用，并通过实验结果和可视化分析验证了该模型在去除噪音和提取关键信息方面的表现。
Mar, 2016
本文介绍了三种增强现有编码器 - 解码器模型的方法，以有效地模拟连贯性并促进输出多样性，它们在 OpenSubtitles 语料库上的实验表明，与竞争神经模型相比，在 BLEU 分数以及连贯性和多样性度量方面均有极大改善。
Sep, 2018
本文提出了一种基于神经网络的方法，模拟了关注和意图过程，并通过三个循环网络实现。该模型在无标注数据的情况下进行端到端训练并能生成自然的响应。
Oct, 2015
该文研究应用序列到序列模型解决对话响应生成问题的方法，使用基于注意力机制的解码器保证响应内容连贯性，并提出了一种名为‘glimpse-model’的实用方法以适应大型数据集，并使用随机 beam 搜索算法注入多样性来增加生成可接受响应的比例和整体响应长度。
本研究提出了一种基于改进的注意力机制加上位置感知的模型，解决了长输入音频识别中的问题并且有效降低了音素错误率。
Jun, 2015
提出了使用基于注意力机制的人工神经网络（RNNs）来实现序列建模任务的机制，它允许 RNNs 关注需要的输入的关键部分。通过使用一个多层的有条件序列编码器，读取一个令牌并对其进行离散的决策，来控制信息流入以上层。此方法在几种任务类型上进行评估，包括各种属性的合成任务以及大规模的问答任务，并且相对于已有的基准模型，都得到了一致的性能改进。
Jun, 2018
该研究研究了一种更直接的方法，即使用循环神经网络来替换隐马尔可夫模型，从而在字符级别直接执行序列预测，通过内置的注意力机制自动学习输入特征与期望字符序列之间的对齐。
Aug, 2015