我们介绍了一种利用循环神经网络语法编码器和新颖的注意力递归神经网络解码器的模型，利用策略梯度强化学习来在源语言和目标语言上诱导无监督树结构，从而训练出在字符级数据集中相当不错的分割和浅层解析表现，接近注意力基准。

Sep, 2017

该论文探究了自然语言生成 SQL 查询的问题，并使用综合方法设计了三个深度神经网络，应用双向注意机制和卷积神经网络的字符级嵌入来提高结果，最终在 WikiSQL 数据集上达到了最先进的结果。

Dec, 2017

本研究通过分析语言模型在句子级别的注意力模式，发现神经退化可能与注意机制对任务特征的学习不足有关。因此，提出了一种称为‘实时注意力调节’的方法，该方法在推理过程中向注意力计算注入学习先验知识，有效地改善了语言模型生成的文本的流畅性、创造性和常识推理能力，并显著减少了句子级别的重复。

Jan, 2021

本研究提出了一种基于注意力增强的编码器 - 解码器模型的通用方法，旨在消除传统方法所需的高质量词汇表、手工构建的模板和语言特征等问题，并可在不同领域和意义表示之间进行易于调整的转化，实验结果表明，该方法在不使用手工特征的情况下表现出了较强的竞争力。

Jan, 2016

本文探讨了在自然语言推理的背景下，将注意力机制应用到句法树这种更加丰富的拓扑结构上，不仅可以利用底层的句法信息，还可以使注意力更具可解释性。结果表明，该方法非常有效，并进行了广泛的质量分析，提取出了为什么以及如何工作的见解和直觉。

Jul, 2016

通过使用一个循环网络来明确地建模词语先前和随后的注意力水平之间的关系，我们改进了 Bahdanau 等人（2014）的注意力模型，并且我们的参数化注意力模型的实验表明其可以提高翻译质量。

Jul, 2016

训练多任务自动编码器进行语言任务，分析学习到的句子隐藏表示。加入翻译和词性解码器时，表示将显着改变。使用的解码器越多，模型根据句法相似性对句子进行聚类的效果越好。通过插值句子来探索表示空间的结构，得出很多有可识别句法结构的伪英语句子。最后，我们指出了模型的一个有意思的特性：两个句子之间的差分向量可以添加到第三个具有类似特征的句子中，以有意义的方式改变它。

Jan, 2018

本文提出了一种基于神经网络的方法，模拟了关注和意图过程，并通过三个循环网络实现。该模型在无标注数据的情况下进行端到端训练并能生成自然的响应。

Oct, 2015

本文提出了一种基于深度神经网络的树形神经网络，通过注意力机制，将源树翻译成目标树，并在实际项目中验证了该方法的有效性。

Feb, 2018

本文提出了一种基于神经注意力模型的新方法，利用分段单元和隐变量技术来解决现有的信息缺失，重复和 “幻觉” 问题，减少计算成本，成功地在数据到文本生成任务中实现更好的性能。

May, 2020