本文研究探讨了应用于对话行为检测和关键词提取的神经注意力模型在序列分类任务中的应用和作用，并通过实验结果和可视化分析验证了该模型在去除噪音和提取关键信息方面的表现。
Mar, 2016
本论文研究了注意力机制在神经机器翻译中生成对齐的问题，并从重新排序方面分析和解释了这个问题。提出了一种受传统对齐模型指导学习的监督注意力机制，实验表明，这种机制比标准注意力机制产生更好的对齐效果，并且在中英文翻译任务中均有显著提高。
Sep, 2016
本文提出了一种前向注意力机制的序列到序列的语音合成声学建模方法，该方法基于从电话序列到声学序列的单调对齐的自然属性，并使用前向算法递归地计算每个时间步长的修改后的注意力概率。实验结果表明，前向注意力方法具有更快的收敛速度和更高的稳定性。此外，过渡代理可以有效地提高合成语音的自然性，并控制合成语音的速度。
Jul, 2018
研究发现，将不同权重分配给句子中的单词能够有效提高句子的表达能力，该论文提出了两种基于 Surprisal、POS tags 和 CCG supertags 的注意力机制模型用于改进句子表示，实验证明这种方法显著优于现有模型。
该论文提出了一种基于序列到序列的文档摘要模型中的注意力机制改进方法，结合局部方差损失和全局方差损失分别从局部和全局方面增强注意力的监督，并在 CNN/Daily Mail 数据集上验证了其有效性。
Oct, 2019
研究提出一种可用于在线设置中，使得注意力机制在线性时间内计算的可微分方法，- 该方法通过学习单调对齐来解决软注意机制在线性时间复杂度下难以实现的问题，并在句子摘要、机器翻译和在线语音识别领域实现了有竞争力的结果。
Apr, 2017
通过多个 NLP 任务的广泛实验，发现学习的注意力权重往往与基于梯度的特征重要性测量之间存在不相关性，表明标准的注意力模块并不能提供有意义的解释并且不应该被视为能够提供这种解释。
Feb, 2019
该研究研究如何将规划机制集成到序列到序列模型中，使用注意机制计算输入和输出序列之间的对齐来构建未来计划矩阵和承诺向量，提出的方法基于强化学习中的 STRAW 模型，该模型可以使用可微分运算进行端到端训练，且在字符级翻译、寻找 Eulerian 环路的算法任务和从文本生成问题等任务上的性能比强基线模型更好。
Nov, 2017
本研究提出了两种结合多源序列的注意力机制的方法，并在 WMT16 的多模态翻译和自动后编辑任务中进行了系统评估。结果表明，所提出的方法在两个任务上都取得了有竞争力的结果。
测试加权输入组件的注意机制对于模型预测的影响，发现虽然注意机制可以预测输入组件的相对重要性，但并非绝对准确的指标。
Jun, 2019