Mar, 2018
自注意力声学模型
Self-Attentional Acoustic Models
Matthias Sperber, Jan Niehues, Graham Neubig, Sebastian Stüker, Alex Waibel
TL;DR本篇论文探讨如何应用自注意力机制解决计算复杂度、模型稳定性和位置信息等问题，相比于 LSTM 模型，该模型不仅运算时间更快，而且更具可解释性。
Abstract
self-attention is a method of encoding sequences of vectors by relating these
vectors to each-other based on pairwise similarities. These models have
recently shown promising results for modeling discrete sequences, but they are
non-trivial to apply to →
发现论文，激发创造
基于自注意力和增强记忆的流式 Transformer 声学模型
本文提出了一种新颖的增强记忆自注意力机制，用于 Transformer 语音识别中的流式应用，相对于现有的可流式 Transformer 方法，减小了计算量并在 Librispeech 基准测试中实现了超过 15% 的相对误差降低。
May, 2020
自注意力在基于 Transformer 的自动语音识别中的应用价值
本研究研究了 Transformers 中自注意力机制在音频识别中的应用，发现在训练较高的编码层时，全局视图不是必须的。
Nov, 2020
自注意力网络的本地性建模
本篇研究提出了一种基于学习性高斯偏置的自注意力网络的局部特征建模方法，能够从更细致的角度获取有用的局部上下文信息，通过实验验证证明该方法能够有效地应用于翻译任务中。
Oct, 2018
注意力增强卷积网络
本文针对使用卷积操作在视觉任务中只关注局部局部信息、缺乏全局信息的不足，提出运用自注意力机制对视觉任务进行处理的方法；通过在图像分类和目标检测任务中实现卷积和自注意力的融合，可有效提高模型精度。
Apr, 2019
图像分类的明确建模注意力图
本文介绍了一种新的自我注意力模块，使用一种明确建模的注意力映射，利用几何先验来提高图像分类的准确性，实验证明该方法在 ImageNet ILSVRC 中的准确性提升了 2.2%，在参数和计算量分别减少 6.4% 和 6.7% 的情况下，相对于 AA-ResNet152 准确率提高了 0.9%。
Jun, 2020
一种结构化的自注意句子嵌入
本文提出了一种基于自注意力机制的句子嵌入模型，通过使用二维矩阵表示嵌入，并让每行矩阵分别关注句子中不同的部分，提高了可解释性。并在作者分析、情感分类和文本蕴含等三个任务中进行了模型评估，在所有任务中与其它句子嵌入方法相比表现出了显著的性能提升。
Mar, 2017