本文提出了一种简化的自我注意力（SSAN）层，用于 Transformer 模型的端到端语音识别任务中，以降低模型复杂度和维护良好性能，并在公共 AISHELL-1、内部 1000 小时和 20000 小时大规模普通话任务上评估了 SSAN 基于 Transformer 模型与传统基于自我注意力的模型。结果表明，我们的提出的 SSAN-based transformer 模型在模型参数上可以实现超过 20% 相对减少，在 AISHELL-1 任务上实现了 6.7% 相对语音识别误差率的降低，而且在 20000 小时的大规模任务中，模型失去识别性能。

May, 2020

本篇论文介绍了一种新颖的卷积自注意力网络，通过引入多头注意力机制，加强了邻近元素之间的依赖关系，并能够对各个注意力头提取的特征之间的交互进行建模，用于机器翻译任务中能有效提高自注意力网络的本地性，实验证明该方法优于常用的 Transformer 模型和其他已有的模型，并且没有更多的额外参数。

Apr, 2019

本文介绍了改进的前馈顺序记忆网络 DFSMN 结构，通过在相邻层的记忆块之间引入跳过连接以启用跨不同层的信息流，并消除了建立非常深层结构时的梯度消失问题。在多个大型语音识别任务中，DFSMN 的性能优于 BLSTM，尤其是使用 CD-Phone 作为建模单元和较低帧率（LFR）进行训练时，DFSMN 的改进更为显著。此外，DFSMN 的记忆块的前瞻滤波器可以轻松地设计，以控制实时应用的延迟。

Mar, 2018

该研究提出了一种新的模型，该模型仅由注意力层组成。在具体实现中，加入了持续性存储向量来代替前馈层，这样我们可以去除前馈层但不会降低 transformer 的性能。研究显示，该模型在标准字符和词级语言建模基准上表现出良好的效果。

Jul, 2019

提出了一种新颖的方向性多维度自注意力机制 DiSAN，用于句子编码，相对于复杂的 RNN 模型，它在预测质量和时间效率方面表现更好，并在多个数据集上得到了最优的测试准确性表现。

Sep, 2017

本文探讨了使用自注意网络 (Self-Attention Networks) 进行情感分析的有效性，发现相较于循环神经网络 (RNNs) 和卷积神经网络 (CNNs)，使用自注意网络在分类准确率、训练速度和内存消耗方面表现优越，并研究了多头注意力和序列位置信息等方面的改进效果。

Dec, 2018

该论文提出了一种具有多空间注意力机制的动态切换 - 注意力网络（DSAN），用于解决城市智能数据挖掘系统中的长期预测问题。通过在输入和输出之间显式测量关联性并应用自我注意来提取有价值的信息，并通过实现切换 - 注意力机制将输出直接连接到精制的输入来过滤无关噪声和减轻错误传播。在两个空间 - 时间预测任务上进行了广泛的实验，证明了 DSAN 在短期和长期预测中的卓越优势。

Jun, 2020

本文旨在探索利用基于注意力机制的神经网络对特征进行重要性排序以用于模型解释的方法，通过对十个数据集进行规模无关的特征重要性估计算法比较的研究，展示了利用自注意力网络（SAN）对特征进行排序与其他方法在高级别特征识别上的相似性，以及在某些情况下，SAN 对特征交互性的识别比现有基线方法更具优势。

Feb, 2020

本研究采用 Transformer 结构，构建端到端的序列到序列模型，其表现超过了之前的端到端模型和传统混合系统，并且在 Switchboard 基准测试中超出了所有之前的端到端 ASR 方法。

Apr, 2019

提出三个 Self-Attention 网络的变体来提取高层语义，其中将 Temporal Segment Network 应用于变体以获得更好的性能，通过广泛的实验评估，探索了不同配置和表现更好的方法。

Dec, 2019