本研究提出了一种新的方法来理解自我注意网络：我们展示了它们的输出可以分解为若干关注头跨层序列的操作所涉及的小项相加，通过这种分解，我们证明了自我注意具有强烈的归纳偏差，具体表现为“令牌均匀性”；实验证明，不同变体的标准转换器体系结构存在收敛现象。

Mar, 2021

本研究提出了一种新的超分辨率模型——A^2N模型，该模型中引入了注意力机制，并通过动态调整注意力机制使模型达到更高的性能。实验表明，该模型表现出优异的性能。

Apr, 2021

提出了一种名为Combiner的替代transformers中的attention layers的方法，其通过利用结构化分解的条件分布来近似自我关注机制，实现了每个关注头的完全关注能力，同时保持低计算和内存复杂性。在自回归和双向序列任务上的实验评估表明，该方法有效性高，可以产生多个图像和文本建模任务的最新技术结果。

Jul, 2021

本文介绍了一种名为Adaptive Multi-Resolution Attention（AdaMRA）的新型高效Transformer结构，利用多分辨率多头自注意机制，采用核注意力且时间空间都线性地缩放，进一步提高了模型的处理能力。在多个基准测试中取得了最新的性能和效率。

Aug, 2021

研究报告探讨了如何提高Transformer结构在处理长序列任务时的效率问题，提出了一种称为带有有限存储控制的注意力机制的抽象方法，并实现了学习性的上下文记忆优化，实验证明其可显著提高长序列任务的处理效率。

Oct, 2021

我们扩展了FlashAttention以容纳一大类稀疏性注意力模式，其中包括关键/查询删除和基于哈希的注意力。即使具有相对较低的稀疏度，我们的方法在序列长度增加时可见地改进FlashAttention的性能。不牺牲困惑度的情况下，我们将transformer语言模型的训练速度分别提高了2.0倍和3.3倍，对于长度为8k和16k的序列。

Jun, 2023

通过分析自我注意力机制和层标准化对秩崩溃的影响，本文发现层标准化在自我注意力的秩崩溃中起到了关键作用，为自我注意力提供了更富表现力、多功能的非线性动力系统。

May, 2024

通过引入可学习的注意力掩码（LAM）来全局调控注意力图并优先选择序列中的关键标记，该方法在BERT-like transformer网络中充分捕捉了标记之间的关联，通过对多层版本的LAM的扩展适应了Transformer网络各层的不同信息，实验证明该方法在不同数据集上有效地提升模型性能并减少冗余计算，从而对复杂情景理解方面，如电影理解等，取得了显著的进展。

Jun, 2024

通过使用可学习的带通滤波器创建多样化的注意模式以及引入大规模且有计划的 drop path 率和全局池化特征的辅助损失来解决现有 1D 因果视觉模型中的“过度聚焦”问题，从而提高模型对多模态任务的性能。

Jun, 2024

自注意力机制是transformers在序列建模任务中取得卓越成功的关键，本研究提出了一种基于支持向量回归问题的自注意力构建方法，推导出常用的注意力层，并提出了两种新型注意力机制：1)批正则注意力，2)缩放头注意力，通过实证研究证明这两种注意力机制在提高模型准确性和效率方面的优势。

Jun, 2024