本研究旨在通过将谱层和多头注意力层结合起来提出 Spectformer 架构，该架构的表现优于其他转换器表示形式，特别是在图像识别任务中。

Apr, 2023

本文旨在将可训练的核方法的思想扩展到逼近 Transformer 架构的自注意机制，以实现更快的计算和更高的准确率。

Nov, 2022

通过将自注意力能力和脉冲神经网络（SNNs）的生物特性相结合，Spikformer 将蓬勃发展的 Transformer 架构应用于 SNN 设计。它引入了脉冲自注意力（SSA）模块，使用脉冲形式的查询、键和值来混合稀疏视觉特征，与之前的类 SNN 框架相比，在许多数据集上呈现出最先进的性能。该论文证明了 Spikformer 架构可以通过将 SSA 替换为非参数化的线性变换（LT），如傅里叶和小波变换，来加速。这些变换被用于混合脉冲序列，将二次时间复杂度降低为对数线性时间复杂度。它们在频率和时间域之间交替提取稀疏视觉特征，展示了强大的性能和效率。我们在使用神经形态学和静态数据集进行图像分类方面进行了广泛的实验。结果表明，与具有 SSA 的最先进的 Spikformer 相比，具有 LT 的 Spikformer 在神经形态学数据集上实现了更高的 Top-1 准确率，并且在静态数据集上实现了可比较的 Top-1 准确率。此外，与需要可学习参数的 SSA 相比，具有 LT 的 Spikformer 实现了约 29％至 51％的训练速度提升，61％至 70％的推断速度提升，并且减少了 4％至 26％的内存使用量。

Aug, 2023

在语音增强领域，我们提出了一种称为频谱注意力融合的方法，通过使用卷积模块替换自注意力层，提高了模型的计算效率，从而实现了与先进模型相媲美的结果，但参数规模更小（0.58M）的目标。

Aug, 2023

SparseSpikformer 是一种通过令牌和权重修剪技术实现稀疏性的共设计框架，可以显著减少模型参数 90％并减少 20％的 GFLOPs，同时保持原始模型的准确性。

Nov, 2023

提出了一种名为 Combiner 的替代 transformers 中的 attention layers 的方法，其通过利用结构化分解的条件分布来近似自我关注机制，实现了每个关注头的完全关注能力，同时保持低计算和内存复杂性。在自回归和双向序列任务上的实验评估表明，该方法有效性高，可以产生多个图像和文本建模任务的最新技术结果。

Jul, 2021

我们提出了一种新颖的线性关注模块，通过引入简单但有效的映射函数和高效的排名恢复模块，提高了自注意力的表达能力，同时保持了低计算复杂度。大量实验证明，我们的线性关注模块适用于各种先进的视觉 Transformer，并在多个基准测试中实现了持续改进的性能。

Aug, 2023

本文介绍了一种称为 Sparse Transformers 的神经网络架构，该架构通过稀疏的注意力矩阵因式分解和其他一些技术，可以更有效地处理长序列等任务，并在 Enwik8，CIFAR-10，和 ImageNet-64 等基准数据集上创造出新的最优表现。

Apr, 2019

提出了一种名为 RFA 的注意力机制，它能够有效地处理长序列，同时在语言模型和机器翻译任务方面表现出与常规 transformer 模型相似或更好的性能，并且在机器翻译实验中，RFA 的解码速度是普通 transformer 的两倍。

Mar, 2021

注意力层是 Transformer 架构的核心组成部分，本研究对单个多头注意力层的学习和泛化进行了严格的理论研究，探讨了随机特征设置下注意力层对目标函数的表达能力、学习复杂度以及采样分布的影响等方面，实验证明了理论结果并展示了样本大小与目标函数复杂度之间的相互作用。

Jul, 2023