基于动态分配时间步数的训练框架，提出了一种对视觉变换器进行训练的方法，以提高能量效率并在图像识别任务中获得 95.97% 的测试准确率。

Nov, 2023

本文提出了一种基于 Spike-driven Transformer 的神经网络，其具有事件驱动、自注意力、二进制尖峰通讯等特点，从而实现了能效更高的深度学习，并在 ImageNet-1K 数据集上取得了 77.1% 的 top-1 准确率。

Jul, 2023

本文介绍了使用滑动窗口注意力机制代替自注意力机制，以便进行在线处理，同时在使用 Leaky-Integrate and Fire 单位时提高了网络的稀疏性，从而更准确快速地处理表皮肌电信号，为瞬态信号处理提供了一种快速准确的方法。

Mar, 2023

本研究提出了一种易于实现和优化的可伸缩的随机注意力版本，其特点是通过归一化可重参数化分布来构造单纯限制的注意力分布，并在基于数据的先验框架中学习其参数进行正则化，将该方法应用于各种注意力模型中，并在图形节点分类、视觉问答、图像字幕生成、机器翻译、语言理解等领域获得了一致的改进。

Oct, 2020

本文设计了一种基于 SC 的 DCNN，并优化了其各个方面，包括内积、池化、激活函数、特征提取块、权重存储方法等，以实现高效、可扩展和节能的硬件优化。

Nov, 2016

本文提出了一个将注意机制与脉冲神经网络 (SNN) 相结合的新方法，以改进图表示学习的能力。该方法能够在学习过程中选择性地关注图中重要的节点和相应的特征，并在多个基准数据集上进行评估，结果显示其性能与现有的图学习技术相当。

Mar, 2024

本论文提出了一种基于注意力机制的高效脉冲神经网络技术 —— 时间 - 通道联合注意 (TCJA) 架构单元，通过在空间和时间维度上有效地执行脉冲序列的相关性来实现更为数据有效的深度学习，运用压缩脉冲流，本地注意机制，1-D 卷积，交叉卷积融合等技术可以灵活地提取特征，同时，该方法在所有测试的静态和神经形态学数据集上的分类准确性 (SOTA) 最高可达 15.7%。

Jun, 2022

通过将 SNN 和注意力机制相结合，我们提出了一种非迭代 SNN 与注意力（NiSNN-A）模型，旨在改善 EEG 分类的精度并减少能量消耗。实验结果表明，我们的模型在准确性方面超过其他 SNN 模型，并且相比于 CNN 模型，我们的模型提高了能源效率（增加了 2.27 倍），同时保持可比较的准确性。

Dec, 2023

通过结合自注意能力和生物特性，本论文提出了一种新颖的脉冲自注意 (SSA) 和脉冲变换器 (Spikformer)，其中 SSA 机制消除了 softmax 的需求，利用基于脉冲的查询、键和值实现了稀疏视觉特征的捕获，而 SCS 则用于增强 Spikformer 的架构。通过自监督学习 (SLS) 实现对更大、更深的 Spikformer V2 的训练，实验证明此方法在 ImageNet 上的分类准确性超过了其他方法，且 SNN 首次在 ImageNet 上达到超过 80% 的准确性。

Jan, 2024

提出了一种基于 FPGA 的加速器设计，SWAT，通过最大程度地利用稀疏性实现可扩展的性能，相比基准 FPGA 加速器，在延迟和能效方面改进了 22 倍和 5.7 倍，并且比基于 GPU 的解决方案提高了 15 倍的能效。

May, 2024