Nov, 2023

稀疏 Spikformer：脉冲变换器的令牌和权重剪枝的协同设计框架

PDF
TL;DRSparseSpikformer 是一种通过令牌和权重修剪技术实现稀疏性的共设计框架，可以显著减少模型参数 90％并减少 20％的 GFLOPs，同时保持原始模型的准确性。
发现论文，激发创造
  • Spikingformer：基于脉冲的剩余学习用于基于 Transformer 的脉冲神经网络

    本研究提出了一种硬件友好的、基于残差设计的、全新的、纯变压器型脉冲神经网络 ——Spikingformer，它能够避免非脉冲计算并使能耗降低 60.34％。Spikingformer 在图像分类任务的表现优于之前的纯 SNN，并且是首次开发出全脉冲驱动的变压器型 SNN。

    Apr, 2023

  • Spikeformer：一种用于训练高性能低延迟脉冲神经网络的新型结构

    提出了一种基于 Transformer 的 Spikeformer 方法，它在静态数据集和神经形态数据集上均优于其人工神经网络对应物。为了更好地将注意力机制整合到 Transformer 中，并融合内在于 SNN 的时空信息，采用时空注意力机制。

    Nov, 2022

  • Spikformer V2：使用 SNN 特征进行 ImageNet 高精度计算

    通过结合自注意能力和生物特性，本论文提出了一种新颖的脉冲自注意 (SSA) 和脉冲变换器 (Spikformer)，其中 SSA 机制消除了 softmax 的需求，利用基于脉冲的查询、键和值实现了稀疏视觉特征的捕获，而 SCS 则用于增强 Spikformer 的架构。通过自监督学习 (SLS) 实现对更大、更深的 Spikformer V2 的训练，实验证明此方法在 ImageNet 上的分类准确性超过了其他方法，且 SNN 首次在 ImageNet 上达到超过 80% 的准确性。

    Jan, 2024

  • 无注意力 Spikformer: 将脉冲序列与简单线性转换混合

    通过将自注意力能力和脉冲神经网络（SNNs）的生物特性相结合，Spikformer 将蓬勃发展的 Transformer 架构应用于 SNN 设计。它引入了脉冲自注意力（SSA）模块，使用脉冲形式的查询、键和值来混合稀疏视觉特征，与之前的类 SNN 框架相比，在许多数据集上呈现出最先进的性能。该论文证明了 Spikformer 架构可以通过将 SSA 替换为非参数化的线性变换（LT），如傅里叶和小波变换，来加速。这些变换被用于混合脉冲序列，将二次时间复杂度降低为对数线性时间复杂度。它们在频率和时间域之间交替提取稀疏视觉特征，展示了强大的性能和效率。我们在使用神经形态学和静态数据集进行图像分类方面进行了广泛的实验。结果表明，与具有 SSA 的最先进的 Spikformer 相比，具有 LT 的 Spikformer 在神经形态学数据集上实现了更高的 Top-1 准确率，并且在静态数据集上实现了可比较的 Top-1 准确率。此外，与需要可学习参数的 SSA 相比，具有 LT 的 Spikformer 实现了约 29％至 51％的训练速度提升，61％至 70％的推断速度提升，并且减少了 4％至 26％的内存使用量。

    Aug, 2023

  • SpikeGraphormer：具有脉冲图注意力的高性能图 Transformer

    我们提出了将 SNNs 与 Graph Transformers 相结合的新颖观点，并设计了一个 Spiking Graph Attention (SGA) 模块，通过稀疏加法和掩码操作取代矩阵乘法。我们的 Spiking Graph Attention 模块在大规模图上实现了全对节点交互，并且能够同时捕捉本地邻居。SpikeGraphormer 比现有的方法在各种数据集上表现出色，在训练时间、推断时间和 GPU 内存成本等方面都有显著改进（比普通的 self-attention 低 10-20 倍）。它在跨领域应用（图像和文本分类）中也表现良好。

    Mar, 2024

  • 动态空间稀疏化：用于高效视觉 Transformer 和卷积神经网络的优化

    本文提出了一种通过利用视觉数据中的空间稀疏性进行模型加速的新方法，该方法基于所提出的动态令牌稀疏化框架，并通过自适应和不对称计算等方式推广到各种体系结构中，通过对不重要的特征使用轻量级快速路径和对更重要位置使用更具表现力的慢速路径，可以显著减少总体计算量，实验结果表明动态空间稀疏化为模型加速提供了新的更有效的解决方案。

    Jul, 2022

  • 成功将稳定化彩票假设应用于 Transformer 结构

    研究表明，通过稀疏模型、神经网络和剪枝技术等手段，可以在交互式设备和时间关键型计算中快速实现预测，找到了一种新的剪枝技术，该技术不仅优于其他技术，而且对于高密度稀疏性水平的情况具有很大的优势。

    May, 2020

  • 脉冲驱动 Transformer V2：元脉冲神经网络架构启发下一代神经形态芯片的设计

    通过提出一种名为 "Meta-SpikeFormer" 的通用 Transformer 架构，本论文实现了对 CNN-based SNNs 具有压倒性性能优势的低功耗、多功能、高性能、面向未来下一代神经形态芯片设计的 Meta 架构，并应用于分类、检测和分割任务中，取得了 SNN 领域的最佳结果。

    Feb, 2024

  • 用于高效视觉分类的 Spikformer 中傅立叶或小波基作为对应的自注意力

    使用峰值傅立叶变换、小波变换及其组合替代传统的自注意力机制，提出了基于峰值或小波的 spikformer（FWformer），在视觉分类任务中验证并表明其能够达到可比甚至更高的准确性（0.4%-1.5%），更快的运行速度（训练速度提高 9%-51%，推理速度提高 19%-70%），降低的理论能耗（降低 20%-25%），以及降低的 GPU 内存使用（降低 4%-26%），相比于标准的 spikformer。结果显示，基于生物发现（峰值形式）或信息理论（傅立叶或小波变换）的新 Transformer 的持续改进是值得期待的。

    Mar, 2024

  • 分解彩票网络变形器：稀疏神经机器翻译的结构和行为研究

    利用稀疏 Transformer 进行神经机器翻译可以保证 BLEU 分数，但通过剪枝会影响模型的学习表征，随着剪枝过程中低振幅权重的削减，语义信息的复杂性首先降低，同时在保持注意力机制的一致性的情况下，稀疏模型的早期层开始了更多的编码。

    Sep, 2020