Oct, 2021

使用精心设计的输入噪声训练深度脉冲神经网络，发挥其固有鲁棒性的潜力（HIRE-SNN）

PDF
TL;DR本文研究低延迟深度脉冲神经网络克服对抗攻击的训练算法，通过在输入层引入精心设计的噪声，已有的模型仅需进行微调即可达到防御攻击的效果，同时在分类性能、时延和计算能耗方面表现出色。
low-latency deep spiking neural networksadversarial attackssnn training algorithmclassification accuracyenergy efficiency
发现论文，激发创造
  • 脉冲神经网络对抗鲁棒性的综合分析

    通过对比常规 VGG-9 人工神经网络和等效的 Spiking Neural Network 之间在白盒和黑盒情况下对不同类型单步和多步 FGSM（快速梯度符号法）攻击的准确度降低，证明 SNN 对黑盒攻击更具有韧性。 此外，研究发现 SNN 的鲁棒性很大程度上取决于相应的训练机制。 最后，提出了一个简单而有效的框架，用于从 SNN 中制造对抗性攻击。

    May, 2019

  • 通过转化实现对抗性鲁棒性的尖峰神经网络

    我们提出了一种通过 ANN-to-SNN 转换算法实现对深度 SNN 的鲁棒性训练的方法，该方法在后转换的鲁棒微调阶段，通过对 SNN 的层内发射阈值和突触连接权重进行敌对优化，以保持从预训练 ANN 传递的鲁棒性增益，实现了扩展性的鲁棒 SNN 训练方法。在考虑 SNN 的脉冲操作动力学的多个自适应敌对设置的实验评估中，我们的方法展示了一种具有低延迟的可扩展高鲁棒性深度 SNN 的最新解决方案。

    Nov, 2023

  • 深度脉冲神经网络的固有对抗鲁棒性：离散输入编码和非线性激活的影响

    本文介绍了潜在的对抗攻击抗干扰能力强的脉冲神经网络（SNN），以及研究表明使用 Poisson 编码器的输入离散化和 Leaky-Integrate-Fire (LIF) 神经元的泄漏率增加可提高其在 CIFAR 数据集上的对抗准确性。

    Mar, 2020

  • 针对对抗扰动的强健脉冲神经网络研究

    本文提出了新的 SNN 训练方法 S-IBP 和 S-CROWN，并在不同数据集和模型结构中证明了其有效性，最大攻击错误率下降 37.7％，原始准确率下降 3.7％，这是关于 SNN 训练的首次分析。

    Apr, 2022

  • 提高 SNNs 中稀疏梯度的对抗鲁棒性

    通过梯度稀疏化正则化提高脉冲神经网络 (SNNs) 的鲁棒性，将梯度稀疏性与对抗性扰动之间的差距最小化，改善 SNNs 的整体鲁棒性。

    May, 2024

  • 脉冲神经网络的直接训练：更快，更大，更好

    通过提出神经元规范化技术和直接学习算法，以及缩小速率编码窗口和将漏电整合 - 击发（LIF）模型转换为显式迭代版本的 Pytorch 实现方法，训练了高性能的 CIFAR10 数据集上的深度 SNN，开辟了探究 SNN 潜力的新途径。

    Sep, 2018

  • 关于脉冲神经网络对抗样本的可传递性和安全性保障

    本文研究了 SNN 的对抗鲁棒性，提出了一种新的白盒攻击方法 Auto SAGA，对 SNN 以及 CNN/ViT 模型均有很高的成功率。实验涵盖三个数据集和 19 种不同的分类器模型。

    Sep, 2022

  • 为训练深度神经网络架构实现基于脉冲的反向传播

    通过引入近似导数方法和基于脉冲的反向传播方法，本文提出一种可以直接训练深度脉冲神经网络的方法，实验结果表明，该方法在 MNIST、SVHN 和 CIFAR-10 数据集上取得了比其他基于脉冲的神经网络更好的分类效果。

    Mar, 2019

  • 具备反向残差连接、随机 Softmax 和混合化的可扩展、高效和准确的深度脉冲神经网络

    本研究提出了使用逆向残差连接、随机 softmax 和混合人工和尖峰神经元激活的算法技术，以提高学习能力，并取得与传统深度学习 / 人工神经网络相媲美的准确性，同时在诸如 CIFAR10、Imagenet 等复杂视觉识别任务上实现了大幅度的能源效率和减少参数开销。

    Oct, 2019

  • 使用优化效率和最小延迟的通用脉冲神经网络训练

    提出了一个通用的训练框架，提高了有限时间步长内特征学习和激活效率，为更节能的 SNN 提供了新的解决方案。

    Jan, 2024