Nov, 2023

通过转化实现对抗性鲁棒性的尖峰神经网络

PDF
TL;DR我们提出了一种通过 ANN-to-SNN 转换算法实现对深度 SNN 的鲁棒性训练的方法，该方法在后转换的鲁棒微调阶段，通过对 SNN 的层内发射阈值和突触连接权重进行敌对优化，以保持从预训练 ANN 传递的鲁棒性增益，实现了扩展性的鲁棒 SNN 训练方法。在考虑 SNN 的脉冲操作动力学的多个自适应敌对设置的实验评估中，我们的方法展示了一种具有低延迟的可扩展高鲁棒性深度 SNN 的最新解决方案。
发现论文，激发创造
  • 将传统人工神经网络转化为脉冲神经网络的最优方案

    本文介绍了一种将传统人工神经网络转化为脉冲神经网络的新方法，该方法使用门限平衡和软重置机制将权重转移至目标 SNN，以降低转换误差。该方法能够保证几乎不出现精度损失，并且只需要典型 SNN 模拟时间的 1/10，非常适合于对 SNN 极限能量和内存进行支持的嵌入式平台上的实现。

    Feb, 2021

  • 针对对抗扰动的强健脉冲神经网络研究

    本文提出了新的 SNN 训练方法 S-IBP 和 S-CROWN，并在不同数据集和模型结构中证明了其有效性，最大攻击错误率下降 37.7％，原始准确率下降 3.7％，这是关于 SNN 训练的首次分析。

    Apr, 2022

  • 脉冲神经网络对抗鲁棒性的综合分析

    通过对比常规 VGG-9 人工神经网络和等效的 Spiking Neural Network 之间在白盒和黑盒情况下对不同类型单步和多步 FGSM（快速梯度符号法）攻击的准确度降低，证明 SNN 对黑盒攻击更具有韧性。 此外，研究发现 SNN 的鲁棒性很大程度上取决于相应的训练机制。 最后，提出了一个简单而有效的框架，用于从 SNN 中制造对抗性攻击。

    May, 2019

  • 生物启发计算与深度学习的相遇：从人工神经网络到低延迟、准确、高能效的脉冲神经网络

    通过修改 SNN 整合 - 发射神经元模型和在训练 ANN 过程中使用细粒度 L1 正则化和替代梯度等方法，我们提出了一种新的 ANN 转 SNN 框架，可以以极低的时间步和高级稀疏性实现无损 SNN，低延迟，低计算能耗和高测试准确性（例如，ImageNet 数据集上只有 4 个时间步的准确率为 73.30%）。

    Dec, 2023

  • 低延迟脉冲神经网络的优化电位初始化

    通过优化初始膜电位实现高精度 ANN-to-SNN 转换，使得 SNN 在低延迟下达到了与最优性能相当的准确率，并在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上取得了最新的结果。

    Feb, 2022

  • 提高 SNNs 中稀疏梯度的对抗鲁棒性

    通过梯度稀疏化正则化提高脉冲神经网络 (SNNs) 的鲁棒性，将梯度稀疏性与对抗性扰动之间的差距最小化，改善 SNNs 的整体鲁棒性。

    May, 2024

  • 概率脉冲神经网络的对抗训练

    该研究首次探讨了脉冲神经网络对抗性样本的敏感性，并提出了一种鲁棒的训练机制，能够显著提高脉冲神经网络在白盒攻击下的性能。

    Feb, 2018

  • 使用精心设计的输入噪声训练深度脉冲神经网络，发挥其固有鲁棒性的潜力（HIRE-SNN）

    本文研究低延迟深度脉冲神经网络克服对抗攻击的训练算法，通过在输入层引入精心设计的噪声，已有的模型仅需进行微调即可达到防御攻击的效果，同时在分类性能、时延和计算能耗方面表现出色。

    Oct, 2021

  • 通过校准偏移电位来弥合 ANN 和 SNN 之间的差距

    在所述文献中，我们提出了一种基于偏移尖峰的 ANN-SNN 转换优化策略，该策略使用初始膜电位的移动来计算尖峰偏移，并可以进一步减少转换误差。实验结果表明，该方法在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上取得了最先进的性能。

    Feb, 2023

  • 超越分类：直接训练脉冲神经网络实现语义分割

    本论文探讨了脉冲神经网络在语义分割方面的应用，通过替代全连接层和使用替代梯度学习方法，将基本的全卷积网络和 DeepLab 架构重构为 SNN 域的网络。实验表明，相较于 ANN 网络，SNN 网络在这个领域更加稳健和节能。

    Oct, 2021