ICLRFeb, 2023

通过校准偏移电位来弥合 ANN 和 SNN 之间的差距

PDF
TL;DR在所述文献中，我们提出了一种基于偏移尖峰的 ANN-SNN 转换优化策略，该策略使用初始膜电位的移动来计算尖峰偏移，并可以进一步减少转换误差。实验结果表明，该方法在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上取得了最先进的性能。
spiking neural networksann-snn conversionoffset spikeneuromorphic chipsoptimization strategy
发现论文，激发创造
  • 低延迟脉冲神经网络的优化电位初始化

    通过优化初始膜电位实现高精度 ANN-to-SNN 转换，使得 SNN 在低延迟下达到了与最优性能相当的准确率，并在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上取得了最新的结果。

    Feb, 2022

  • 快速准确的脉冲神经网络转化用于目标检测和分割的尖峰校准

    本文提出了一种基于 SPI 神经元校准和 LIPooling 的深度脉冲神经网络转换方法，使用贝叶斯优化减少了对经验设置的依赖，并在分类、目标检测和分割任务上获得了先进的性能，实现了比先前工作更快的检测任务推理时间，并在能源消耗上实现了与 ANN 相同的分割任务的性能。

    Jul, 2022

  • ANN 的免费午餐：朝着高效、准确的脉冲神经网络校准迈进

    本文提出了一种称为 SNN Calibration 的校准算法，通过对神经网络参数的校准，能够显著提高将 ANN 转换为 SNN 的结果，本算法引入了一个便宜而有效的方法，通过在少量训练数据上进行训练，并在几分钟内完成校准。详细实验结果表明，该算法在大规模的 ImageNet 数据集上能够产生先进的 SNN 体系结构，并且与基准相比，在 MobileNet 转换中能够提高达 69％的 top-1 准确性。

    Jun, 2021

  • 通过剩余膜电位减少 ANN-SNN 转换误差

    本文提出了一种基于剩余膜电位的优化策略，旨在降低脉冲到达时间序列下 SNNs 中不平衡误差，从而达到与 ANNs 等效水平的性能，实验结果表明该策略在复杂数据集 ImageNet 上取得了最先进的性能，例如在 10 步之内达到了 64.32% 的准确率。

    Feb, 2023

  • 高精度和超低延迟的脉冲神经网络的最佳 ANN-SNN 转换

    本研究提出量化裁剪 - 移位激活函数以更好地逼近 Spiking Neural Networks 的激活函数，能在超低延迟 (4 time-steps) 的情况下实现高精度和超低延迟的 SNNs，并在 CIFAR-10/100 和 ImageNet 数据集上提高了性能。

    Mar, 2023

  • 双相优化下实现超低延迟无损 ANN-SNN 转换

    本论文提出一种双相转换算法，通过减少量化误差、裁剪误差和残余膜电势表示误差来提高深度脉冲神经网络（SNN）的准确性，并在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上表现出与人工神经网络（ANNs）相当的准确性和更低的能源消耗。

    May, 2022

  • 生物启发计算与深度学习的相遇：从人工神经网络到低延迟、准确、高能效的脉冲神经网络

    通过修改 SNN 整合 - 发射神经元模型和在训练 ANN 过程中使用细粒度 L1 正则化和替代梯度等方法，我们提出了一种新的 ANN 转 SNN 框架，可以以极低的时间步和高级稀疏性实现无损 SNN，低延迟，低计算能耗和高测试准确性（例如，ImageNet 数据集上只有 4 个时间步的准确率为 73.30%）。

    Dec, 2023

  • 将传统人工神经网络转化为脉冲神经网络的最优方案

    本文介绍了一种将传统人工神经网络转化为脉冲神经网络的新方法，该方法使用门限平衡和软重置机制将权重转移至目标 SNN，以降低转换误差。该方法能够保证几乎不出现精度损失，并且只需要典型 SNN 模拟时间的 1/10，非常适合于对 SNN 极限能量和内存进行支持的嵌入式平台上的实现。

    Feb, 2021

  • 具有突发电位的脉冲神经网络的高效准确转换

    探讨了 ANN 转换成 SNN 的过程中容易出现的问题，并提出了利用 Lateral Inhibition Pooling 和 Burst spikes 等方法加快推理过程并提高准确性的算法，在 CIFAR 和 ImageNet 数据集上实验取得了很高的效率和精度。

    Apr, 2022

  • 通过转化实现对抗性鲁棒性的尖峰神经网络

    我们提出了一种通过 ANN-to-SNN 转换算法实现对深度 SNN 的鲁棒性训练的方法，该方法在后转换的鲁棒微调阶段，通过对 SNN 的层内发射阈值和突触连接权重进行敌对优化，以保持从预训练 ANN 传递的鲁棒性增益，实现了扩展性的鲁棒 SNN 训练方法。在考虑 SNN 的脉冲操作动力学的多个自适应敌对设置的实验评估中，我们的方法展示了一种具有低延迟的可扩展高鲁棒性深度 SNN 的最新解决方案。

    Nov, 2023