用混合脉冲神经网络微调进行海马分割
本论文探讨了脉冲神经网络在语义分割方面的应用,通过替代全连接层和使用替代梯度学习方法,将基本的全卷积网络和 DeepLab 架构重构为 SNN 域的网络。实验表明,相较于 ANN 网络,SNN 网络在这个领域更加稳健和节能。
Oct, 2021
本文研究了基于神经形态计算在计算机视觉领域中的可扩展性,为了实现在降低功耗的同时达到非神经形态计算的性能。我们将深度神经网络架构 U-Net 转化为脉冲神经网络架构,并采用 ISBI 2D EM Segmentation 数据集对其进行训练和优化。我们提出了一种优化多芯片网络部署的分区方法,并探讨了对定期发放率进行正则化以最小限度地减少精度损失和优化能量消耗的优势。最终在 Intel Loihi 神经形态芯片上进行的神经形态实现比传统硬件 (CPU,GPU) 在线运行时节省能源的倍数,同时在不牺牲网络的任务性能准确性的情况下实现了这些功率改进。
Jun, 2021
本文介绍了一种将传统人工神经网络转化为脉冲神经网络的新方法,该方法使用门限平衡和软重置机制将权重转移至目标 SNN,以降低转换误差。该方法能够保证几乎不出现精度损失,并且只需要典型 SNN 模拟时间的 1/10,非常适合于对 SNN 极限能量和内存进行支持的嵌入式平台上的实现。
Feb, 2021
该研究论文讨论深度脉冲神经网络的训练方法,比较有监督和无监督学习的准确性、计算成本和硬件友好性,发现深度脉冲神经网络在准确性方面仍落后于人工神经网络,但在许多任务中可以达到相同的准确性并需要更少的计算操作。
Apr, 2018
通过优化初始膜电位实现高精度 ANN-to-SNN 转换,使得 SNN 在低延迟下达到了与最优性能相当的准确率,并在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上取得了最新的结果。
Feb, 2022
该研究通过初始化辅助 ANN 来解决 Spiking Neural Networks 的长转移期和状态衰减的问题,提出了一种 ANN-SNN 模型来实现高时间分辨率、低延迟和低功耗的预测。在 2D 和 3D 人体姿势估计任务中,与完全 ANN 相比,该方法性能下降仅为 4%,但功耗降低了 88%;与 SNN 相比,误差降低了 74%。
Mar, 2023
本文介绍了一种使用新颖代理梯度和可调谐自适应尖峰神经元的循环网络,将基于脉冲的神经网络的性能提高至具有挑战性的时间域基准的最新水平,并展示了这些 SNN 的计算效率比具有可比性能的 RNN 高出一到三个数量级,从而使 SNN 成为 AI 硬件实现的有吸引力的解决方案。
Mar, 2021
该文章讨论了 Spiking Neural Networks (SNNs) 的局限性,介绍了一种方法来解决这些问题使用无监督学习来快速发现输入数据中的稀疏可识别特征,使 SNNs 成为一种使用未标记数据进行快速、准确、高效、可解释和可重新部署的机器学习的新方法。
Aug, 2022
通过结合空间域(SD)和时间相关的时域(TD),并提出了一种适合于梯度下降训练的迭代 LIF 模型,以及脉冲活动的近似导数,本文提出了一种新的时空反向传播(STBP)训练框架,它能够使多层感知器 (MLP) 在静态 MNIST 和动态 N-MNIST 数据集以及自定义对象检测数据集上获得比现有状态 - of-the-art 算法更好的性能。该框架为未来的类脑计算范式探索高性能脉冲神经网络提供了新的视角。
Jun, 2017
我们提出了一种通过 ANN-to-SNN 转换算法实现对深度 SNN 的鲁棒性训练的方法,该方法在后转换的鲁棒微调阶段,通过对 SNN 的层内发射阈值和突触连接权重进行敌对优化,以保持从预训练 ANN 传递的鲁棒性增益,实现了扩展性的鲁棒 SNN 训练方法。在考虑 SNN 的脉冲操作动力学的多个自适应敌对设置的实验评估中,我们的方法展示了一种具有低延迟的可扩展高鲁棒性深度 SNN 的最新解决方案。
Nov, 2023