深度脉冲 UNet 图像处理
本文研究了基于神经形态计算在计算机视觉领域中的可扩展性,为了实现在降低功耗的同时达到非神经形态计算的性能。我们将深度神经网络架构 U-Net 转化为脉冲神经网络架构,并采用 ISBI 2D EM Segmentation 数据集对其进行训练和优化。我们提出了一种优化多芯片网络部署的分区方法,并探讨了对定期发放率进行正则化以最小限度地减少精度损失和优化能量消耗的优势。最终在 Intel Loihi 神经形态芯片上进行的神经形态实现比传统硬件 (CPU,GPU) 在线运行时节省能源的倍数,同时在不牺牲网络的任务性能准确性的情况下实现了这些功率改进。
Jun, 2021
本文提出了一种基于脉冲神经网络(SNN)和 U-Net 架构的能量高效语音增强模型,该模型在处理带有时间维度的数据(例如语音)和应用于资源有限设备上具有良好的性能,实验结果表明所提出的 SNN 模型在能量高效性上优于 Intel Neuromorphic Deep Noise Suppression Challenge(Intel N-DNS Challenge)基准解决方案,并实现了与等效 ANN 模型相当的性能。
Jul, 2023
提出了一种有效的方法,将 ResNet 转换为名为 S-ResNet 的脉冲神经元网络,该方法采用转换模型和补偿机制来降低离散化引起的误差,并在 CIFAR-10,CIFAR-100 和 ImageNet 2012 数据集上实现了比现有 SNN 途径更好的性能,这是第一次在大规模数据集上构建超过 40 层深度的 SNN,并获得与 ANNs 相当的性能。
Apr, 2018
本文提出了一种新的基于脉冲神经网络的生成模型 ——SDDPM,通过仅使用 4 个时间步骤的纯脉冲 U-Net 体系结构,实现与其 ANN 模型的可比性能,从而充分利用脉冲神经网络的能源效率,并在 CIFAR-10 和 CelebA 数据集上实现了卓越的性能,是脉冲神经网络生成领域的重大进展。
Jun, 2023
提出了一种基于阈值相关批归一化(tdBN)和空间时间反向传播(STBP)的方法,可直接训练深度脉冲神经网络(SNN),并在神经形态硬件上实现其推理,单次训练达到了 93.15% 的 CIFAR-10 准确率、67.8% 的 DVS-CIFAR10 准确率和 67.05% 的 ImageNet 准确率,是第一次在 ImageNet 上探索具有高性能的直接训练的深度 SNN。
Oct, 2020
本论文探讨了脉冲神经网络在语义分割方面的应用,通过替代全连接层和使用替代梯度学习方法,将基本的全卷积网络和 DeepLab 架构重构为 SNN 域的网络。实验表明,相较于 ANN 网络,SNN 网络在这个领域更加稳健和节能。
Oct, 2021
本研究提出一种新颖算法技术生成深度架构的 Spiking Neural Networks,此算法应用于 VGG 和 Residual 网络架构并在 CIFAR-10 和 ImageNet 等图像识别问题上取得了显著的准确率提高,同时证明在 spiking 领域内的稀疏 event-driven 计算可减少硬件开销。
Feb, 2018
通过引入生物神经系统启发的突发 - 尖峰机制、基于帕累托前沿驱动算法的再分配爆发 - 射击模式以及基于层特定敏感性自动定位最佳阈值比率的敏感性驱动尖峰压缩技术,在分类和目标检测方面展示出卓越的性能和降低的能量使用,从而推动了基于事件驱动视觉的脉冲神经网络的进展。
Nov, 2023
该研究论文讨论深度脉冲神经网络的训练方法,比较有监督和无监督学习的准确性、计算成本和硬件友好性,发现深度脉冲神经网络在准确性方面仍落后于人工神经网络,但在许多任务中可以达到相同的准确性并需要更少的计算操作。
Apr, 2018
通过引入近似导数方法和基于脉冲的反向传播方法,本文提出一种可以直接训练深度脉冲神经网络的方法,实验结果表明,该方法在 MNIST、SVHN 和 CIFAR-10 数据集上取得了比其他基于脉冲的神经网络更好的分类效果。
Mar, 2019