使用 LIF 神经元对深度网络进行脉冲处理
本文介绍了一种方法,该方法可以训练使用 Leaky Integrate-and-Fire(LIF)神经元的脉冲深度网络,并在包括大型 ImageNet ILSVRC-2012 基准测试在内的五个数据集上取得了最先进的结果。该方法可扩展,并适用于各种神经非线性。通过软化神经响应函数以使其导数保持有界,并通过噪声训练网络,我们实现了这些结果,以提高其承受由脉冲引入的变异性的鲁棒性。我们的分析表明,在神经形态硬件上实现这些网络将比传统硬件上等效的非脉冲网络更加节能。
Nov, 2016
本文介绍了如何在多层感知器(MLP)中使用漏泄整合和火(LIF)神经元来构建以 SNN 为灵感的神经网络机制,通过改进局部特征沟通机制来提高精度,最终在 ImageNet 数据集上取得 81.9%至 83.5%的 top-1 准确度的最新成果。
Mar, 2022
本文提出了一个统一脉冲神经元 GLIF,以融合不同的生物特征在不同的神经行为中,从而扩大脉冲神经元的表示空间,增加其异质性和适应性,并通过各种数据集的广泛实验证明了其优越性能。
Oct, 2022
通过使用 Leaky Integrate and Fire 神经元,我们研究了脉冲神经网络在高斯去噪任务中的性能,结果表明相对于深度卷积神经网络,SNN 能够在降低计算负载的情况下提供有竞争力的去噪性能。
May, 2023
本文提出了一种使用 Leaky-Integrate-Fire (LIF) 神经元模型的堆叠扩张卷积脉冲层的模型,在保持非常稀疏的脉冲活动的情况下,可以在 Google SC v1 数据集上实现接近标准 DNN 的 5.5% 的误差率,证明了 SNNs 在语音识别方面的可行性。
Nov, 2020
该研究建立了生物参数和人工神经网络参数之间精确的数学映射关系,并证明了两者之间存在的映射关系,从而为两种类型的神经网络的潜在组合提供了理论基础。
May, 2022
本文提出了一种名为 LIAF-Net 的深度神经网络,并构建了一种新的神经元模型 LIAF,使得模拟值可以在神经元之间传输,以便在时空领域进行有效的处理,实验结果表明,与传统网络相比,其在实现轻量级和高效的时空信息处理方面具有领先的性能和优势。
Nov, 2020
本研究比较了三种简单的脉冲神经元模型 (简洁型、二次型和指数型),利用 Spike-Timing Dependent Plasticity (STDP) 在 N-MNIST 和 DVS Gestures 数据集上测试它们的分类表现,结果显示在数据具备更多的时空特征时,二次型和指数型的神经元模型表现更好,说明根据数据的特征谨慎选择神经元模型,能够提高整个系统的性能。
Jun, 2022
通过使用脉冲耦合神经网络(PCNN)取代常用的漏积分 - 发放神经元(LIF)模型神经元,我们构建了深度脉冲耦合神经网络(DPCNN),进而改善了 SNNs 在视觉任务中的表达能力和识别性能。同时,我们还提出了接受域和时间依赖批归一化(RFTD-BN)来加速 DPCNNs 的收敛和性能。
Dec, 2023
通过提出神经元规范化技术和直接学习算法,以及缩小速率编码窗口和将漏电整合 - 击发(LIF)模型转换为显式迭代版本的 Pytorch 实现方法,训练了高性能的 CIFAR10 数据集上的深度 SNN,开辟了探究 SNN 潜力的新途径。
Sep, 2018