平衡的共振 - 放火神经元
由于振荡膜动力学的作用,平衡共振火神经元是在尖峰神经网络(SNNs)中作为积分器神经元的一个有趣的互补模型。相比于已有的共振神经元的变种,最近提出的平衡共振火神经元在任务性能、尖峰和参数效率,以及整体稳定性和鲁棒性方面取得了显著的方法进展。本文目的在于提供进一步关于为何和如何出现这些收敛优势的直觉。通过实验证明,平衡共振火神经元相比于已有的 Adaptive Leaky Integrate-and-Fire 神经元(ALIF neurons)可以产生一个非常干净和平滑的误差曲面,同时收敛好处主要与一个解决时间离散共振器近似的数值稳定性的变量相耦合。这些结果得到了对膜动力学的形式化研究的支持,指明梯度在传回时间时没有损失幅度。
Jun, 2024
研究了如何通过深度学习将适应性神经元包含在递归脉冲神经元网络(RSNNs)中,从而优化网络结构,实现知识迁移和在少数示例中进行学习、手段是 BPTT 算法。
Mar, 2018
该论文介绍了基于生物启发式的脉冲神经元的神经形态计算中,如何支持具有完全可编程动态范围的状态耦合脉冲神经元模型,并用这些模型在模拟实验中高效处理流数据的示例。其中,我们提出了一种可以计算短时傅里叶变换和光流估计的算法,并展示了使用谐振器级联的变体来复制耳蜗的新特性及其激励的有效脉冲谱图编码器的结果。
Nov, 2021
本研究提出一种监督式训练程序,运用递归最小二乘法的 FORCE 算法来拟合每层过程的目标,以控制反馈回路,促进 RSNNs 神经元网络动力系统的训练,提高其性能和抗噪性并使用 TTFS 编码来进行能效硬件实现。
May, 2022
通过实时与合适的自上而下学习信号合并本地可用信息,为循环神经网络提供了高效的学习算法,其中包括了神经形态芯片的在线训练,从而拓宽了大脑中的网络学习理解并在实验中得到了验证。
Jan, 2019
本文提出了脉冲神经元网络(SpikingNeRF),通过将辐射光线与 SNN 的时间维度对齐,以自然地适应 Radiance Fields 的重建,使计算以脉冲为基础,无需乘法运算,从而降低能耗。
Sep, 2023
本文介绍了一种用于训练深度 recurrent spiking neural networks 的新算法:Spike-Train level RSNNs Backpropagation (ST-RSBP)。该算法通过直接计算网络输出层中定额编码的 loss function 相对可调参数的梯度来训练 RSNNs,在 TI46、N-TIDIGITS、Fashion-MNIST 和 MNIST 等数据集上都表现出了优于当前最先进的 SNN BP 算法和传统的非 spiking 深度学习模型的准确性。
Aug, 2019
通过神经抽样实现基于脉冲神经元和 STDP 联合训练的漏电 I&F 受限玻尔兹曼机,并在 MNIST 数据集上进行测试,旨在推进用于合成实用的高级功能的脉冲神经元网络的机器学习驱动方法。
Nov, 2013
该论文提出了一种使用雷达进行手势识别的替代方法,该方法利用共振 - 发火神经元来绕过计算复杂且耗时的快速傅里叶变换,直接在时域信号中检测手势,消除了获取距离信息的快速傅里叶变换的需求。在检测之后,采用简单的 Goertzel 算法提取五个关键特征,省去了第二次快速傅里叶变换的需要。然后将这些特征输入循环神经网络,实现了对五种手势的 98.21%的精确分类。所提出的方法相较于传统方法,具有较低的复杂性且表现出竞争力的性能。
May, 2024
本文介绍了一种使用新颖代理梯度和可调谐自适应尖峰神经元的循环网络,将基于脉冲的神经网络的性能提高至具有挑战性的时间域基准的最新水平,并展示了这些 SNN 的计算效率比具有可比性能的 RNN 高出一到三个数量级,从而使 SNN 成为 AI 硬件实现的有吸引力的解决方案。
Mar, 2021