神经形态计算 deep learning 机器
通过介绍一种新的神经可塑性规则,该研究提供了一种在大脑中实现反向传播的潜在机制,并在数学模拟和人工神经网络实验中证明该规则在网络中诱导出不同的社区结构,从而呈现出一种生物学上可行的 BP 实现方式。
May, 2024
通过对 MNIST、CIFAR-10 和 ImageNet 数据集中的机器学习任务进行实验,我们提出和探究了目标传播和反馈对齐算法的变体,在全连接和局部连接的体系结构下,大部分算法都可以很好的完成 MNIST 数据集的任务。然而,我们发现在面对 CIFAR 和 ImageNet 数据集时,这些算法在局部连接的体系结构下表现不如反向传播算法,因此我们需要新的架构和算法来扩展这些方法。
Jul, 2018
本文介绍了一个针对 DeepSNNs 设计的 Spike-Timing-Dependent Back-Propagation 学习算法,并提供了一种新的思路,探讨了时序动态、突触可塑性和决策等方面对信息编码的贡献,为未来 DeepSNNs 和神经形态硬件系统的设计提供了新的视角和方法。
Mar, 2020
本研究提出一种基于神经科学机制实现随机反向传播的框架,该框架采用三种类型的元件和两种类型的突触连接来计算和传播错误信号,并支持全局定义的尖峰误差函数的多层尖峰神经网络的训练。使用局部部件中操作的 Hebb 定律来更新突触权值并以生物学可行的方式实现监督学习。最后,从优化的角度解释了提出的框架并显示其等效于符号一致反馈对齐。
May, 2022
使用新的二进制硬件跨棒学习算法实现深度神经网络在 TrueNorth 芯片上的部署,可在以前工作的基础上实现显著提高(76%与 86%准确度)同时保持良好的性能 MNIST 手写数据集。
May, 2017
Backpropagation (BP) is the dominant method for training deep neural networks, but node perturbation (NP) proposes learning through noise injection and measurement of induced loss change, yielding competitive performance when aligned with directional derivatives and combining with a decorrelating mechanism for layer-wise inputs.
Oct, 2023
通过实时与合适的自上而下学习信号合并本地可用信息,为循环神经网络提供了高效的学习算法,其中包括了神经形态芯片的在线训练,从而拓宽了大脑中的网络学习理解并在实验中得到了验证。
Jan, 2019
本研究使用元学习发现网络如何利用反馈机制和本地、仿生学习规则,以进行在线信用分配,并超越了现有的基于梯度的算法在回归和分类任务方面的性能,特别是在持续学习方面表现优异,结果表明存在一类生物可行的学习机制,不仅匹配梯度下降,而且还克服了其局限性。
Jun, 2020
本文介绍了一种用于训练深度 recurrent spiking neural networks 的新算法:Spike-Train level RSNNs Backpropagation (ST-RSBP)。该算法通过直接计算网络输出层中定额编码的 loss function 相对可调参数的梯度来训练 RSNNs,在 TI46、N-TIDIGITS、Fashion-MNIST 和 MNIST 等数据集上都表现出了优于当前最先进的 SNN BP 算法和传统的非 spiking 深度学习模型的准确性。
Aug, 2019