基于脉冲的因果推理用于权值对齐
通过使用反馈对齐算法,提出了一种生物相似性算法来替代反向传播,用一个稀疏的反馈矩阵可以显著改进数据移动和计算的效率,与反向传播相比,可以实现数量级的改进,并且可以在某些方面获得硬件优势,同时还可以获得具有可比性的结果。
Jan, 2019
研究深度人工神经网络中的反向传播学习算法与大脑神经元突触可塑性规律的类比,介绍了不依赖于对称前向和后向突触权重的算法,提出通过加强权重符号一致性的反馈对准法的修改,可以实现与反向传播法相当的性能。这些研究结果表明,促进前向和反馈权重对准的机制对于深度网络的学习是至关重要的。
Dec, 2018
该论文研究 “反馈对齐” 算法的数学特性,通过分析二层网络在平方误差损失下的收敛和对齐,证明在过度参数化的情况下,误差会以指数速度收敛,以及参数对齐需要正则化。该成果对我们理解生物学可行的算法如何不同于 Hebbian 学习方法,具有与非本地反向传播算法相当的性能提供了方法。
Jun, 2021
本文提出两种机制:神经电路称为 “权值镜像” 和一种修正 Kolen 和 Pollack 于 1994 年提出的算法的方法来解决反馈路径的合适突触权重的学习。经验表明,这些机制对于大型网络的深度学习具有高效和精确的学习能力,且不需要复杂的连线。这些机制在 ImageNet 视觉识别任务上表现超过了反馈对齐和新的符号对称方法,并且几乎匹配了标准的深度学习算法 backprop。
Apr, 2019
本文讨论了反向传播算法的神经可行性,研究了一种竞争性的局部学习规则和几种使权重传输过程更生物学可行的非局部学习规则,并提出了两条无需权重对称的神经实现学分分配的路径。
Feb, 2020
研究了为了解决反向传播算法对称性问题的不同技术及其对不同数据集和网络结构的适用性,其中 sign-symmetry 算法展现出了逼近 BP 算法的分类性能。
Nov, 2018
在寻找与当前最先进的神经网络训练算法相比更节能的替代方法方面,有一种对脉冲神经网络的兴趣,因为它们可以在神经形态硬件平台上高效模拟能量。然而,这些平台在训练算法设计方面存在限制,最重要的是不能实现反向传播。本文提出了一种新颖的神经形态算法 —— 脉冲前向直接反馈对齐(SFDFA)算法,这是一种将前向直接反馈对齐(Forward Direct Feedback Alignment)用于训练脉冲神经网络的改进方式。SFDFA 算法通过反馈连接来估计输出和隐藏神经元之间的权重。本文的主要贡献在于描述了如何在线获取脉冲的精确局部梯度,同时考虑到突触后脉冲之间的内部神经元依赖关系,并推导了神经形态硬件兼容的动力系统。我们将 SFDFA 算法与一些竞争算法进行比较,并证明了该算法具有更高的性能和收敛速度。
Feb, 2024
提出一种基于反馈脉冲神经网络的训练方法,该方法使用隐式微分计算参数的梯度,从而避免了无法微分的脉冲函数问题,并展示了在 MNIST, Fashion-MNIST, N-MNIST, CIFAR-10 和 CIFAR-100 数据集上测试结果的优越性。
Sep, 2021