通过前向传播错误学习表示
本篇论文介绍了一种名为 Event-Driven Random BP (eRBP) 规则的神经形态计算方法,可用于学习深度表示,其具有在神经形态硬件中实现的优势,并且与 GPU 上的人工神经网络模拟相比,分类准确性相近且在学习过程中鲁棒性较强。
Dec, 2016
通过对 MNIST、CIFAR-10 和 ImageNet 数据集中的机器学习任务进行实验,我们提出和探究了目标传播和反馈对齐算法的变体,在全连接和局部连接的体系结构下,大部分算法都可以很好的完成 MNIST 数据集的任务。然而,我们发现在面对 CIFAR 和 ImageNet 数据集时,这些算法在局部连接的体系结构下表现不如反向传播算法,因此我们需要新的架构和算法来扩展这些方法。
Jul, 2018
在这篇论文中,我们通过消除 Forward-Forward Continuous Learning (FFCL) 的最后两个阶段和完全去除常规的反向传播,而仅仅依靠本地更新来解决常规反向传播在生物大脑中的局限性,从而提出了一种更具生物可行性的学习方法。
May, 2024
该工作提出了一种新型的本地化训练算法,BackLink,它引入了模块间的反向依赖关系,采用了一定的误差传播长度限制,并在深卷积神经网络中进行了广泛的实验,表明我们的方法通过提高分类性能来改善本地培训算法。
May, 2022
本研究中,我们分析了一种叫做目标传播(TP)的替代反向传播(BP)的方法,从数学优化的角度进行了研究,并发现了它的基本限制。我们提出了一个创新性的重构损失来改善反馈权重训练,并通过允许直接反馈连接从输出到每个隐藏层来引入架构灵活性。实验结果表明,与差分目标传播(DTP)相比,性能得到了显著提高,并且前向权重更新与损失梯度的对准得到了改善。
Jun, 2020
通过本文中提出的 ForwardGNN 算法,我们可以以一种新的前向学习方式来解决 BP 算法所带来的局限性,该算法扩展了原始的前向传播算法,使其适用于图数据和图神经网络,并且不再需要产生负输入数据,同时每个层可以从自下而上和自上而下的信号中学习,而不依赖于误差的后向传播。在实际数据集上进行的大量实验表明,这种前向图学习框架的有效性和普适性。
Mar, 2024
在生物神经网络中实现高效的学习需要对个体突触进行适应性调节,然而,由于时空依赖性的限制,目前对于如何进行高效的信用赋值仍然是一个值得研究的问题。本文提出了一种称为广义潜在均衡(GLE)的计算框架,用于在具有时空连续性神经动力学的物理网络中实现完全本地的时空信用赋值,该框架利用了生物神经元可以根据其膜电位相移其输出速率的能力。
Mar, 2024
本论文介绍了一种学习贝叶斯神经网络的新方法,称为概率反向传播 (PBP),通过前向概率传递和后向梯度计算,PBP 比现有的贝叶斯技术更具可伸缩性,并提供了准确的网络权重后验方差估计。
Feb, 2015
研究了为了解决反向传播算法对称性问题的不同技术及其对不同数据集和网络结构的适用性,其中 sign-symmetry 算法展现出了逼近 BP 算法的分类性能。
Nov, 2018