研究深度人工神经网络中的反向传播学习算法与大脑神经元突触可塑性规律的类比,介绍了不依赖于对称前向和后向突触权重的算法,提出通过加强权重符号一致性的反馈对准法的修改,可以实现与反向传播法相当的性能。这些研究结果表明,促进前向和反馈权重对准的机制对于深度网络的学习是至关重要的。
Dec, 2018
本研究使用元学习发现网络如何利用反馈机制和本地、仿生学习规则,以进行在线信用分配,并超越了现有的基于梯度的算法在回归和分类任务方面的性能,特别是在持续学习方面表现优异,结果表明存在一类生物可行的学习机制,不仅匹配梯度下降,而且还克服了其局限性。
Jun, 2020
使用反馈定向方法进行神经网络训练的简单方法能够在卷积网络和深度网络中实现零训练误差,而不需要成对的权重,是迈向生物可行机器学习的一步。
Sep, 2016
提出一种新的深度学习算法,通过随机突触权重与误差信号相乘来学习网络的参数,有效地规避了神经回溯算法在大脑构造中的限制。
Nov, 2014
该论文研究 “反馈对齐” 算法的数学特性,通过分析二层网络在平方误差损失下的收敛和对齐,证明在过度参数化的情况下,误差会以指数速度收敛,以及参数对齐需要正则化。该成果对我们理解生物学可行的算法如何不同于 Hebbian 学习方法,具有与非本地反向传播算法相当的性能提供了方法。
Jun, 2021
提出一种基于信息瓶颈原理的学习规则,结合了核方法,并采用 3 要素的 Hebbian 结构,其不需要精确标签,且在图像分类任务上表现与反向传播算法接近。
提出了一个与生物学有相当可信度的非常规学习规则,可以通过全局抑制作用于隐藏层,能够完全无监督的学习早期特征检测器,这些学过的下层特征检测器可用于以惯常的有监督方式训练更高层次的权重,以使整个网络的性能与通过反向传播算法端对端训练的前馈网络的性能相当。
Jun, 2018
本文讨论了反向传播算法的神经可行性,研究了一种竞争性的局部学习规则和几种使权重传输过程更生物学可行的非局部学习规则,并提出了两条无需权重对称的神经实现学分分配的路径。
Feb, 2020
本文提出通过引入本地误差和随机辅助分类器来优化深度网络中的学习机制,旨在解决反向传播算法中存在的反应延迟和与生物神经网络的学习机制的矛盾。实验证明,该方法效果优于反馈对齐学习技术,并强调了其潜在的生物学机制和在定制硬件上的应用前景。
Nov, 2017
提出了 Product Feedback Alignment(PFA)算法,它在避免显式的权重对称的同时,几乎与反向传播(BP)算法相同,能够在深度卷积网络中实现可比较的性能,从而提供了对长期存在的权重对称问题的新解决方案,实现了更加符合生物合理性的深度卷积网络学习。
May, 2024