用生物学启发的算法传播本地目标表示
本文提出通过引入本地误差和随机辅助分类器来优化深度网络中的学习机制,旨在解决反向传播算法中存在的反应延迟和与生物神经网络的学习机制的矛盾。实验证明,该方法效果优于反馈对齐学习技术,并强调了其潜在的生物学机制和在定制硬件上的应用前景。
Nov, 2017
通过对MNIST、CIFAR-10和ImageNet数据集中的机器学习任务进行实验,我们提出和探究了目标传播和反馈对齐算法的变体,在全连接和局部连接的体系结构下,大部分算法都可以很好的完成MNIST数据集的任务。然而,我们发现在面对CIFAR和ImageNet数据集时,这些算法在局部连接的体系结构下表现不如反向传播算法,因此我们需要新的架构和算法来扩展这些方法。
Jul, 2018
研究深度人工神经网络中的反向传播学习算法与大脑神经元突触可塑性规律的类比,介绍了不依赖于对称前向和后向突触权重的算法,提出通过加强权重符号一致性的反馈对准法的修改,可以实现与反向传播法相当的性能。这些研究结果表明,促进前向和反馈权重对准的机制对于深度网络的学习是至关重要的。
Dec, 2018
通过使用反馈对齐算法,提出了一种生物相似性算法来替代反向传播,用一个稀疏的反馈矩阵可以显著改进数据移动和计算的效率,与反向传播相比,可以实现数量级的改进,并且可以在某些方面获得硬件优势,同时还可以获得具有可比性的结果。
Jan, 2019
研究发现,通过局部学习规则,预测编码可以渐近(且实际上很快)地收敛到任意计算图上的精确反向传播梯度,这使得标准机器学习算法理论上可以直接用神经电路实现,从而为分布式神经形态结构的开发做出了贡献。
Jun, 2020
本研究中,我们分析了一种叫做目标传播(TP)的替代反向传播(BP)的方法,从数学优化的角度进行了研究,并发现了它的基本限制。我们提出了一个创新性的重构损失来改善反馈权重训练,并通过允许直接反馈连接从输出到每个隐藏层来引入架构灵活性。实验结果表明,与差分目标传播(DTP)相比,性能得到了显著提高,并且前向权重更新与损失梯度的对准得到了改善。
Jun, 2020
该论文研究“反馈对齐”算法的数学特性,通过分析二层网络在平方误差损失下的收敛和对齐,证明在过度参数化的情况下,误差会以指数速度收敛,以及参数对齐需要正则化。该成果对我们理解生物学可行的算法如何不同于Hebbian学习方法,具有与非本地反向传播算法相当的性能提供了方法。
Jun, 2021
使用缩放定律研究了Direct Feedback Alignment(DFA)在训练因果解码器专用变压器的效率,在计算和数据需求方面没有超越反向传播,需要更多实证方法来更好地理解建模决策。
Oct, 2022
该研究提出了一种基于信息理论的新颖理论,解释了反馈对齐(Feedback Alignment)是如何通过将目标信息嵌入到神经网络中来学习有效表示,其表现与BP算法相比,且还考虑到了生物学方面的现象和理论,例如预测编码和表征漂移。
Apr, 2023
本文揭示了支持反馈对齐学习动力学的一组守恒定律,揭示了反馈对齐与梯度下降之间的有趣类比,挑战了这些学习算法根本不同的流行说法,并表明这些守恒定律阐明了ReLU网络中反馈矩阵的逐层对齐的充分条件,这将使得使用反馈对齐训练的两层线性网络收敛到最小化范数的解决方案。
Jun, 2023