使用反馈定向方法进行神经网络训练的简单方法能够在卷积网络和深度网络中实现零训练误差,而不需要成对的权重,是迈向生物可行机器学习的一步。
Sep, 2016
该论文研究 “反馈对齐” 算法的数学特性,通过分析二层网络在平方误差损失下的收敛和对齐,证明在过度参数化的情况下,误差会以指数速度收敛,以及参数对齐需要正则化。该成果对我们理解生物学可行的算法如何不同于 Hebbian 学习方法,具有与非本地反向传播算法相当的性能提供了方法。
Jun, 2021
本文揭示了支持反馈对齐学习动力学的一组守恒定律,揭示了反馈对齐与梯度下降之间的有趣类比,挑战了这些学习算法根本不同的流行说法,并表明这些守恒定律阐明了 ReLU 网络中反馈矩阵的逐层对齐的充分条件,这将使得使用反馈对齐训练的两层线性网络收敛到最小化范数的解决方案。
Jun, 2023
通过使用反馈对齐算法,提出了一种生物相似性算法来替代反向传播,用一个稀疏的反馈矩阵可以显著改进数据移动和计算的效率,与反向传播相比,可以实现数量级的改进,并且可以在某些方面获得硬件优势,同时还可以获得具有可比性的结果。
Jan, 2019
研究深度人工神经网络中的反向传播学习算法与大脑神经元突触可塑性规律的类比,介绍了不依赖于对称前向和后向突触权重的算法,提出通过加强权重符号一致性的反馈对准法的修改,可以实现与反向传播法相当的性能。这些研究结果表明,促进前向和反馈权重对准的机制对于深度网络的学习是至关重要的。
Dec, 2018
该研究提出了一种基于信息理论的新颖理论,解释了反馈对齐(Feedback Alignment)是如何通过将目标信息嵌入到神经网络中来学习有效表示,其表现与 BP 算法相比,且还考虑到了生物学方面的现象和理论,例如预测编码和表征漂移。
Apr, 2023
本文探讨了替代反向传播算法的方案,研究了直接反馈对神经视图合成、推荐系统、几何学习和自然语言处理的适用性,并发现该方案可以成功训练各种现代深度学习架构,其性能接近于微调的反向传播,支持在没有权重传输的情况下解决具有挑战性的任务。
Jun, 2020
本文提出了一种混合学习方法,即每个神经元使用强化学习策略来学习如何近似反向传播算法提供的梯度,并给出了对于特定类别的网络中,该方法收敛到真实梯度的证明。在前馈和卷积神经网络中,我们经验证明我们的方法学习如何逼近梯度,并且可以匹配或超越精确梯度学习的性能。学习反馈权重提供了一个生物学上可行的机制来实现良好的性能,无需精确的预先指定学习规则。
Jun, 2019
通过引入脉冲系统处理信息,使得反向传导和前向传输的神经突触权重不相同,解决了生物模型中学习时的权重传递问题,提高了学习表现。
Oct, 2019
研究了为了解决反向传播算法对称性问题的不同技术及其对不同数据集和网络结构的适用性,其中 sign-symmetry 算法展现出了逼近 BP 算法的分类性能。
Nov, 2018