核化信息瓶颈在深度网络中引导基于生物的三因子赫布学习
介绍Equilibrium Propagation-一种学习能量模型的框架,该模型仅涉及一种神经计算,并在两个阶段中执行,通过Local perturbations,使预测从一个配置微调到减少预测误差的配置,并且在第二阶段向后传播的信号编码错误导数的梯度。
Feb, 2016
通过对MNIST、CIFAR-10和ImageNet数据集中的机器学习任务进行实验,我们提出和探究了目标传播和反馈对齐算法的变体,在全连接和局部连接的体系结构下,大部分算法都可以很好的完成MNIST数据集的任务。然而,我们发现在面对CIFAR和ImageNet数据集时,这些算法在局部连接的体系结构下表现不如反向传播算法,因此我们需要新的架构和算法来扩展这些方法。
Jul, 2018
研究了为了解决反向传播算法对称性问题的不同技术及其对不同数据集和网络结构的适用性,其中sign-symmetry算法展现出了逼近BP算法的分类性能。
Nov, 2018
本论文提出一种使用Hebbian更新训练深度网络的方法,反馈权重与前馈权重分离以克服反向传播中不真实的对称性,即使在权重不同的情况下,其性能也与常规反向传播相当,同时提出了一种可以表示为最后一层局部Hebbian更新的成本函数。
Nov, 2018
该论文研究“反馈对齐”算法的数学特性,通过分析二层网络在平方误差损失下的收敛和对齐,证明在过度参数化的情况下,误差会以指数速度收敛,以及参数对齐需要正则化。该成果对我们理解生物学可行的算法如何不同于Hebbian学习方法,具有与非本地反向传播算法相当的性能提供了方法。
Jun, 2021
通过揭示损失面曲率的角度,论文研究神经网络的梯度下降算法对生物可行性的影响,发现生物可行性的学习规则在通用性上具有更差且更不稳定的性能,其倾向于接近神经突触权重空间的高曲率区域。
Jun, 2022
本文提供了能量基模型(EBMs)在逼近反向传播(BP)方面的综合理论,统一了预测编码、平衡传播和对比 Hebbian 学习等算法,从 EBMs 的自由相平衡这一简单而普遍的数学特性出发,在不同的能量函数下进行选择以得出一类逼近 BP 的算法。
May, 2022
研究提出了一种名为Feed-Forward with delayed Feedback (F$^3$)的算法,它有效地解决了权重传输和更新锁定等核心问题,实现了生物合理性和计算效率,将生物合理性算法和反向传播算法之间的预测性能差距降低了96%,为低能耗训练和并行化开辟了新的前景。
Apr, 2023
提出了一种新的神经网络层间激活的相关信息最大化的正式框架,从而解决了传统反向传播算法的生物学上的可信度问题,并提供了一种自然的权重对称问题的解决方案。
Jun, 2023
使用相似性匹配的规范方法,我们探索了监督学习算法,并阐明了神经架构的出现和加性与乘性更新规则,并展示了代表定理在推动我们对神经计算的理解中的关键作用。
Aug, 2023