平衡中的贡献,按比例连接:从简单的生物可塑性规则中产生反向传播
提出了Activation Relaxation (AR)算法,利用构建反向传播梯度的动力系统平衡点实现只利用局部信号的反向传播,可以在任意计算图上收敛,能在视觉分类任务上训练深度神经网络并且进行神经生物学实现的简化。
Sep, 2020
该论文研究“反馈对齐”算法的数学特性,通过分析二层网络在平方误差损失下的收敛和对齐,证明在过度参数化的情况下,误差会以指数速度收敛,以及参数对齐需要正则化。该成果对我们理解生物学可行的算法如何不同于Hebbian学习方法,具有与非本地反向传播算法相当的性能提供了方法。
Jun, 2021
本研究提出一种基于神经科学机制实现随机反向传播的框架,该框架采用三种类型的元件和两种类型的突触连接来计算和传播错误信号,并支持全局定义的尖峰误差函数的多层尖峰神经网络的训练。使用局部部件中操作的Hebb定律来更新突触权值并以生物学可行的方式实现监督学习。最后,从优化的角度解释了提出的框架并显示其等效于符号一致反馈对齐。
May, 2022
本文提供了能量基模型(EBMs)在逼近反向传播(BP)方面的综合理论,统一了预测编码、平衡传播和对比 Hebbian 学习等算法,从 EBMs 的自由相平衡这一简单而普遍的数学特性出发,在不同的能量函数下进行选择以得出一类逼近 BP 的算法。
May, 2022
本文尝试回答生物神经系统是否可以采用梯度的一阶自适应优化方法,通过在突触内使用生物合理的机制呈现了Adam优化器的实现,提出了一个新的方法应用于生物合理的Adam学习规则,这些机制可能有助于阐明生物突触动力学如何促进学习。
Dec, 2022
提出了一种基于突触可塑性动态的学习规则,该规则通过融合强化学习和非监督学习模拟误差反馈机制和两个重要机制,包括错误反馈系统以及非监督学习。
Mar, 2023
通过对受神经生物学启发或影响的人工神经网络中进行信用分配的算法的调查,我们提出了一个分类法,根据学习算法回答复杂自适应神经系统突触可塑性机制的核心问题的方式,整理了不断增长的大脑启发学习过程集合为六个通用家族,并在反向传播和其已知批评的背景下考虑了这些家族,结果旨在鼓励未来在神经仿真系统及其组成学习过程的发展,从而在机器学习、计算神经科学和认知科学之间建立良好的桥梁。
Dec, 2023
在生物神经网络中实现高效的学习需要对个体突触进行适应性调节,然而,由于时空依赖性的限制,目前对于如何进行高效的信用赋值仍然是一个值得研究的问题。本文提出了一种称为广义潜在均衡(GLE)的计算框架,用于在具有时空连续性神经动力学的物理网络中实现完全本地的时空信用赋值,该框架利用了生物神经元可以根据其膜电位相移其输出速率的能力。
Mar, 2024
我们制定了一种神经突触平衡的理论,并解释了其如何在神经网络中出现或被强制执行。这种理论通过解释其基本示例以及延伸到其他激活函数、更一般的正则化器、非分层架构等方向来说明平衡现象,并证明在使用随机平衡算法时能够通过收敛到相同的平衡权重集合来获得全局秩序。
May, 2024
通过对神经计算的进一步研究,我们证明了当使用平方欧几里得范数作为驱动局部学习的好度函数时,Forward-Forward Algorithm(FFA)等同于新赫布学习规则,并通过比较两个版本的FFA在模拟网络和脉冲神经网络中的训练行为,证实了生物学习规则与当前使用的训练算法之间的关联,并为将FFA的积极结果推广到赫布学习规则铺平了道路。同时,我们的结果暗示在FFA下训练的模拟网络可以直接应用于神经形态计算,从而实现能源消耗的降低和计算速度的增加。
Jun, 2024