大脑皮层微电路的计算框架近似于符号一致的随机反向传播
通过对多区域神经元网络模型的介绍,本研究提出了一种新的突触可塑性学习规则,通过基础树突上的突触修饰实现错误反向传递从而学习。并且在该框架中加入一种去抑制机制,使得该框架能够生成噪声和关注感和一些其它学习任务。
Dec, 2017
本文基于深度学习和神经科学,介绍了一种多层神经元网络模型,该模型利用简化的树突区,实现误差驱动的突触可塑性,在时间上持续地通过局部树突预测误差进行突触学习,进而解决了长期以来的突触学分配问题,并在回归和分类任务中证明模型的学习能力。
Oct, 2018
研究深度人工神经网络中的反向传播学习算法与大脑神经元突触可塑性规律的类比,介绍了不依赖于对称前向和后向突触权重的算法,提出通过加强权重符号一致性的反馈对准法的修改,可以实现与反向传播法相当的性能。这些研究结果表明,促进前向和反馈权重对准的机制对于深度网络的学习是至关重要的。
Dec, 2018
该论文研究“反馈对齐”算法的数学特性,通过分析二层网络在平方误差损失下的收敛和对齐,证明在过度参数化的情况下,误差会以指数速度收敛,以及参数对齐需要正则化。该成果对我们理解生物学可行的算法如何不同于Hebbian学习方法,具有与非本地反向传播算法相当的性能提供了方法。
Jun, 2021
本文提供了能量基模型(EBMs)在逼近反向传播(BP)方面的综合理论,统一了预测编码、平衡传播和对比 Hebbian 学习等算法,从 EBMs 的自由相平衡这一简单而普遍的数学特性出发,在不同的能量函数下进行选择以得出一类逼近 BP 的算法。
May, 2022
神经元电路如何实现学分分配是系统神经科学中一个未解决的核心问题,本文通过一种在自适应控制理论框架内得出的可行的微电路模型和Hebb学习规则展示了如何解决这一矛盾,同时对兴奋性可塑性的抑制调节提出了具体预测。
Oct, 2023
本论文研究了Metropolis-Hastings采样在训练受强烈未知非理想化影响的脉冲神经网络(SNN)硬件中的应用,并将所提出的方法与在文献中广泛使用的误差反向传播(backprop)算法和替代梯度进行了比较。通过在芯片连环训练环境中进行模拟,该研究旨在训练一个受未知失真影响的SNN来进行癌症检测。结果表明,当硬件非理想化程度较高时,所提出的方法的准确性要比backprop高达27%。此外,结果还表明,为了达到有效的准确性,所提出的方法在SNN泛化方面也优于backprop,所需的训练数据量要少于10倍。这些发现使得所提出的训练方法非常适用于模拟亚阈值电路和其他新兴技术中的SNN实现,其中未知硬件非理想化可能危及backprop算法的性能。
Feb, 2024
通过介绍一种新的神经可塑性规则,该研究提供了一种在大脑中实现反向传播的潜在机制,并在数学模拟和人工神经网络实验中证明该规则在网络中诱导出不同的社区结构,从而呈现出一种生物学上可行的 BP 实现方式。
May, 2024
通过对神经计算的进一步研究,我们证明了当使用平方欧几里得范数作为驱动局部学习的好度函数时,Forward-Forward Algorithm(FFA)等同于新赫布学习规则,并通过比较两个版本的FFA在模拟网络和脉冲神经网络中的训练行为,证实了生物学习规则与当前使用的训练算法之间的关联,并为将FFA的积极结果推广到赫布学习规则铺平了道路。同时,我们的结果暗示在FFA下训练的模拟网络可以直接应用于神经形态计算,从而实现能源消耗的降低和计算速度的增加。
Jun, 2024
本研究针对脉冲神经网络(SNNs)在训练过程中面临的不可微分性问题,提出了一种基于随机投影的增强直接反馈对齐(aDFA)方法。该方法只需部分前向过程的信息,具备易于实现和生物学上合理的特点,与传统的误差反向传播方法相比,能够在缺乏准确先验知识的情况下实现具有竞争力的性能,为脉冲神经网络的实际训练提供了重要参考。
Sep, 2024