基于脉冲的因果推理用于权值对齐
研究深度人工神经网络中的反向传播学习算法与大脑神经元突触可塑性规律的类比,介绍了不依赖于对称前向和后向突触权重的算法,提出通过加强权重符号一致性的反馈对准法的修改,可以实现与反向传播法相当的性能。这些研究结果表明,促进前向和反馈权重对准的机制对于深度网络的学习是至关重要的。
Dec, 2018
通过使用反馈对齐算法,提出了一种生物相似性算法来替代反向传播,用一个稀疏的反馈矩阵可以显著改进数据移动和计算的效率,与反向传播相比,可以实现数量级的改进,并且可以在某些方面获得硬件优势,同时还可以获得具有可比性的结果。
Jan, 2019
本文提出两种机制:神经电路称为“权值镜像”和一种修正Kolen和Pollack于1994年提出的算法的方法来解决反馈路径的合适突触权重的学习。经验表明,这些机制对于大型网络的深度学习具有高效和精确的学习能力,且不需要复杂的连线。这些机制在ImageNet视觉识别任务上表现超过了反馈对齐和新的符号对称方法,并且几乎匹配了标准的深度学习算法backprop。
Apr, 2019
本文讨论了反向传播算法的神经可行性,研究了一种竞争性的局部学习规则和几种使权重传输过程更生物学可行的非局部学习规则,并提出了两条无需权重对称的神经实现学分分配的路径。
Feb, 2020
通过将神经网络视为一种随时间推移的动力系统,我们发现网络的输运映射中存在低动能位移偏差,并将其与泛化性能相关联,从而提出了一种新的学习算法,该算法可自动适应给定任务的复杂度,并在低数据情况下产生具有高泛化能力的网络。
Sep, 2020
该论文研究“反馈对齐”算法的数学特性,通过分析二层网络在平方误差损失下的收敛和对齐,证明在过度参数化的情况下,误差会以指数速度收敛,以及参数对齐需要正则化。该成果对我们理解生物学可行的算法如何不同于Hebbian学习方法,具有与非本地反向传播算法相当的性能提供了方法。
Jun, 2021
本文尝试回答生物神经系统是否可以采用梯度的一阶自适应优化方法,通过在突触内使用生物合理的机制呈现了Adam优化器的实现,提出了一个新的方法应用于生物合理的Adam学习规则,这些机制可能有助于阐明生物突触动力学如何促进学习。
Dec, 2022
通过研究广义平衡传播(generalized EP),我们发现权重的非对称性会导致平衡传播算法与反向传播算法的性能比较低,因此我们提出了一种新的恒定目标函数,用于惩罚网络在固定点的雅可比矩阵的功能不对称性,这显著提高了网络解决复杂任务的能力,例如ImageNet 32x32。
Sep, 2023
脉冲神经网络在信息表示和处理中依赖信号的时间性。本文提出了一种基于事件的分析方法,可以计算出准确的损失梯度,包括突触权重和传输延迟,丰富了模型的搜索空间。研究结果显示,学习延迟在提高准确性和参数效率方面具有重要优势。
Apr, 2024