从局部到全局秩序：神经突触平衡理论
研究深度人工神经网络中的反向传播学习算法与大脑神经元突触可塑性规律的类比，介绍了不依赖于对称前向和后向突触权重的算法，提出通过加强权重符号一致性的反馈对准法的修改，可以实现与反向传播法相当的性能。这些研究结果表明，促进前向和反馈权重对准的机制对于深度网络的学习是至关重要的。
Dec, 2018
该论文研究“反馈对齐”算法的数学特性，通过分析二层网络在平方误差损失下的收敛和对齐，证明在过度参数化的情况下，误差会以指数速度收敛，以及参数对齐需要正则化。该成果对我们理解生物学可行的算法如何不同于Hebbian学习方法，具有与非本地反向传播算法相当的性能提供了方法。
Jun, 2021
本研究提出一种基于神经科学机制实现随机反向传播的框架，该框架采用三种类型的元件和两种类型的突触连接来计算和传播错误信号，并支持全局定义的尖峰误差函数的多层尖峰神经网络的训练。使用局部部件中操作的Hebb定律来更新突触权值并以生物学可行的方式实现监督学习。最后，从优化的角度解释了提出的框架并显示其等效于符号一致反馈对齐。
May, 2022
本文提供了能量基模型（EBMs）在逼近反向传播（BP）方面的综合理论，统一了预测编码、平衡传播和对比 Hebbian 学习等算法，从 EBMs 的自由相平衡这一简单而普遍的数学特性出发，在不同的能量函数下进行选择以得出一类逼近 BP 的算法。
May, 2022
本文尝试回答生物神经系统是否可以采用梯度的一阶自适应优化方法，通过在突触内使用生物合理的机制呈现了Adam优化器的实现，提出了一个新的方法应用于生物合理的Adam学习规则，这些机制可能有助于阐明生物突触动力学如何促进学习。
Dec, 2022
本文探讨了将生物大脑在食物匮乏时进入低功率模式的类似机制应用于一类神经形态系统中的可能性，其中功耗强烈依赖于突触重量的大小。通过数学模型和仿真，我们特别展示了仔细缩放突触权重可以显著降低功耗（在部分测试用例中达到80％以上），同时对精度的影响相对较小。这些结果揭示了一种令人兴奋的机会来设计边缘AI应用的神经形态系统，其功耗可以根据能源可用性和性能需求进行动态调整。
Jun, 2023
在生物神经网络中实现高效的学习需要对个体突触进行适应性调节，然而，由于时空依赖性的限制，目前对于如何进行高效的信用赋值仍然是一个值得研究的问题。本文提出了一种称为广义潜在均衡（GLE）的计算框架，用于在具有时空连续性神经动力学的物理网络中实现完全本地的时空信用赋值，该框架利用了生物神经元可以根据其膜电位相移其输出速率的能力。
Mar, 2024
通过介绍一种新的神经可塑性规则，该研究提供了一种在大脑中实现反向传播的潜在机制，并在数学模拟和人工神经网络实验中证明该规则在网络中诱导出不同的社区结构，从而呈现出一种生物学上可行的 BP 实现方式。
May, 2024