平衡传播和循环反向传播的等效性
介绍 Equilibrium Propagation - 一种学习能量模型的框架，该模型仅涉及一种神经计算，并在两个阶段中执行，通过 Local perturbations，使预测从一个配置微调到减少预测误差的配置，并且在第二阶段向后传播的信号编码错误导数的梯度。
Feb, 2016
本文中，我们结合现代 Hopfield 网络作为注意力机制，扩展了基于平衡传播的模型在两个不同的自然语言处理任务（情感分析和自然语言推理）中的适用性，进一步理解基于能量的模型和开发解决复杂序列分类任务的解决方案。
Sep, 2022
该研究工作介绍了平衡传播 (EP) 在训练神经网络方面的应用，扩展了基于此的算法到全纯网络，能精确计算梯度，进而支持更深层数的模型训练，并在 ImageNet 数据集上与 BP 算法进行了对比，具有重要意义。
Sep, 2022
本文提供了能量基模型（EBMs）在逼近反向传播（BP）方面的综合理论，统一了预测编码、平衡传播和对比 Hebbian 学习等算法，从 EBMs 的自由相平衡这一简单而普遍的数学特性出发，在不同的能量函数下进行选择以得出一类逼近 BP 的算法。
May, 2022
通过研究广义平衡传播（generalized EP），我们发现权重的非对称性会导致平衡传播算法与反向传播算法的性能比较低，因此我们提出了一种新的恒定目标函数，用于惩罚网络在固定点的雅可比矩阵的功能不对称性，这显著提高了网络解决复杂任务的能力，例如 ImageNet 32x32。
Sep, 2023
均衡传播是最近介绍的一种使用和训练人工神经网络的方法，在该方法中，网络处于能量泛函的极小值（更一般地是极值）状态。均衡传播在许多基准任务上显示出良好的性能。本文将均衡传播在两个方面进行了扩展。首先，我们展示了均衡传播的一个自然量子泛化，其中量子神经网络被认为处于网络哈密顿算子的基态（更一般地说是任意的特征态）状态，并利用了均能量在特征态上的极值训练机制。其次，我们扩展了均衡传播的温度有限的分析，显示了热波动使得在训练过程中无需夹紧输出层的网络自然训练。我们还研究了均衡传播的低温极限。
May, 2024
在生物神经网络中实现高效的学习需要对个体突触进行适应性调节，然而，由于时空依赖性的限制，目前对于如何进行高效的信用赋值仍然是一个值得研究的问题。本文提出了一种称为广义潜在均衡（GLE）的计算框架，用于在具有时空连续性神经动力学的物理网络中实现完全本地的时空信用赋值，该框架利用了生物神经元可以根据其膜电位相移其输出速率的能力。
Mar, 2024
该论文介绍了均衡传播（EP）与 Onsager 互易性之间的直接关系，并利用此关系推导出 EP 的量子版本。该方法可用于优化依赖于任意量子系统的可观测期望值的损失函数，且适用于识别量子多体基态、量子相探索、感知和相界探索等与量子力学有关的学习任务。该方案对于离子链、超导量子位阵列、中性原子 Rydberg 钳子阵列和强相互作用原子光晶格等各种量子模拟平台都具有重要意义。
Jun, 2024
该论文研究 “反馈对齐” 算法的数学特性，通过分析二层网络在平方误差损失下的收敛和对齐，证明在过度参数化的情况下，误差会以指数速度收敛，以及参数对齐需要正则化。该成果对我们理解生物学可行的算法如何不同于 Hebbian 学习方法，具有与非本地反向传播算法相当的性能提供了方法。
Jun, 2021