Feb, 2016

平衡传播：弥合基于能量模型与反向传播之间的鸿沟

PDF
TL;DR介绍 Equilibrium Propagation - 一种学习能量模型的框架，该模型仅涉及一种神经计算，并在两个阶段中执行，通过 Local perturbations，使预测从一个配置微调到减少预测误差的配置，并且在第二阶段向后传播的信号编码错误导数的梯度。
equilibrium propagationenergy-based modelsneural computationgradientback-propagation
发现论文，激发创造
  • 推广平衡传播至矢量场动态

    该论文探讨了反向传播算法的生物学可信度以及提出了一种基于平衡传导法、解决了双向信号问题和对称连接问题的前向和后向连接的学习方法。

    Aug, 2018

  • 平衡传播和循环反向传播的等效性

    该论文研究了固定点循环神经网络的监督学习算法，发现在这些算法的第二阶段中，平衡传播中神经元激活的时间导数等于循环反向传播边缘网络中迭代计算的误差导数，从而进一步支持在生物神经网络中，神经元活动的时间导数可能用于编码误差信号的假设。

    Nov, 2017

  • 能量模型微观推断极限下的反向传播：预测编码、平衡传播和对比性赫布学习的统一

    本文提供了能量基模型（EBMs）在逼近反向传播（BP）方面的综合理论，统一了预测编码、平衡传播和对比 Hebbian 学习等算法，从 EBMs 的自由相平衡这一简单而普遍的数学特性出发，在不同的能量函数下进行选择以得出一类逼近 BP 的算法。

    May, 2022

  • 使用平衡传播进行序列学习

    本文中，我们结合现代 Hopfield 网络作为注意力机制，扩展了基于平衡传播的模型在两个不同的自然语言处理任务（情感分析和自然语言推理）中的适用性，进一步理解基于能量的模型和开发解决复杂序列分类任务的解决方案。

    Sep, 2022

  • 平衡传播：量子和热力学案例

    均衡传播是最近介绍的一种使用和训练人工神经网络的方法，在该方法中，网络处于能量泛函的极小值（更一般地是极值）状态。均衡传播在许多基准任务上显示出良好的性能。本文将均衡传播在两个方面进行了扩展。首先，我们展示了均衡传播的一个自然量子泛化，其中量子神经网络被认为处于网络哈密顿算子的基态（更一般地说是任意的特征态）状态，并利用了均能量在特征态上的极值训练机制。其次，我们扩展了均衡传播的温度有限的分析，显示了热波动使得在训练过程中无需夹紧输出层的网络自然训练。我们还研究了均衡传播的低温极限。

    May, 2024

  • 通过雅可比稳态改进非对称权重的均衡传播

    通过研究广义平衡传播（generalized EP），我们发现权重的非对称性会导致平衡传播算法与反向传播算法的性能比较低，因此我们提出了一种新的恒定目标函数，用于惩罚网络在固定点的雅可比矩阵的功能不对称性，这显著提高了网络解决复杂任务的能力，例如 ImageNet 32x32。

    Sep, 2023

  • 基于 Onsager 互易原理的量子平衡传播用于高效训练量子系统

    该论文介绍了均衡传播（EP）与 Onsager 互易性之间的直接关系，并利用此关系推导出 EP 的量子版本。该方法可用于优化依赖于任意量子系统的可观测期望值的损失函数，且适用于识别量子多体基态、量子相探索、感知和相界探索等与量子力学有关的学习任务。该方案对于离子链、超导量子位阵列、中性原子 Rydberg 钳子阵列和强相互作用原子光晶格等各种量子模拟平台都具有重要意义。

    Jun, 2024

  • 全纯平衡传播通过有限大小振荡计算精确梯度

    该研究工作介绍了平衡传播 (EP) 在训练神经网络方面的应用，扩展了基于此的算法到全纯网络，能精确计算梯度，进而支持更深层数的模型训练，并在 ImageNet 数据集上与 BP 算法进行了对比，具有重要意义。

    Sep, 2022

  • 反向传播：超越空间、时间与大脑

    在生物神经网络中实现高效的学习需要对个体突触进行适应性调节，然而，由于时空依赖性的限制，目前对于如何进行高效的信用赋值仍然是一个值得研究的问题。本文提出了一种称为广义潜在均衡（GLE）的计算框架，用于在具有时空连续性神经动力学的物理网络中实现完全本地的时空信用赋值，该框架利用了生物神经元可以根据其膜电位相移其输出速率的能力。

    Mar, 2024

  • 单相对比赫布学习的两个故事

    通过将梯度表示为活动差异的方法进行生物合理性学习算法的搜索，提出了名为 “双向传播” 的完全本地学习算法，弥补了与反向传播的性能差距，无需分离的学习阶段或无穷小的盯人，在稳定性方面仍然与对称盯人无关。

    Feb, 2024