May, 2022

能量模型微观推断极限下的反向传播：预测编码、平衡传播和对比性赫布学习的统一

PDF
TL;DR本文提供了能量基模型（EBMs）在逼近反向传播（BP）方面的综合理论，统一了预测编码、平衡传播和对比 Hebbian 学习等算法，从 EBMs 的自由相平衡这一简单而普遍的数学特性出发，在不同的能量函数下进行选择以得出一类逼近 BP 的算法。
credit assignmentbackpropagationenergy-based modelspredictive codingequilibrium propagation
发现论文，激发创造
  • 平衡传播：弥合基于能量模型与反向传播之间的鸿沟

    介绍 Equilibrium Propagation - 一种学习能量模型的框架，该模型仅涉及一种神经计算，并在两个阶段中执行，通过 Local perturbations，使预测从一个配置微调到减少预测误差的配置，并且在第二阶段向后传播的信号编码错误导数的梯度。

    Feb, 2016

  • 使用平衡传播进行序列学习

    本文中，我们结合现代 Hopfield 网络作为注意力机制，扩展了基于平衡传播的模型在两个不同的自然语言处理任务（情感分析和自然语言推理）中的适用性，进一步理解基于能量的模型和开发解决复杂序列分类任务的解决方案。

    Sep, 2022

  • 平衡中的贡献，按比例连接：从简单的生物可塑性规则中产生反向传播

    通过介绍一种新的神经可塑性规则，该研究提供了一种在大脑中实现反向传播的潜在机制，并在数学模拟和人工神经网络实验中证明该规则在网络中诱导出不同的社区结构，从而呈现出一种生物学上可行的 BP 实现方式。

    May, 2024

  • 反向传播：超越空间、时间与大脑

    在生物神经网络中实现高效的学习需要对个体突触进行适应性调节，然而，由于时空依赖性的限制，目前对于如何进行高效的信用赋值仍然是一个值得研究的问题。本文提出了一种称为广义潜在均衡（GLE）的计算框架，用于在具有时空连续性神经动力学的物理网络中实现完全本地的时空信用赋值，该框架利用了生物神经元可以根据其膜电位相移其输出速率的能力。

    Mar, 2024

  • 预测编码近似计算任意计算图上的反向传播

    研究发现，通过局部学习规则，预测编码可以渐近（且实际上很快）地收敛到任意计算图上的精确反向传播梯度，这使得标准机器学习算法理论上可以直接用神经电路实现，从而为分布式神经形态结构的开发做出了贡献。

    Jun, 2020

  • 基于能量模型的早期推断近似反向传播算法

    通过观察后向传播错误梯度以及隐变量的激活，我们探讨了用 Langevin MCMC 方法估计基于能量的模型中的潜变量。我们提出了连续变量潜变量理论与 BP 算法在深层网络中的学习方式高效类比存在的可能性。

    Oct, 2015

  • 推广平衡传播至矢量场动态

    该论文探讨了反向传播算法的生物学可信度以及提出了一种基于平衡传导法、解决了双向信号问题和对称连接问题的前向和后向连接的学习方法。

    Aug, 2018

  • 大脑皮层微电路的计算框架近似于符号一致的随机反向传播

    本研究提出一种基于神经科学机制实现随机反向传播的框架，该框架采用三种类型的元件和两种类型的突触连接来计算和传播错误信号，并支持全局定义的尖峰误差函数的多层尖峰神经网络的训练。使用局部部件中操作的 Hebb 定律来更新突触权值并以生物学可行的方式实现监督学习。最后，从优化的角度解释了提出的框架并显示其等效于符号一致反馈对齐。

    May, 2022

  • 层次指数族能量模型中的神经采样

    Bayesian 脑理论探讨了大脑采用生成模型来理解外界世界。本研究提出了分层指数族能量模型（HEE 模型），用于捕捉推断和学习的动态。通过将分区函数分解为个别层，并利用一组具有较短时间常数的神经元来采样分解归一化项的梯度，我们的模型能够同时估计分区函数并执行推断，避免了常规能量模型中遇到的负相位问题。此外，我们展示神经适应可以作为动量项，显著加快推断过程，以适应大脑的快速计算。在自然图像数据集上，我们的模型展示出与生物视觉系统中观察到的相似表示。此外，对于机器学习社区，我们的模型可以通过联合或边缘生成产生观测数据。我们表明边缘生成优于联合生成，并且与其他能量模型的表现相当。

    Oct, 2023

  • 基于 Onsager 互易原理的量子平衡传播用于高效训练量子系统

    该论文介绍了均衡传播（EP）与 Onsager 互易性之间的直接关系，并利用此关系推导出 EP 的量子版本。该方法可用于优化依赖于任意量子系统的可观测期望值的损失函数，且适用于识别量子多体基态、量子相探索、感知和相界探索等与量子力学有关的学习任务。该方案对于离子链、超导量子位阵列、中性原子 Rydberg 钳子阵列和强相互作用原子光晶格等各种量子模拟平台都具有重要意义。

    Jun, 2024