May, 2024

平衡传播：量子和热力学案例

PDF
TL;DR均衡传播是最近介绍的一种使用和训练人工神经网络的方法，在该方法中，网络处于能量泛函的极小值（更一般地是极值）状态。均衡传播在许多基准任务上显示出良好的性能。本文将均衡传播在两个方面进行了扩展。首先，我们展示了均衡传播的一个自然量子泛化，其中量子神经网络被认为处于网络哈密顿算子的基态（更一般地说是任意的特征态）状态，并利用了均能量在特征态上的极值训练机制。其次，我们扩展了均衡传播的温度有限的分析，显示了热波动使得在训练过程中无需夹紧输出层的网络自然训练。我们还研究了均衡传播的低温极限。
发现论文，激发创造
  • 基于 Onsager 互易原理的量子平衡传播用于高效训练量子系统

    该论文介绍了均衡传播（EP）与 Onsager 互易性之间的直接关系，并利用此关系推导出 EP 的量子版本。该方法可用于优化依赖于任意量子系统的可观测期望值的损失函数，且适用于识别量子多体基态、量子相探索、感知和相界探索等与量子力学有关的学习任务。该方案对于离子链、超导量子位阵列、中性原子 Rydberg 钳子阵列和强相互作用原子光晶格等各种量子模拟平台都具有重要意义。

    Jun, 2024

  • 量子平衡传播：量子系统的梯度下降训练

    平衡传播（EP）是一种基于能量的系统的训练框架，它利用系统的物理性质来提取权重梯度，以实现成本函数的梯度下降，是发展能效处理器应用于机器学习的候选方法之一。本文将 EP 扩展到量子系统，并研究了经典物理系统和量子系统的例子。

    Jun, 2024

  • 平衡传播：弥合基于能量模型与反向传播之间的鸿沟

    介绍 Equilibrium Propagation - 一种学习能量模型的框架，该模型仅涉及一种神经计算，并在两个阶段中执行，通过 Local perturbations，使预测从一个配置微调到减少预测误差的配置，并且在第二阶段向后传播的信号编码错误导数的梯度。

    Feb, 2016

  • 软委员会机器的统计物理学和实践培训

    通过 replica formalism，研究了具有可微激活函数和单个线性输出单元的大型分层神经网络的平衡状态。在学习完全匹配复杂度规则的非常多的隐藏单元的学生网络的基础上，计算了定量的冻结自由能，发现系统在训练集的临界大小下从不专业化到专业化的学生配置的一级相变。通过固定的训练集进行随机梯度下降的计算机模拟表明，平衡结果在实际训练过程中的平台状态中得到了定量描述。

    Dec, 1998

  • 全纯平衡传播通过有限大小振荡计算精确梯度

    该研究工作介绍了平衡传播 (EP) 在训练神经网络方面的应用，扩展了基于此的算法到全纯网络，能精确计算梯度，进而支持更深层数的模型训练，并在 ImageNet 数据集上与 BP 算法进行了对比，具有重要意义。

    Sep, 2022

  • 使用平衡传播进行序列学习

    本文中，我们结合现代 Hopfield 网络作为注意力机制，扩展了基于平衡传播的模型在两个不同的自然语言处理任务（情感分析和自然语言推理）中的适用性，进一步理解基于能量的模型和开发解决复杂序列分类任务的解决方案。

    Sep, 2022

  • 推广平衡传播至矢量场动态

    该论文探讨了反向传播算法的生物学可信度以及提出了一种基于平衡传导法、解决了双向信号问题和对称连接问题的前向和后向连接的学习方法。

    Aug, 2018

  • 平衡传播和循环反向传播的等效性

    该论文研究了固定点循环神经网络的监督学习算法，发现在这些算法的第二阶段中，平衡传播中神经元激活的时间导数等于循环反向传播边缘网络中迭代计算的误差导数，从而进一步支持在生物神经网络中，神经元活动的时间导数可能用于编码误差信号的假设。

    Nov, 2017

  • 通过雅可比稳态改进非对称权重的均衡传播

    通过研究广义平衡传播（generalized EP），我们发现权重的非对称性会导致平衡传播算法与反向传播算法的性能比较低，因此我们提出了一种新的恒定目标函数，用于惩罚网络在固定点的雅可比矩阵的功能不对称性，这显著提高了网络解决复杂任务的能力，例如 ImageNet 32x32。

    Sep, 2023

  • 使用平衡传播训练 Hopfield 变分自编码器

    该研究论文介绍了平衡传播在训练变分自编码器中的应用，利用对称的 Hopfield 网络结构，提出使用一种模型兼作编码器和解码器，可有效减少 VAE 实施所需芯片尺寸，为更高效的模拟硬件配置铺平了道路。

    Nov, 2023