本文中，我们结合现代 Hopfield 网络作为注意力机制，扩展了基于平衡传播的模型在两个不同的自然语言处理任务（情感分析和自然语言推理）中的适用性，进一步理解基于能量的模型和开发解决复杂序列分类任务的解决方案。

Sep, 2022

该论文介绍了均衡传播（EP）与 Onsager 互易性之间的直接关系，并利用此关系推导出 EP 的量子版本。该方法可用于优化依赖于任意量子系统的可观测期望值的损失函数，且适用于识别量子多体基态、量子相探索、感知和相界探索等与量子力学有关的学习任务。该方案对于离子链、超导量子位阵列、中性原子 Rydberg 钳子阵列和强相互作用原子光晶格等各种量子模拟平台都具有重要意义。

Jun, 2024

均衡传播是最近介绍的一种使用和训练人工神经网络的方法，在该方法中，网络处于能量泛函的极小值（更一般地是极值）状态。均衡传播在许多基准任务上显示出良好的性能。本文将均衡传播在两个方面进行了扩展。首先，我们展示了均衡传播的一个自然量子泛化，其中量子神经网络被认为处于网络哈密顿算子的基态（更一般地说是任意的特征态）状态，并利用了均能量在特征态上的极值训练机制。其次，我们扩展了均衡传播的温度有限的分析，显示了热波动使得在训练过程中无需夹紧输出层的网络自然训练。我们还研究了均衡传播的低温极限。

May, 2024

该研究利用基于期望最大化算法的训练技术提高 VQ-VAE 模型在 CIFAR-10 数据集上的图像生成结果，并通过知识蒸馏技术，开发出一种非自回归机器翻译模型，其准确性几乎与强贪婪自回归基线变压器相当，但在推理速度上快 3.3 倍。

May, 2018

本文介绍了一种新的方法，使用平衡传播算法对 Ising 机器进行监督训练，获得与软件实现相当的结果。我们使用 D-Wave Ising 机器的量子退火程序在 MNIST 数据集上训练全连接神经网络，并且证明了该机器的连通性支持卷积操作，从而实现了每个神经元最小旋转的紧凑卷积网络的训练。这些发现将 Ising 机器作为一种有前途的可训练硬件平台，具有提高机器学习应用的潜力。

May, 2023

介绍 Equilibrium Propagation - 一种学习能量模型的框架，该模型仅涉及一种神经计算，并在两个阶段中执行，通过 Local perturbations，使预测从一个配置微调到减少预测误差的配置，并且在第二阶段向后传播的信号编码错误导数的梯度。

Feb, 2016

该研究提出了一种将遗传算法和变分自编码器相结合的进化变分自编码器方法，通过动态生成和更新不确定性权衡学习，解决了现有方法中面临的问题，包括 KL 消失问题和基于深度学习中的早期收敛和随机搜索问题。实验结果表明，与竞争方法相比，eVAE 在文本生成、图像生成质量等方面均有显著改善。

Jan, 2023

本研究提出了一种方法，利用动态规划和 Gumbel 传播在变分自编码器（VAE）的潜在空间中获取结构化稀疏的最优路径，此方法可应用于生成任务的端到端训练，并成功应用于文本转语音和合成歌声。

Jun, 2023

该研究工作介绍了平衡传播 (EP) 在训练神经网络方面的应用，扩展了基于此的算法到全纯网络，能精确计算梯度，进而支持更深层数的模型训练，并在 ImageNet 数据集上与 BP 算法进行了对比，具有重要意义。

Sep, 2022

本文提出了一种基于新颖的变分自编码器生成分层结构的符号回归方法，将简单的原子单元与共享权重相结合，递归地编码和解码分层中的个体节点，通过随机化搜寻分层结构的空间，能够在符号回归任务中准确且高效地构建等式。

Feb, 2023