本文提供了能量基模型（EBMs）在逼近反向传播（BP）方面的综合理论，统一了预测编码、平衡传播和对比 Hebbian 学习等算法，从 EBMs 的自由相平衡这一简单而普遍的数学特性出发，在不同的能量函数下进行选择以得出一类逼近 BP 的算法。

May, 2022

介绍 Equilibrium Propagation - 一种学习能量模型的框架，该模型仅涉及一种神经计算，并在两个阶段中执行，通过 Local perturbations，使预测从一个配置微调到减少预测误差的配置，并且在第二阶段向后传播的信号编码错误导数的梯度。

Feb, 2016

本文研究了 Markov 链蒙特卡罗采样在无监督最大似然学习中的效果，发现使用 ConvNet 势函数训练的最小框架可以实现高质量的短时合成，同时使用正确的 Langevin 噪声调整可以实现长时稳定采样；但使用收敛困难的 MCMC 训练 ConvNet 将导致样本失真。

Mar, 2019

探讨了深层次的生成模型，其中计算是既反复又随机的，但循环不是为了模拟顺序结构，而是为了执行计算，并提出了一种简单的前馈计算方法，可用于推断，使得循环神经网络非常接近网络动力学的固定点。

Jun, 2016

通过表达隐变量的辅助形式，增加贝叶斯网络中多层连续隐变量梯度推断和学习的效率，提高混合蒙特卡罗和梯度优化的速度。

Jun, 2013

本文介绍了一种利用深度神经网络和近似贝叶斯推理相结合的广义深度生成模型，并引入了用于表示近似后验分布的识别模型，并利用随机反向传播来开发算法，实现生成和识别模型参数的联合优化，最终将模型应用于实际数据集，生成更真实的分布、准确地恢复缺失数据，并在高维数据的可视化上发挥了重要作用。

Jan, 2014

Bayesian 脑理论探讨了大脑采用生成模型来理解外界世界。本研究提出了分层指数族能量模型（HEE 模型），用于捕捉推断和学习的动态。通过将分区函数分解为个别层，并利用一组具有较短时间常数的神经元来采样分解归一化项的梯度，我们的模型能够同时估计分区函数并执行推断，避免了常规能量模型中遇到的负相位问题。此外，我们展示神经适应可以作为动量项，显著加快推断过程，以适应大脑的快速计算。在自然图像数据集上，我们的模型展示出与生物视觉系统中观察到的相似表示。此外，对于机器学习社区，我们的模型可以通过联合或边缘生成产生观测数据。我们表明边缘生成优于联合生成，并且与其他能量模型的表现相当。

Oct, 2023

本研究通过引入一种新的统一的架构，将深度学习和变分框架相结合，探讨和比较各种生成式深度学习方法，以逼近将探测器观测结果映射到潜在的粒子碰撞物理量的问题。我们证明了这种方法的有效性，包括重构理论运动学量的全局分布以及确保学习后验分布符合已知的物理约束条件。与现有方法相比，这种统一方法的误差更小，达到了绝对误差的二十倍和传统潜变扩散模型的三倍。

May, 2023

研究发现，通过局部学习规则，预测编码可以渐近（且实际上很快）地收敛到任意计算图上的精确反向传播梯度，这使得标准机器学习算法理论上可以直接用神经电路实现，从而为分布式神经形态结构的开发做出了贡献。

Jun, 2020

本论文提出了一种利用生成对抗网络（GAN）和基于深度神经网络的生成模型来代替 MCMC 模型的方法，通过训练这种模型生成的采样分布近似匹配待训练的能量函数。

Jun, 2016