我们提出了广义对比散度（GCD），这是一种同时训练能量模型（EBM）和采样器的新型客观函数。GCD 通过用可训练的采样器（如扩散模型）取代马尔可夫链蒙特卡罗（MCMC）分布，将对比散度（Hinton, 2002）这种训练 EBM 的著名算法进行泛化。在 GCD 中，EBM 和扩散模型的联合训练被制定为一个极小 - 极大问题，在两个模型都收敛到数据分布时达到平衡。通过 GCD 的极小 - 极大学习与逆强化学习存在有趣的等价性，其中能量对应于负奖励，扩散模型是一种策略，真实数据是专家示范。我们提出了初步但有前途的结果，表明联合训练对 EBM 和扩散模型都有益处。GCD 使得 EBM 训练无需 MCMC，同时提高了扩散模型的样本质量。

Dec, 2023

本文介绍了通过引入扩散数据和使用增强采样算法，通过持续对比散度学习一种联合的能量基模型，称为扩散辅助 - EBM，来实现复杂的，多模态分布的准确采样和密度估计，并进行了 2D 和图像实验，证明了持续训练的 EBMs 可以同时实现长时间稳定性，后训练图像生成和卓越的异常检测。

Apr, 2023

通过将能量式模型（EBMs）嵌入到去噪步骤中，将长时间生成的过程分解为几个较小步骤，采用对称的 Jeffrey 散度和引入变分后验分布进行生成器的训练，以解决对抗性 EBMs 存在的主要挑战，实验证明与现有的对抗性 EBMs 相比，在生成方面有显著的改进，同时为高效密度估计提供了有用的能量函数。

Mar, 2024

本文提出了 f-EBM 框架，该框架利用 f 散度来训练 EBM，实验结果表明 f-EBM 的优越性以及使用 f 散度训练 EBM 的好处。

Mar, 2020

本文介绍了通过能量差异（ED）这种新型对比损失函数训练离散能量模型（EBMs）的方法，并研究了基于伯努利噪声、确定性变换和邻域结构的三种扰动过程对其效果的影响。

Jul, 2023

本文提出了一种基于扩散概率模型的能量模型训练和采样方法，其将数据集分成一系列噪声水平并在其上训练每个 EBM，优化回收概率而非边缘概率的方式为此提供了一个简便的方法，并在多个图像数据集及 CIFAR-10 上实现了高保真采样。

Dec, 2020

本文研究了使用 MCMC 学习能量模型（EBM）中的一个有趣现象。我们将非收敛、不混合、不持久的短程 MCMC 作为学习非收敛器模型或流模型，在生成实例后，我们将按照最大似然学习梯度来更新模型参数，就好像合成实例是从当前模型中公平地抽样一样。此外，我们还展示了学习的短程 MCMC 能够生成逼真的图像，并且与传统的 EBM 或 MCMC 不同，学习的短程 MCMC 能够重新构建观察图像并在图像之间插值，就像生成器或流模型一样。

Apr, 2019

本文提出 Non-Generative EBM 方法作为一种有效的训练方法，可以在保持 EBM 中关键的稳定性和性能的同时，降低计算复杂度和开销。该方法能够大幅提高 CIFAR10 和 CIFAR100 数据集的预期校准误差。

Apr, 2023

本文研究了基于能量的模型（EBM）的基本学习问题，通过最大似然估计（MLE）和生成模型的联合训练来提高 EBM 的学习效果。

Dec, 2023

通过改进 CD 训练方法， 研究表明难以计算但可以计算出来的梯度对于避免训练不稳定性很重要，并可以使用数据增强和多尺度处理来提高模型的鲁棒性和生成质量，通过在多个基准测试中评估模型架构的稳定性，以及在图像生成，OOD 检测和合成生成等用例中表现出改进的性能。

Dec, 2020