在能量模型（EBMs）中，我们提出了一种有效的采样框架：带有矩匹配的（伪）Gibbs 采样，以便从经过 Denoising Score Matching （DSM）训练的 “嘈杂” 模型中有效采样。与相关方法相比，探讨了我们方法的优点，并展示了如何扩展此方法以适用高维度数据集。

May, 2023

本文研究通过最大化随机抽样分布的似然函数从而获得一类能量启发式模型，这些模型包含了学习能量函数并提供精确样本和可计算的对数似然下界。同时，这些模型对比了不同的随机抽样算法并提供了对噪声对比估计和对比预测编码排名的新见解。

Oct, 2019

本文提出了一种基于扩散概率模型的能量模型训练和采样方法，其将数据集分成一系列噪声水平并在其上训练每个 EBM，优化回收概率而非边缘概率的方式为此提供了一个简便的方法，并在多个图像数据集及 CIFAR-10 上实现了高保真采样。

Dec, 2020

本文介绍了一种基于 Jarzynski 平等和序贯蒙特卡洛抽样工具的改进型未校正 Langevin 算法来更有效地计算交叉熵的梯度，避免了标准对比散度算法中存在的不可控逼近问题，在高斯混合分布和 MNIST 数据集上的实验结果均显示该方法优于对比散度算法。

May, 2023

本文提出一种利用多尺度去噪得分匹配的能量模型 (Energy-Based Model, EBM)，并利用多噪声级别的数据进行训练。该模型在高维数据的样本合成和密度估计方面取得了与 GAN 相当的性能，并在图像修复任务中表现良好。

Oct, 2019

本研究提出一种新的最大似然训练算法，使用正规化流（NF）来提高能量基模型（EBMs）的采样效率及精度。

Jun, 2023

本文介绍了通过能量差异（ED）这种新型对比损失函数训练离散能量模型（EBMs）的方法，并研究了基于伯努利噪声、确定性变换和邻域结构的三种扰动过程对其效果的影响。

Jul, 2023

采用似然比未知的情况下可估计的概率分类器进行样本权重优化的无似然比重要加权方法，可以用于校正生成模型中的偏差问题，并提高生成模型的样本质量和性能。

Jun, 2019

通过引入排名噪声对比估计（R-NCE）、可学习的负采样器和非对抗联合训练等关键因素，我们证明了高维连续空间中能量模型在训练时并不是不切实际的，我们的训练算法使能量模型作为策略在多模态路径规划和有接触力量推动等难度较高的基准测试中与扩散模型和其他最先进方法相竞争甚至表现更好。

Sep, 2023

我们提出了广义对比散度（GCD），这是一种同时训练能量模型（EBM）和采样器的新型客观函数。GCD 通过用可训练的采样器（如扩散模型）取代马尔可夫链蒙特卡罗（MCMC）分布，将对比散度（Hinton, 2002）这种训练 EBM 的著名算法进行泛化。在 GCD 中，EBM 和扩散模型的联合训练被制定为一个极小 - 极大问题，在两个模型都收敛到数据分布时达到平衡。通过 GCD 的极小 - 极大学习与逆强化学习存在有趣的等价性，其中能量对应于负奖励，扩散模型是一种策略，真实数据是专家示范。我们提出了初步但有前途的结果，表明联合训练对 EBM 和扩散模型都有益处。GCD 使得 EBM 训练无需 MCMC，同时提高了扩散模型的样本质量。

Dec, 2023