我们提出了广义对比散度（GCD），这是一种同时训练能量模型（EBM）和采样器的新型客观函数。GCD 通过用可训练的采样器（如扩散模型）取代马尔可夫链蒙特卡罗（MCMC）分布，将对比散度（Hinton, 2002）这种训练 EBM 的著名算法进行泛化。在 GCD 中，EBM 和扩散模型的联合训练被制定为一个极小 - 极大问题，在两个模型都收敛到数据分布时达到平衡。通过 GCD 的极小 - 极大学习与逆强化学习存在有趣的等价性，其中能量对应于负奖励，扩散模型是一种策略，真实数据是专家示范。我们提出了初步但有前途的结果，表明联合训练对 EBM 和扩散模型都有益处。GCD 使得 EBM 训练无需 MCMC，同时提高了扩散模型的样本质量。

Dec, 2023

Symplectic Adjoint Guidance (SAG) proposes a training-free guided sampling approach in diffusion models, improving accuracy and quality of image and video generation by estimating the clean image using multiple function calls and obtaining gradients efficiently.

Dec, 2023

本文提出了一种在生成对抗网络中产生直接能量估计样本的方法，并证明该方法不仅可以确保生成器收敛到真实数据分布，而且还能使辨别器在全局最优时保留密度信息。我们推导出所引入解决方案的解析形式，并分析其性质。为了使所提出的框架在实践中可训练，我们引入了两种有效的近似技术。实验结果与理论分析紧密匹配，证明辨别器能够恢复数据分布的能量。

Feb, 2017

通过引入排名噪声对比估计（R-NCE）、可学习的负采样器和非对抗联合训练等关键因素，我们证明了高维连续空间中能量模型在训练时并不是不切实际的，我们的训练算法使能量模型作为策略在多模态路径规划和有接触力量推动等难度较高的基准测试中与扩散模型和其他最先进方法相竞争甚至表现更好。

Sep, 2023

该论文提出了一种新的训练方法，该方法联合估计基于能量和基于流的模型，并且这两个模型通过共享的敌对价值函数进行迭代更新。该方法通过噪声对比估计来更新基于能量的模型，以流模型作为强噪声分布。同时，该方法还近似地最小化了流模型与数据分布之间的 Jensen-Shannon 距离，相比生成式对抗网络（GAN）能够更有效地在无监督特征学习和半监督学习中表现。

Dec, 2019

本文介绍了通过能量差异（ED）这种新型对比损失函数训练离散能量模型（EBMs）的方法，并研究了基于伯努利噪声、确定性变换和邻域结构的三种扰动过程对其效果的影响。

Jul, 2023

提出了一种新颖的强化学习算法，可有效地在可行样本的流形上进行探索，并通过对图像、生物序列和分子三个领域的理论分析和实证验证提供了一种后悔保证.

Feb, 2024

本论文提出了一种利用生成对抗网络（GAN）和基于深度神经网络的生成模型来代替 MCMC 模型的方法，通过训练这种模型生成的采样分布近似匹配待训练的能量函数。

Jun, 2016

我们提出了协同扩散恢复似然 (CDRL) 方法，该方法通过在逐渐噪声增加的数据版本上定义一系列的能量基模型 (EBM)，并配对每个 EBM 的初始化模型，以从 EBMs 学习并采样，从而显著提高了样本质量。在 CIFAR-10 和 ImageNet 32x32 上，与现有的 EBM 方法相比，我们的方法在 FID 得分上有明显提高，并且比 DRL 快 2 倍。此外，我们还将我们的方法扩展到组合生成和图像修复任务，并展示了 CDRL 在无分类器指导的条件生成中的兼容性，实现了与扩散模型相似的样本质量和样本多样性的权衡。

Sep, 2023

本研究提出了一种新型比率匹配方法，即借助导数函数构建最佳提议分布，并采用重要性采样实现相应目标，以解决离散能量模型在高维数据中计算量和内存需求过大的难题，实验证明该方法在处理高维数据中比比率匹配更加高效。

Oct, 2022