生成对抗网络（GANs）可以生成高质量的样本，但不能提供样本周围的概率密度估计。本文通过最大化 log-likelihood 来建议改进分区函数的无偏估计方法，同时最大化生成器熵以提供更好的模式覆盖，利用一种新型的流网络 —— 单向流网络来计算生成样本的密度，从而设计出分区函数的无偏估计方法，并在实验中验证了该方法的快速收敛性、与相似结构 GANs 相当的样本质量、成功避免过度拟合常见数据集以及产生平滑的低维潜在数据表示。

Jul, 2023

本论文提出了一种利用生成对抗网络（GAN）和基于深度神经网络的生成模型来代替 MCMC 模型的方法，通过训练这种模型生成的采样分布近似匹配待训练的能量函数。

Jun, 2016

本文提出了一种在生成对抗网络中产生直接能量估计样本的方法，并证明该方法不仅可以确保生成器收敛到真实数据分布，而且还能使辨别器在全局最优时保留密度信息。我们推导出所引入解决方案的解析形式，并分析其性质。为了使所提出的框架在实践中可训练，我们引入了两种有效的近似技术。实验结果与理论分析紧密匹配，证明辨别器能够恢复数据分布的能量。

Feb, 2017

本文研究了训练基于能量的模型（EBMs）的最大似然估计方法，通过确定性梯度下降 ODE 解法替换 Langevin 动力学以了解该训练过程，并将动力学视为生成器模型并通过优化由能量确定生成器的梯度定义的评论家来连接 GAN，因此提出了自对抗损失。研究表明，EBM 训练实际上是一种自对抗性的过程，而不是最大似然估计。

Feb, 2021

提出了一种有效的用于指数族模型最大似然估计的算法，包括神经网络模型的一般能量函数参数化。通过运用动力学嵌入的神经架构，利用动力学扩展模型获取与对抗性双重取样器相关的估计，我们继承 HMC 的灵活性，同时为增广模型提供了可处理的熵估计。通过同时学习双重取样器和原始模型，并共用它们之间的参数，我们避免了需要在模型训练后设计单独的采样过程的要求，从而实现更有效的学习。

Apr, 2019

本文提出了一种基于扩散概率模型的能量模型训练和采样方法，其将数据集分成一系列噪声水平并在其上训练每个 EBM，优化回收概率而非边缘概率的方式为此提供了一个简便的方法，并在多个图像数据集及 CIFAR-10 上实现了高保真采样。

Dec, 2020

本文提出 Non-Generative EBM 方法作为一种有效的训练方法，可以在保持 EBM 中关键的稳定性和性能的同时，降低计算复杂度和开销。该方法能够大幅提高 CIFAR10 和 CIFAR100 数据集的预期校准误差。

Apr, 2023

通过利用神经网络作为概率无关推断的代理模型，使用隐式生成模型或模拟器提供的联合概率比和联合得分来增强这些代理模型的训练数据，提出了一种新的交叉熵估计器，与之前利用增强训练数据的损失函数相比，该估计器提供了更好的样本效率。

Aug, 2018

该论文研究了无监督学习中生成模型的训练方法，提出了一种在对抗网络与似然训练之间进行混合训练的方法，其中使用深度可逆变换来解决概率和逆变换之间的冲突，实现了更好的生成样本和更高的似然性评估。

Jan, 2019

通过将能量式模型（EBMs）嵌入到去噪步骤中，将长时间生成的过程分解为几个较小步骤，采用对称的 Jeffrey 散度和引入变分后验分布进行生成器的训练，以解决对抗性 EBMs 存在的主要挑战，实验证明与现有的对抗性 EBMs 相比，在生成方面有显著的改进，同时为高效密度估计提供了有用的能量函数。

Mar, 2024