这篇论文介绍了基于能量的模型(EBM)及其训练方法,包括最大似然训练法和 MCMC 自由法,同时介绍了 SM 和 NCE 等方法并强调它们三者之间的理论联系。
Jan, 2021
本文提出 Non-Generative EBM 方法作为一种有效的训练方法,可以在保持 EBM 中关键的稳定性和性能的同时,降低计算复杂度和开销。该方法能够大幅提高 CIFAR10 和 CIFAR100 数据集的预期校准误差。
Apr, 2023
本文提出了一种双向边界的 Energy-based model 对数似然的优化方法,并且使用 Jacobi-determinant 的新估计器来评估这种边界,从而提高密度估计和样本生成的质量。
Nov, 2021
本文提出了一种基于扩散概率模型的能量模型训练和采样方法,其将数据集分成一系列噪声水平并在其上训练每个 EBM,优化回收概率而非边缘概率的方式为此提供了一个简便的方法,并在多个图像数据集及 CIFAR-10 上实现了高保真采样。
Dec, 2020
本文研究通过最大化随机抽样分布的似然函数从而获得一类能量启发式模型,这些模型包含了学习能量函数并提供精确样本和可计算的对数似然下界。同时,这些模型对比了不同的随机抽样算法并提供了对噪声对比估计和对比预测编码排名的新见解。
Oct, 2019
本文提出了一种简单的方法来训练基于能量的模型(EBMs),并将其应用于半监督分类,方法利用熵正则化的生成器来分摊在 EBM 训练中通常使用的 MCMC 采样,这使得实验结果更快、稳定和可行。
Oct, 2020
通过使用新的基于能量的面向流模型 EBFlow,无需计算雅可比行列式即可在流模型的构建中使用任意线性层,从而提高了训练效率并提高了性能。
May, 2023
本文提出了一种新颖的能量校准生成模型,该模型利用条件 EBM 来增强变分自动编码器(VAEs)的性能,针对 VAEs 在生成方向上训练不足而导致生成结果模糊的问题,以及 EBMs 需要昂贵的马尔可夫链蒙特卡罗(MCMC)采样的问题,我们引入了条件 EBM 用于训练时校准生成方向,而不需要在测试时进行采样,这样的方法使得生成模型能够根据数据和校准样本进行自适应加权的训练,从而提高了效率和效果,而不需要在推理阶段进行 MCMC 采样,我们还展示了该方法可以扩展到校准归一化流和变分后验,并提出将该方法应用于基于神经传输先验和零射图像恢复,通过广泛的实验在图像生成和零射图像恢复等各种应用中证明了该方法的有效性,我们的方法在单步非对抗式生成方面展现了最先进的性能。
Nov, 2023
本文研究了使用能量基模型进行 out-of-distribution 检测,并发现能量基模型并未表现出优越性,我们假设能量基模型在学习语义特征方面存在不足,通过实验验证发现监督学习和架构限制能够提高 EBMs 的 OOD 检测能力。
Jul, 2021
本文介绍了通过引入扩散数据和使用增强采样算法,通过持续对比散度学习一种联合的能量基模型,称为扩散辅助 - EBM,来实现复杂的,多模态分布的准确采样和密度估计,并进行了 2D 和图像实验,证明了持续训练的 EBMs 可以同时实现长时间稳定性,后训练图像生成和卓越的异常检测。