ICLRFeb, 2021

最大似然训练的 EBMs 是使用自对抗损失训练的生成模型

PDF
TL;DR本文研究了训练基于能量的模型（EBMs）的最大似然估计方法，通过确定性梯度下降 ODE 解法替换 Langevin 动力学以了解该训练过程，并将动力学视为生成器模型并通过优化由能量确定生成器的梯度定义的评论家来连接 GAN，因此提出了自对抗损失。研究表明，EBM 训练实际上是一种自对抗性的过程，而不是最大似然估计。
maximum likelihood estimationenergy-based modelsmcmc algorithmslangevin dynamicsself-adversarial loss
发现论文，激发创造
  • 通过双 MCMC 教学学习基于能量的模型

    本文研究了基于能量的模型（EBM）的基本学习问题，通过最大似然估计（MLE）和生成模型的联合训练来提高 EBM 的学习效果。

    Dec, 2023

  • 非生成能量模型

    本文提出 Non-Generative EBM 方法作为一种有效的训练方法，可以在保持 EBM 中关键的稳定性和性能的同时，降低计算复杂度和开销。该方法能够大幅提高 CIFAR10 和 CIFAR100 数据集的预期校准误差。

    Apr, 2023

  • 通过扩散过程改进敌对能量模型

    通过将能量式模型（EBMs）嵌入到去噪步骤中，将长时间生成的过程分解为几个较小步骤，采用对称的 Jeffrey 散度和引入变分后验分布进行生成器的训练，以解决对抗性 EBMs 存在的主要挑战，实验证明与现有的对抗性 EBMs 相比，在生成方面有显著的改进，同时为高效密度估计提供了有用的能量函数。

    Mar, 2024

  • 训练能量基模型的方法

    这篇论文介绍了基于能量的模型（EBM）及其训练方法，包括最大似然训练法和 MCMC 自由法，同时介绍了 SM 和 NCE 等方法并强调它们三者之间的理论联系。

    Jan, 2021

  • 持续训练的扩散辅助能量模型

    本文介绍了通过引入扩散数据和使用增强采样算法，通过持续对比散度学习一种联合的能量基模型，称为扩散辅助 - EBM，来实现复杂的，多模态分布的准确采样和密度估计，并进行了 2D 和图像实验，证明了持续训练的 EBMs 可以同时实现长时间稳定性，后训练图像生成和卓越的异常检测。

    Apr, 2023

  • 四面八方的界限：使用双向界限训练能量模型

    本文提出了一种双向边界的 Energy-based model 对数似然的优化方法，并且使用 Jacobi-determinant 的新估计器来评估这种边界，从而提高密度估计和样本生成的质量。

    Nov, 2021

  • 使用对抗性训练学习基于能量的模型

    我们研究了一种基于对抗训练的学习能量模型（EBMs）的新方法。我们发现二元对抗训练（AT）学习了一种特殊类型的能量函数，它建模了数据分布的支持，学习过程与基于 MCMC 的 EBMs 最大似然学习密切相关。我们进一步提出了用于 AT 的改进技术，并证明了这种新方法能够生成多样化和逼真的图像。除了具有与显式 EBMs 相比有竞争力的图像生成性能外，该研究方法易于稳定训练，特别适用于图像翻译任务，并展现了强大的对抗鲁棒性。我们的结果表明，AT 方法对于生成建模是可行的，suggesting，AT 是学习 EBMs 的竞争替代方法。

    Dec, 2020

  • 通过扩散恢复似然学习能量相关模型

    本文提出了一种基于扩散概率模型的能量模型训练和采样方法，其将数据集分成一系列噪声水平并在其上训练每个 EBM，优化回收概率而非边缘概率的方式为此提供了一个简便的方法，并在多个图像数据集及 CIFAR-10 上实现了高保真采样。

    Dec, 2020

  • 使用变分自编码器作为分摊采样器学习基于能量的模型

    通过学习用于初始化 MCMC 的变分自编码器，实现了宏观的 EBM 采样，并将其与 EBM 和变分自编码器一起使用以生成样本和解决条件生成任务。

    Dec, 2020

  • 我不需要 MCMC：分摊采样用于能量模型的快速稳定训练

    本文提出了一种简单的方法来训练基于能量的模型（EBMs），并将其应用于半监督分类，方法利用熵正则化的生成器来分摊在 EBM 训练中通常使用的 MCMC 采样，这使得实验结果更快、稳定和可行。

    Oct, 2020