Apr, 2019

面向能量模型的非收敛非持久短期 MCMC 学习

PDF
TL;DR本文研究了使用 MCMC 学习能量模型（EBM）中的一个有趣现象。我们将非收敛、不混合、不持久的短程 MCMC 作为学习非收敛器模型或流模型，在生成实例后，我们将按照最大似然学习梯度来更新模型参数，就好像合成实例是从当前模型中公平地抽样一样。此外，我们还展示了学习的短程 MCMC 能够生成逼真的图像，并且与传统的 EBM 或 MCMC 不同，学习的短程 MCMC 能够重新构建观察图像并在图像之间插值，就像生成器或流模型一样。
发现论文，激发创造
  • 通过双 MCMC 教学学习基于能量的模型

    本文研究了基于能量的模型（EBM）的基本学习问题，通过最大似然估计（MLE）和生成模型的联合训练来提高 EBM 的学习效果。

    Dec, 2023

  • 基于 MCMC 的最大似然能量模型学习解剖学

    本文研究了 Markov 链蒙特卡罗采样在无监督最大似然学习中的效果，发现使用 ConvNet 势函数训练的最小框架可以实现高质量的短时合成，同时使用正确的 Langevin 噪声调整可以实现长时稳定采样；但使用收敛困难的 MCMC 训练 ConvNet 将导致样本失真。

    Mar, 2019

  • 用扩散自抑 MCMC 学习基于能量的先验模型

    本文介绍了一种基于扩散的摊销方法来解决长期 MCMC 采样问题，并基于此开发了一种新的学习算法，用于隐空间 EBM。实验证明，与强对手相比，我们的方法在几个图像建模基准数据集上具有优秀的性能。

    Oct, 2023

  • 持续训练的扩散辅助能量模型

    本文介绍了通过引入扩散数据和使用增强采样算法，通过持续对比散度学习一种联合的能量基模型，称为扩散辅助 - EBM，来实现复杂的，多模态分布的准确采样和密度估计，并进行了 2D 和图像实验，证明了持续训练的 EBMs 可以同时实现长时间稳定性，后训练图像生成和卓越的异常检测。

    Apr, 2023

  • 用扩散对比散度训练能量模型

    本文提出了一种更加高效的 Diffusion Contrastive Divergence 算法，将其作为 Contrastive Divergence 算法的一种特殊实例，并在合成数据建模、图片去噪和生成等方面进行了实验，结果表明新算法在计算效率和生成性能方面都优于传统算法。

    Jul, 2023

  • 训练能量基模型的方法

    这篇论文介绍了基于能量的模型（EBM）及其训练方法，包括最大似然训练法和 MCMC 自由法，同时介绍了 SM 和 NCE 等方法并强调它们三者之间的理论联系。

    Jan, 2021

  • 我不需要 MCMC：分摊采样用于能量模型的快速稳定训练

    本文提出了一种简单的方法来训练基于能量的模型（EBMs），并将其应用于半监督分类，方法利用熵正则化的生成器来分摊在 EBM 训练中通常使用的 MCMC 采样，这使得实验结果更快、稳定和可行。

    Oct, 2020

  • 能量基模型中的隐式生成和泛化

    本文介绍了一些在连续神经网络上训练 MCMC 的能量基础模型的技术，在许多高维度数据域上，如 ImageNet 和 CIFAR-10, 它们的样本表现优于其他可能性模型，并接近当代生成对抗网络 GAN 的表现，同时覆盖所有数据模态。此外，作者还阐述了基于 EBM 的独特能力，如组合性和损坏图像的重建和修复，最后证明 EBMs 模型是跨多种任务有用的模型，进而实现了最先进的超出分布分类、对抗性稳健分类、在线连续类学习和连续长期预测轨迹

    Mar, 2019

  • 学习潜空间能量先验模型

    通过在生成模型的潜在空间中学习基于能量的模型（EBM），从而使 EBM 成为先验模型，该模型建立在生成模型的自上而下网络之上。通过最大似然联合学习，可以同时学习潜在空间的 EBM 和自上而下网络，并涉及从潜在向量的先验和后验分布中进行短程 MCMC 采样。由于潜在空间的低维度和自上而下网络的表现力，简单的潜在空间 EBM 可以有效地捕捉数据中的规律，并且潜在空间中的 MCMC 采样效率高且混合良好，表现出良好的图像和文本生成和异常检测能力。

    Jun, 2020

  • 通过扩散恢复似然学习能量相关模型

    本文提出了一种基于扩散概率模型的能量模型训练和采样方法，其将数据集分成一系列噪声水平并在其上训练每个 EBM，优化回收概率而非边缘概率的方式为此提供了一个简便的方法，并在多个图像数据集及 CIFAR-10 上实现了高保真采样。

    Dec, 2020