ICLROct, 2020

VAEBM: 变分自编码器和能量基模型的共生

PDF
TL;DR本文提出了一种使用先进的 Variational Autoencoders 和 Energy-based models 组成的 VAEBM 模型，相对于其他生成对抗网络可以更快速地生成高质量图像，并且在足够短的 MCMC 算法迭代次数下获得完全的模式覆盖率。
energy-based modelsvariational autoencodersvaebmimage generationmarkov chain monte carlo
发现论文，激发创造
  • 使用变分自编码器作为分摊采样器学习基于能量的模型

    通过学习用于初始化 MCMC 的变分自编码器，实现了宏观的 EBM 采样，并将其与 EBM 和变分自编码器一起使用以生成样本和解决条件生成任务。

    Dec, 2020

  • 基于能量的校准变分自编码器及其无测试时间消耗特性

    本文提出了一种新颖的能量校准生成模型，该模型利用条件 EBM 来增强变分自动编码器（VAEs）的性能，针对 VAEs 在生成方向上训练不足而导致生成结果模糊的问题，以及 EBMs 需要昂贵的马尔可夫链蒙特卡罗（MCMC）采样的问题，我们引入了条件 EBM 用于训练时校准生成方向，而不需要在测试时进行采样，这样的方法使得生成模型能够根据数据和校准样本进行自适应加权的训练，从而提高了效率和效果，而不需要在推理阶段进行 MCMC 采样，我们还展示了该方法可以扩展到校准归一化流和变分后验，并提出将该方法应用于基于神经传输先验和零射图像恢复，通过广泛的实验在图像生成和零射图像恢复等各种应用中证明了该方法的有效性，我们的方法在单步非对抗式生成方面展现了最先进的性能。

    Nov, 2023

  • 变分自编码器和潜在能量模型的联合训练

    本文提出一种联合训练方法，从而学习变分自动编码器（VAE）和潜在基于能量模型（EBM）。该联合训练方法基于一个客观函数，其中包括三个关于潜空间和图像的共同分布的 Kulback-Leibler 分歧，从而无缝集成多样化和对抗性学习。实验表明，这种联合训练极大地提高了 VAE 的综合质量，也使得学习能够检测异常的能量函数成为可能。

    Jun, 2020

  • 量子变分自编码器

    使用量子玻尔兹曼机实现的量子变分自编码器（QVAE）比仅涉及生成过程中的离散变量的相似方法在 MNIST 数据集上实现了最先进的性能。将 QBM 放置在 VAE 的潜在空间中将充分发挥当前和下一代量子计算机作为采样设备的潜力。

    Feb, 2018

  • 通过 MCMC 速度测量学习变分自动编码器

    研究纵观了变分自编码器（VAEs）的训练方法，提出了一种基于熵的自适应方法来优化更紧的变分下界，该方法能适应潜在层次变量模型中复杂的后验几何结构，并获得更高的生成度量。

    Aug, 2023

  • 我不需要 MCMC：分摊采样用于能量模型的快速稳定训练

    本文提出了一种简单的方法来训练基于能量的模型（EBMs），并将其应用于半监督分类，方法利用熵正则化的生成器来分摊在 EBM 训练中通常使用的 MCMC 采样，这使得实验结果更快、稳定和可行。

    Oct, 2020

  • 能量基模型中的隐式生成和泛化

    本文介绍了一些在连续神经网络上训练 MCMC 的能量基础模型的技术，在许多高维度数据域上，如 ImageNet 和 CIFAR-10, 它们的样本表现优于其他可能性模型，并接近当代生成对抗网络 GAN 的表现，同时覆盖所有数据模态。此外，作者还阐述了基于 EBM 的独特能力，如组合性和损坏图像的重建和修复，最后证明 EBMs 模型是跨多种任务有用的模型，进而实现了最先进的超出分布分类、对抗性稳健分类、在线连续类学习和连续长期预测轨迹

    Mar, 2019

  • 基于能量的模型指南：与其他生成模型、采样和统计物理之间的全面评述

    能量模型（EBMs）已成为生成模型领域中一个强大的框架，通过与统计力学的原理密切契合，提供了独特的视角。本综述旨在为物理学家提供对 EBMs 的全面理解，揭示它们与其他生成模型（如 GAN、VAEs 和正规化流）的联系。我们探讨了对 EBMs 至关重要的采样技术，包括 Markov Chain Monte Carlo（MCMC）方法，并将 EBM 概念与统计力学进行了对比，强调了能量函数和配分函数的重要性。此外，我们深入研究了 EBMs 的最新训练方法，涵盖了最近的进展及其对提高模型性能和效率的影响。本综述旨在阐明这些模型之间通常复杂的相互关系，这可能是因为从事该领域研究的各个学术界群体差异较大所导致的挑战。

    Jun, 2024

  • 哈密顿变分自编码器

    利用 Hamiltonian Jacobian Estimation 实现了一个新的 Hamiltonian Variational Auto-Encoder（HVAE）模型，可以用于高效地进行变分自编码器模型训练，并构建目标受控的归一化流。

    May, 2018

  • 使用自编码变分贝叶斯训练潜在变量模型：一个教程

    本文主要介绍了自动编码变分贝叶斯算法 (AEVB) 的理论及应用，阐明了其与经典的期望最大化算法 (EM) 之间的联系及其适用范围，同时详细介绍了重要概念如一致化 (amortization) 和参数重参数化技巧 (reparametrization trick)，最后通过应用该算法到非深度和深度潜变量模型，并提供了 PyTorch 实现代码。

    Aug, 2022