Feb, 2018

变分推断中的分布匹配

PDF
TL;DR本文揭示了 Variational Autoencoders (VAEs) 的局限性，它们无法稳定地学习潜在空间和可见空间中的边缘分布，因为学习过程是通过匹配条件分布进行的。同时，文章通过大规模的评估 VAE-GAN 混合模型并分析类概率估计对分布学习的影响，得出 VAE-GAN 混合模型在可扩展性、评估和推理方面比 VAE 更加困难，无法提高 GAN 的生成质量。
发现论文，激发创造
  • 对抗变分贝叶斯：统一变分自编码器和生成对抗网络

    介绍了 Adversarial Variational Bayes 技术，可以用于训练具有任意表达力的推理模型的变分自编码器，并将其与生成对抗网络建立起了原则上的联系。

    Jan, 2017

  • 深层生成模型的统一化

    本文介绍了针对生成模型学习中 GAN 和 VAEs 的新方法，并阐述了 GAN 和 VAEs 的相似性和差异性，探讨了它们的后验推理和 KL 散度的最小化问题，并将 VAEs 的 importance weighting 方法应用到 GAN 的学习中，同时采用对抗性机制加强 VAEs 模型，实验证明了这些方法的普适性和有效性。

    Jun, 2017

  • 使用隐式分布的变分推断

    本文综述了现有算法之间的联系，包括广泛使用的变分自编码器、以对抗方式学习的推断、运算符变分推断、基于生成式对抗网络的图像重建等，提出了新的算法框架，并基于密度比估计或去噪等方法展示了实际的推断算法。

    Feb, 2017

  • 低维数据存在下的变分自编码器：优化空间及内在偏向

    本文研究了变分自编码器的训练问题，提出了一种二阶段的训练算法，证明了该算法可以在低维流形上训练，并且得到的生成器可以恰好支持原本的低维流形，且是由于训练算法的隐式偏差而非 VAE 损失本身的原因。

    Dec, 2021

  • MAE：变分自编码器的相互后验分歧正则化

    本文介绍了一种新的正则化方法 mutual posterior-divergence regularization，用于控制潜空间的几何结构，从而实现有意义的表征学习，并在三个图像基准数据集上取得了良好的表现。

    Jan, 2019

  • 面向模型不可知的后验近似以实现快速准确的变分自编码器

    学习变分自动编码器（VAEs）的关键任务是训练生成模型和推理模型，本文提出了一种基于 MAPA 的推理方法，可以高效地估计真实模型的后验分布。初步结果表明，该方法在低维合成数据上能够更好地进行密度估计，并提供了将该方法扩展到高维数据的路线图。

    Mar, 2024

  • 自动编码生成对抗网络的变分方法

    本篇论文提供了一个新的原则，即利用生成模型的层次结构将自编码器与生成对抗网络相结合，以防止学习到的生成模型中的模式崩溃，并使用区分器学习合成可能性和隐式后验分布。

    Jun, 2017

  • 变分自编码器中落后的推断网络和后验崩溃

    本文研究了变分自编码器 (VAE) 在训练时出现的后验崩溃现象。针对训练动态的观察，我们提出了一种极其简单的改进 VAE 的训练方法，避免了之前工作中普遍存在的后验崩溃问题，并取得了比基准模型更优的实验结果。

    Jan, 2019

  • 变分自编码器中的推理次优性

    研究了变分自编码器中的近似推理，发现推理网络的不完美会导致与真实后验的偏差，并且发现用于提高近似值的参数对于推理的泛化起到重要作用。

    Jan, 2018

  • 熵生成对抗网络与变分自编码器相遇：计算 GAN 样本似然的统计方法

    通过构建一种显式的概率模型，将沃瑟斯坦 GANs 与熵正则化视为基于变分下界的生成模型，从而使得 GANs 和 VAEs 之间建立了有理论支持的联系。同时，作者还在多个数据集上计算了 GANs 的似然统计量，验证了该理论结果。

    Oct, 2018