Mar, 2024

面向模型不可知的后验近似以实现快速准确的变分自编码器

PDF
TL;DR学习变分自动编码器（VAEs）的关键任务是训练生成模型和推理模型，本文提出了一种基于 MAPA 的推理方法，可以高效地估计真实模型的后验分布。初步结果表明，该方法在低维合成数据上能够更好地进行密度估计，并提供了将该方法扩展到高维数据的路线图。
variational autoencodersinference modelgenerative modelposterior approximationmapa-based inference
发现论文，激发创造
  • 变分自编码器中落后的推断网络和后验崩溃

    本文研究了变分自编码器 (VAE) 在训练时出现的后验崩溃现象。针对训练动态的观察，我们提出了一种极其简单的改进 VAE 的训练方法，避免了之前工作中普遍存在的后验崩溃问题，并取得了比基准模型更优的实验结果。

    Jan, 2019

  • 对抗变分贝叶斯：统一变分自编码器和生成对抗网络

    介绍了 Adversarial Variational Bayes 技术，可以用于训练具有任意表达力的推理模型的变分自编码器，并将其与生成对抗网络建立起了原则上的联系。

    Jan, 2017

  • 无向图模型作为近似后验分布

    本研究主要探讨了如何使用无向图模型来训练近似后验概率，在离散的 VAE 中使用 Boltzmann machines 作为近似后验概率的效果优于之前使用有向图模型的结果。

    Jan, 2019

  • 变分自编码器中的推理次优性

    研究了变分自编码器中的近似推理，发现推理网络的不完美会导致与真实后验的偏差，并且发现用于提高近似值的参数对于推理的泛化起到重要作用。

    Jan, 2018

  • 带隐式最优先验的变分自编码器

    该论文介绍的方法通过密度比技巧来达到 KL 散度的隐式计算，在不模拟聚合后验的情况下，可以使用最优先验，从而在各种数据集上实现高密度估计性能。

    Sep, 2018

  • 信息最大化变分自编码器

    本篇研究提出了新的目标函数（InfoVAE）解决了现有训练标准带来的问题，大大提高了变分后验的质量，并使得潜在特征得到了有效利用，从而在多个性能指标上优于其他竞争方法。

    Jun, 2017

  • 连续潜在空间和变分推断的可学习显式密度

    本文研究变分自编码器（VAE）的先验分布和后验分布。首先，我们将 VAE 的学习分解为逐层密度估计，并认为灵活的先验分布有益于样本生成和推断。其次，我们分析了反自回归流的族群（inverse AF），并表明在进一步改进后，反自回归流可用作对任何复杂后验的通用逼近。我们提出了一种统一的方法来参数化 VAE，而无需在潜在实空间中使用因子高斯分布。

    Oct, 2017

  • MAE：变分自编码器的相互后验分歧正则化

    本文介绍了一种新的正则化方法 mutual posterior-divergence regularization，用于控制潜空间的几何结构，从而实现有意义的表征学习，并在三个图像基准数据集上取得了良好的表现。

    Jan, 2019

  • 深度变分推断无需像素级重构

    本文提出了一种基于深度神经网络的变分自编码器，使用实值非体积保存变换来准确计算数据的条件似然，采用由少量中间层组成的强大条件耦合层来使其学习效果更好，在图像建模任务上有着不错的表现。

    Nov, 2016

  • 在变分自动编码器中匹配聚合后验概率

    通过改进目标函数，提出了新的自动编码器模型 AVAE，利用 KDE 来建模高维度下的边缘后验分布，通过多个基准数据集的实证评估验证了 AVAE 相对于 SOTA 方法的有效性。

    Nov, 2023