ICMLOct, 2017

连续潜在空间和变分推断的可学习显式密度

PDF
TL;DR本文研究变分自编码器（VAE）的先验分布和后验分布。首先，我们将 VAE 的学习分解为逐层密度估计，并认为灵活的先验分布有益于样本生成和推断。其次，我们分析了反自回归流的族群（inverse AF），并表明在进一步改进后，反自回归流可用作对任何复杂后验的通用逼近。我们提出了一种统一的方法来参数化 VAE，而无需在潜在实空间中使用因子高斯分布。
variational autoencoderprior distributionposteriorinverse autoregressive flowsdensity estimation
发现论文，激发创造
  • 带隐式最优先验的变分自编码器

    该论文介绍的方法通过密度比技巧来达到 KL 散度的隐式计算，在不模拟聚合后验的情况下，可以使用最优先验，从而在各种数据集上实现高密度估计性能。

    Sep, 2018

  • 基于密度间隙正则化的变分自编码器改进

    通过在概率密度差异方面引入新的正则化方法，有效解决了 Variational autoencoders 中的 LATENT REPRESENTATION LEARNING 方面出现的后验崩溃和空洞问题。

    Nov, 2022

  • 在 VAEs 中学习分层先验

    本文提出了在变分自编码器中学习分层先验以避免标准正态先验分布造成的过度规则化。为了激励数据的具有信息的潜在表示，我们将学习问题公式化为带有约束的优化问题，并将 Taming VAEs 框架扩展为两层分层模型。我们引入了基于图形的插值方法，该方法显示所学习的潜在表示的拓扑结构对应于数据流形的拓扑结构，并呈现了几个例子，在这些例子中，优先考虑的是潜在表示的所需属性，例如平滑性和简单的解释因素。

    May, 2019

  • 狄利克雷变分自编码器

    本文提出了使用 Dirichlet 优先的 DirVAE 模型，利用随机梯度法来推论模型参数，解决了潜变量坍塌问题，并在 MNIST，OMNIGLOT，和 SVHN 等数据集上进行了半监督和监督分类任务的实验，结果表明 DirVAE 模型在生成的潜在表达方面与其它基线模型相比具有最佳的对数似然，并且没有出现基线模型出现的坍塌问题，同时，对比基线模型，利用 DirVAE 模型学到的潜在表达还能够实现更好的半监督和监督分类性能。

    Jan, 2019

  • 变分自编码器中落后的推断网络和后验崩溃

    本文研究了变分自编码器 (VAE) 在训练时出现的后验崩溃现象。针对训练动态的观察，我们提出了一种极其简单的改进 VAE 的训练方法，避免了之前工作中普遍存在的后验崩溃问题，并取得了比基准模型更优的实验结果。

    Jan, 2019

  • 变分自编码器中潜空间的自适应压缩

    这篇文章介绍了一种对变分自动编码器 (VAEs) 进行简单扩展的方法，通过渐进性减小潜空间大小来自动确定训练过程中的最佳潜空间大小，并将该方法与传统的超参数网格搜索进行比较，结果表明其速度显著更快，且在四个图像数据集上实现了最佳的维度。此外，还证明了我们方法的最终性能与从头开始训练的最佳潜空间大小相当，因此可能作为一种便利的替代方法。

    Dec, 2023

  • 面向模型不可知的后验近似以实现快速准确的变分自编码器

    学习变分自动编码器（VAEs）的关键任务是训练生成模型和推理模型，本文提出了一种基于 MAPA 的推理方法，可以高效地估计真实模型的后验分布。初步结果表明，该方法在低维合成数据上能够更好地进行密度估计，并提供了将该方法扩展到高维数据的路线图。

    Mar, 2024

  • 从变分到确定性自编码器

    提出一种基于正则化的确定性编码器和解码器的生成模型框架，替换 VAEs 中的随机性来达到优化潜在空间的目的，并通过引入后验密度估计步骤来生成具有相当或更好质量的样本。

    Mar, 2019

  • 无限变分自编码器用于半监督学习

    本文提出了一种基于混合模型和狄利克雷过程的无限变分自编码器，其容量能够适应输入数据，从而使得自动编码器数量能够根据数据自动变化，实验结果表明该方法在半监督学习中具有很高的灵活性。

    Nov, 2016

  • 用对比学习的方法训练变分自编码器先验

    针对变分自编码器的先验洞问题，我们提出了一种能源化先验，通过基础先验分布和重新加权因子的乘积来定义，以使基础先验更接近集体后验，并通过噪声对比估计来训练重新加权因子，实验证明此方法可以大幅提高 MNIST、CIFAR-10、CelebA 64 和 CelebA HQ 256 数据集上的最先进 VAE 的生成性能。

    Oct, 2020