Sep, 2015

重要性加权自编码器

HTML
PDF
TL;DR本文提出了IWAE，一种基于VAE的生成模型，将后验分布建模的灵活性提高，使得学习到的潜空间表示更加丰富，从而取得更好的密度估计结果。
发现论文，激发创造
  • 带隐式最优先验的变分自编码器

    该论文介绍的方法通过密度比技巧来达到KL散度的隐式计算，在不模拟聚合后验的情况下，可以使用最优先验，从而在各种数据集上实现高密度估计性能。

    Sep, 2018

  • 一种新颖的变分自编码器及其在生成建模、分类和序数回归中的应用

    文中提出了一种新的基于变分自编码器的概率生成模型，该模型使用新颖的方法确定潜在变量先验和强制序数单位，并用于有监督、无监督和半监督学习以及标称和序数分类，实验结果表明该模型在这两方面的分类任务中表现较优。

    Dec, 2018

  • MAE：变分自编码器的相互后验分歧正则化

    本文介绍了一种新的正则化方法 mutual posterior-divergence regularization，用于控制潜空间的几何结构，从而实现有意义的表征学习，并在三个图像基准数据集上取得了良好的表现。

    Jan, 2019

  • 变分自编码器中落后的推断网络和后验崩溃

    本文研究了变分自编码器(VAE)在训练时出现的后验崩溃现象。针对训练动态的观察，我们提出了一种极其简单的改进VAE的训练方法，避免了之前工作中普遍存在的后验崩溃问题，并取得了比基准模型更优的实验结果。

    Jan, 2019

  • 分层重要性加权自编码器

    引入层次结构的关联采样方案可以减少重复样本，从而减小重要性估计方差并提高推理性能。

    May, 2019

  • 使用退火重要性采样学习深度生成模型

    本文提出了使用退火重要性采样(annealed importance sampling)来学习深度生成模型的方法，该方法是变分推断(variational inference)和马尔可夫链蒙特卡罗(Markov chain Monte Carlo)两种主要的近似方法的结合，通过实验表明该方法比重要性加权自编码器(importance weighted auto-encoders)更好地建模了概率密度，并且通过权衡计算和模型精度的关系提高模型准确性的同时不增加内存成本。

    Jun, 2019

  • 用对比学习的方法训练变分自编码器先验

    针对变分自编码器的先验洞问题，我们提出了一种能源化先验，通过基础先验分布和重新加权因子的乘积来定义，以使基础先验更接近集体后验，并通过噪声对比估计来训练重新加权因子，实验证明此方法可以大幅提高MNIST、CIFAR-10、CelebA 64和CelebA HQ 256数据集上的最先进VAE的生成性能。

    Oct, 2020

  • 蒙特卡罗变分自编码器

    本文提出了Monte Carlo VAE方法，并通过在多个应用中的表现来说明其性能，该方法在Variational auto-encoders、Evidence Lower Bound、 importance sampling、Annealed Importance Sampling等方面都做了较全面的探讨。

    Jun, 2021

  • 变分Laplace自编码器

    该研究提出了一种名为“变分Laplace自动编码器”的深度生成模型的一般框架，在近似后验分布时采用拉普拉斯近似方法，提高后验表现，同时减少摊销误差。在MNIST，Omniglot，Fashion-MNIST，SVHN和CIFAR10数据集上进行的实验证明，该方法显着优于ReLU网络上其他最近的摊销或迭代方法。

    Nov, 2022

  • 面向模型不可知的后验近似以实现快速准确的变分自编码器

    学习变分自动编码器（VAEs）的关键任务是训练生成模型和推理模型，本文提出了一种基于MAPA的推理方法，可以高效地估计真实模型的后验分布。初步结果表明，该方法在低维合成数据上能够更好地进行密度估计，并提供了将该方法扩展到高维数据的路线图。

    Mar, 2024