NIPSMay, 2018

具有松弛玻尔兹曼先验的离散变分自编码器

PDF
TL;DR本研究探讨将 Boltzmann 机器生成式模型松弛为连续分布，使得可以使用更紧的重要性加权下界（importance-weighted bound）用于离散自编码器（discrete VAEs）的训练，并且在 MNIST 和 OMNIGLOT 数据集上进行的实验表明，这种方法优于过去使用 Boltzmann 先验的离散 VAEs。
boltzmann machinesvariational autoencodersimportance-weighted boundcontinuous distributionsmnist
发现论文，激发创造
  • DVAE++：具有重叠变换的离散变分自编码器

    通过提出一种基于两个重叠分布的混合平滑变换的新类变换，我们提高了对离散潜变量模型的训练能力，并且分别用 dircted 和 undirected 先验训练了二进制潜在模型，发现其优于其他几种连续弛豫过程。最终我们发展了一个具备全局离散先验和一系列卷积连续变量的生成模型 DVAE++，在多个基准测试中获得了验证。

    Feb, 2018

  • GumBolt：将 Gumbel 技巧扩展到 Boltzmann 先验

    该论文提出了一种名为 GumBolt 的模型，它扩展了 Gumbel 技巧来处理 VAEs 中的 Boltzmann 机先验，并在离散潜变量范围内的 MNIST 和 OMNIGLOT 数据集上实现了最先进的性能和重要性加权估计的日志似然训练等方面进一步提高了性能。

    May, 2018

  • 向量量化自编码器的理论与实验

    该研究利用基于期望最大化算法的训练技术提高 VQ-VAE 模型在 CIFAR-10 数据集上的图像生成结果，并通过知识蒸馏技术，开发出一种非自回归机器翻译模型，其准确性几乎与强贪婪自回归基线变压器相当，但在推理速度上快 3.3 倍。

    May, 2018

  • 狄利克雷变分自编码器

    本文提出了使用 Dirichlet 优先的 DirVAE 模型，利用随机梯度法来推论模型参数，解决了潜变量坍塌问题，并在 MNIST，OMNIGLOT，和 SVHN 等数据集上进行了半监督和监督分类任务的实验，结果表明 DirVAE 模型在生成的潜在表达方面与其它基线模型相比具有最佳的对数似然，并且没有出现基线模型出现的坍塌问题，同时，对比基线模型，利用 DirVAE 模型学到的潜在表达还能够实现更好的半监督和监督分类性能。

    Jan, 2019

  • 带隐式最优先验的变分自编码器

    该论文介绍的方法通过密度比技巧来达到 KL 散度的隐式计算，在不模拟聚合后验的情况下，可以使用最优先验，从而在各种数据集上实现高密度估计性能。

    Sep, 2018

  • 从变分到确定性自编码器

    提出一种基于正则化的确定性编码器和解码器的生成模型框架，替换 VAEs 中的随机性来达到优化潜在空间的目的，并通过引入后验密度估计步骤来生成具有相当或更好质量的样本。

    Mar, 2019

  • 连续潜在空间和变分推断的可学习显式密度

    本文研究变分自编码器（VAE）的先验分布和后验分布。首先，我们将 VAE 的学习分解为逐层密度估计，并认为灵活的先验分布有益于样本生成和推断。其次，我们分析了反自回归流的族群（inverse AF），并表明在进一步改进后，反自回归流可用作对任何复杂后验的通用逼近。我们提出了一种统一的方法来参数化 VAE，而无需在潜在实空间中使用因子高斯分布。

    Oct, 2017

  • 基于变分贝叶斯和压缩自编码器的图像恢复

    使用压缩自编码器进行潜在变量估计，在变分推断框架内实现此估计，并能快速、简便（近似地）进行后验采样，证明该方法能够与最先进的即插即用方法达到类似的性能，并且能够比其他现有的后验采样技术更快地量化不确定性。

    Nov, 2023

  • 变分扩散自编码器：具有无条件扩散先验的深层潜变量模型

    采用扩散模型集成编码器和无条件扩散模型的得分函数，消除了 VAE 图像模糊的问题，并显著提高了性能。

    Apr, 2023

  • 带黎曼布朗运动先验的变分自编码器

    本文提出了在潜空间上采用 Riemannian 结构和 Riemannian Brownian motion 先验来代替传统高斯先验，从而提高 Variational Autoencoder 的模型能力。

    Feb, 2020