Feb, 2017

基于变分自编码模型的深入理解

PDF
TL;DR本文提出了一种新的变分自编码模型优化标准，推广了标准的证据下界，提供了它们恢复数据分布和学习潜在特征的条件，并在形式上证明了通常出现模糊样本和无信息潜在特征等常见问题的条件。基于这些新的见解，我们提出了一种新的序列化 VAE 模型，可以基于像素逐一重构损失在 LSUN 图像数据集上生成清晰的样本，并提出一种旨在鼓励无监督学习信息潜在特征的优化标准。
variational auto-encodingoptimization criterialatent featuressequential vae modelunsupervised learning
发现论文，激发创造
  • 显式最小化变分自编码器的模糊误差

    本文介绍了一种新的变分自编码器 (VAE) 的重构项，它特别惩罚生成模糊图像的能力，同时仍然最大化建模分布下的 ELBO。在三个不同的数据集上展示了该损失函数的潜力，优于 VAE 的几种最近提出的重建损失。

    Apr, 2023

  • 变分自编码器的一致性正则化

    本文提出了一种正则化方法来强制 Variational Auto-Encoder 的一致性，通过最小化 Kullback-Leibler（KL）散度来实现；实验结果表明该方法可以改善学习表征的质量并提高其泛化能力。

    May, 2021

  • 变分自编码器的三种变体

    通过引入第二个参数化的编解码对和一个额外的固定编码器，我们发展了三种 VAE 的变种，并使用神经网络学习编码器 / 解码器的参数来比较这些变种与原始 VAE 的 ELBO 逼近。其中一种变化导致了一个 EUBO，可以与原始 ELBO 一起用于研究 VAE 的收敛性。

    Dec, 2022

  • 非对称变分自编码器

    提出一种利用辅助变量来拓展变分分布家族的框架，通过神经网络来构建复杂的概率混合分布模型，以增强变分推断模型的灵活性和效果，并在密度估计任务上进行了实证评估。

    Nov, 2017

  • 低维数据存在下的变分自编码器：优化空间及内在偏向

    本文研究了变分自编码器的训练问题，提出了一种二阶段的训练算法，证明了该算法可以在低维流形上训练，并且得到的生成器可以恰好支持原本的低维流形，且是由于训练算法的隐式偏差而非 VAE 损失本身的原因。

    Dec, 2021

  • 对抗对称变分自编码器

    该研究开发了一种新形式的变分自动编码器 (VAE)，它在两个（对称的）形式中考虑了数据和代码的联合分布。同时，它使用对称的 KL 散度最小化方法进行学习，并使用一种新的对抗性训练方法来加速学习。在多项实验中，该研究展示了在数个图像基准数据集上的最新数据重建和生成结果。

    Nov, 2017

  • Levenshtein 变分自编码器用于防止后坍塌

    Levenstein VAE 提出了一种简单易优化且避免后验坍塌的新目标，通过在生成的序列的每个时间步中根据 Levenshtein 距离预测最优延续来生成序列，从而产生比其他方法更具信息化的潜在表达。

    Apr, 2020

  • 变分扩散自编码器：具有无条件扩散先验的深层潜变量模型

    采用扩散模型集成编码器和无条件扩散模型的得分函数，消除了 VAE 图像模糊的问题，并显著提高了性能。

    Apr, 2023

  • 深度变分推断无需像素级重构

    本文提出了一种基于深度神经网络的变分自编码器，使用实值非体积保存变换来准确计算数据的条件似然，采用由少量中间层组成的强大条件耦合层来使其学习效果更好，在图像建模任务上有着不错的表现。

    Nov, 2016

  • 关于文本深度潜变量建模的令人惊讶的有效修复方法

    研究发现将先前仅仅被孤立考虑的两个经验法则相结合可以避免后验坍塌，提高了模型的性能表现。虽然该方法的 ELBO（证据下界）较差，但在保留隐变量的能力及对训练数据分布的建模方面表现更好，说明传统的 VAE 目标函数可能无法同时平衡表示学习和数据分布建模。

    Sep, 2019