May, 2019

在 VAEs 中学习分层先验

PDF
TL;DR本文提出了在变分自编码器中学习分层先验以避免标准正态先验分布造成的过度规则化。为了激励数据的具有信息的潜在表示，我们将学习问题公式化为带有约束的优化问题，并将 Taming VAEs 框架扩展为两层分层模型。我们引入了基于图形的插值方法，该方法显示所学习的潜在表示的拓扑结构对应于数据流形的拓扑结构，并呈现了几个例子，在这些例子中，优先考虑的是潜在表示的所需属性，例如平滑性和简单的解释因素。
发现论文，激发创造
  • 非参数变分自编码器用于分层表示学习

    本文提出了一种层次非参数变分自编码器模型，以结合树状结构的贝叶斯非参数先验和变分自编码器来实现无限灵活性的潜在表征空间，进而在视频表征学习上取得更好的效果。

    Mar, 2017

  • 连续潜在空间和变分推断的可学习显式密度

    本文研究变分自编码器（VAE）的先验分布和后验分布。首先，我们将 VAE 的学习分解为逐层密度估计，并认为灵活的先验分布有益于样本生成和推断。其次，我们分析了反自回归流的族群（inverse AF），并表明在进一步改进后，反自回归流可用作对任何复杂后验的通用逼近。我们提出了一种统一的方法来参数化 VAE，而无需在潜在实空间中使用因子高斯分布。

    Oct, 2017

  • Poincaré 变分自编码器实现连续的分层表示

    本文利用 Poincaré 球模型的超几何结构作为潜变量空间，研究了 VAE 在这个空间的运用，该方法在嵌套数据结构下表现出色，并展现了超几何结构对于 VAE 的优越性。

    Jan, 2019

  • 用对比学习的方法训练变分自编码器先验

    针对变分自编码器的先验洞问题，我们提出了一种能源化先验，通过基础先验分布和重新加权因子的乘积来定义，以使基础先验更接近集体后验，并通过噪声对比估计来训练重新加权因子，实验证明此方法可以大幅提高 MNIST、CIFAR-10、CelebA 64 和 CelebA HQ 256 数据集上的最先进 VAE 的生成性能。

    Oct, 2020

  • 超先验引导的无监督潜在表征分离

    本研究提出了一种在深度生成模型中实现无监督的解缠结潜在表示的方法，通过在 VAE 的潜在空间中引入反 Wishart 先验来实现潜变量之间的统计独立性，能够在多个数据集上优于 beta-VAE 和与最先进的 FactorVAE 相竞争。

    Sep, 2018

  • 树形变分自编码器

    提出了一种新的生成分层聚类模型 ——Tree Variational Autoencoder（TreeVAE），它能够分层地划分样本并发现数据中潜在结构，并利用树形结构中的叶子节点解码器提高了生成性能。TreeVAE 在不同的数据集上表现出了较高的对数似然下界，并且通过条件采样能够从聚类中生成新的样本。

    Jun, 2023

  • 使用 VampPrior 的 VAE

    本文提出了一种新的先验模型 ——“变分混合后验”，并将其扩展为两层分层模型，通过使用混合高斯分布和可学习的伪输入条件下的变分后验构成组件，可以避免存在无用的潜在维度，从而实现更好的无监督数据建模。在六个数据集上进行的实证研究表明，应用分层 VampPrior 模型可在无监督不变分布的情况下实现所有数据集的最先进结果。

    May, 2017

  • 带隐式最优先验的变分自编码器

    该论文介绍的方法通过密度比技巧来达到 KL 散度的隐式计算，在不模拟聚合后验的情况下，可以使用最优先验，从而在各种数据集上实现高密度估计性能。

    Sep, 2018

  • 关于学习变分自编码器先验的必要性和有效性

    本文研究利用学习先验知识来提高变分推断的效果，证明了在所有后验分布不能满足高斯先验的情况下，学习先验知识是必要且有效的。使用深层次的 VAE 来学习真实 NVP 先验，并仅使用一个潜在变量，我们证明了该方法对测试集对数似然性能优越，胜过以往许多具有复杂层次结构的 VAE 架构。

    May, 2019

  • 分层 VampPrior 变分公平自编码器

    本文考虑使用深层生成建模和层次化变分自动编码器，学习公正的表示并利用互信息作为有用的正则化因子来强制表示的公正性，实验证明该方法优于或与当前最佳模型持平。

    Jun, 2018