GumBolt:将 Gumbel 技巧扩展到 Boltzmann 先验
本研究探讨将 Boltzmann 机器生成式模型松弛为连续分布,使得可以使用更紧的重要性加权下界(importance-weighted bound)用于离散自编码器(discrete VAEs)的训练,并且在 MNIST 和 OMNIGLOT 数据集上进行的实验表明,这种方法优于过去使用 Boltzmann 先验的离散 VAEs。
May, 2018
本文提出了一种新的先验模型 ——“变分混合后验”,并将其扩展为两层分层模型,通过使用混合高斯分布和可学习的伪输入条件下的变分后验构成组件,可以避免存在无用的潜在维度,从而实现更好的无监督数据建模。在六个数据集上进行的实证研究表明,应用分层 VampPrior 模型可在无监督不变分布的情况下实现所有数据集的最先进结果。
May, 2017
本文介绍了一种新型的高效样本推断框架,变分贝叶斯蒙特卡罗(VBMC),可用于难以处理的黑盒似然的后验分布和模型评估。该方法结合了变分推断和基于高斯过程的主动采样贝叶斯积分,并在合成和实际数据的测试中表现出很好的性能。
Oct, 2018
本文提出了在潜空间上采用 Riemannian 结构和 Riemannian Brownian motion 先验来代替传统高斯先验,从而提高 Variational Autoencoder 的模型能力。
Feb, 2020
本文从密度模型的角度出发,对高斯 - 二进制受限玻尔兹曼机(GRBM)进行理论分析,展示了 GRBM 的一些性能和限制,讨论了训练算法的几个关键点,并与其他改进的模型进行了比较。
Jan, 2014
对 GANs 和 VAEs 进行贝叶斯非参数方法的融合,使用 Wasserstein 和最大均值差异度量在损失函数中结合以学习潜在空间并生成多样且高质量的样本,实现在异常检测和数据增强等各种生成任务中卓越性能的新型模型,进一步通过在代码空间中引入额外的生成器来增强模型的能力,可用于各种应用的更强大的生成模型。
Aug, 2023
我们提出了一种新颖的 Gibbs-Langewin 采样算法和改进的对比散度算法,可用于训练 Gaussian-Bernoulli restricted Boltzmann machines (GRBMs)。实验结果表明,我们的方法可以有效地训练 GRBMs,并且与深层生成模型进行了直接比较。
Oct, 2022
通过提出一种基于两个重叠分布的混合平滑变换的新类变换,我们提高了对离散潜变量模型的训练能力,并且分别用 dircted 和 undirected 先验训练了二进制潜在模型,发现其优于其他几种连续弛豫过程。最终我们发展了一个具备全局离散先验和一系列卷积连续变量的生成模型 DVAE++,在多个基准测试中获得了验证。
Feb, 2018
本文研究了一种新的模型 Gaussian Process Prior Variational Autoencoder (GPPVAE),结合了 VAEs 和具有 GP priors 关联特性的能力,解决了 VAEs 假设的潜在样本表示是独立并且同分布的假设不够强的问题,并利用协方差矩阵中的结构,介绍了一种新的随机反向传播策略,达到了分布式和低内存计算随机梯度的目的,实验证明该方法可以在两个图像数据应用程序中优于 conditional VAEs (CVAEs) 和标准 VAEs。
Oct, 2018
本文提出了一种新的表征学习方法,Gromov-Wasserstein Autoencoders(GWAE),通过将 variational autoencoding scheme 与 Gromov-Wasserstein metric 相结合来直接匹配潜变量和数据分布,以实现在不改变其目标的情况下将 meta-priors 引入潜空间。
Sep, 2022