对于深度潜在变量模型 (DLVMs),当前的聚类先验方法要求事先定义聚类数目并容易受到初始值的影响。通过同时进行整合和聚类,我们将 VampPrior(Tomczak 和 Welling,2018)调整到一个狄利克雷过程高斯混合模型中,形成了 VampPrior Mixture Model(VMM),这是一个新的 DLVMs 先验方法。我们提出了一个交替使用变分推断和经验贝叶斯的推理过程,以清晰区分变分参数和先验参数。使用 VMM 在基准数据集上的变分自编码器获得了极具竞争力的聚类性能。将 VMM 与流行的 scRNA-seq 整合方法 scVI(Lopez 等,2018)相结合,可以显著提高其性能并自动将细胞分组成具有生物学意义的聚类。
Feb, 2024
本文研究了一种新的模型 Gaussian Process Prior Variational Autoencoder (GPPVAE),结合了 VAEs 和具有 GP priors 关联特性的能力,解决了 VAEs 假设的潜在样本表示是独立并且同分布的假设不够强的问题,并利用协方差矩阵中的结构,介绍了一种新的随机反向传播策略,达到了分布式和低内存计算随机梯度的目的,实验证明该方法可以在两个图像数据应用程序中优于 conditional VAEs (CVAEs) 和标准 VAEs。
Oct, 2018
针对变分自编码器的先验洞问题,我们提出了一种能源化先验,通过基础先验分布和重新加权因子的乘积来定义,以使基础先验更接近集体后验,并通过噪声对比估计来训练重新加权因子,实验证明此方法可以大幅提高 MNIST、CIFAR-10、CelebA 64 和 CelebA HQ 256 数据集上的最先进 VAE 的生成性能。
Oct, 2020
本文提出了在变分自编码器中学习分层先验以避免标准正态先验分布造成的过度规则化。为了激励数据的具有信息的潜在表示,我们将学习问题公式化为带有约束的优化问题,并将 Taming VAEs 框架扩展为两层分层模型。我们引入了基于图形的插值方法,该方法显示所学习的潜在表示的拓扑结构对应于数据流形的拓扑结构,并呈现了几个例子,在这些例子中,优先考虑的是潜在表示的所需属性,例如平滑性和简单的解释因素。
May, 2019
该论文介绍的方法通过密度比技巧来达到 KL 散度的隐式计算,在不模拟聚合后验的情况下,可以使用最优先验,从而在各种数据集上实现高密度估计性能。
Sep, 2018
本文提出了一种新算法 ML-VAMP,用于多层随机神经网络推理,可配置为计算最大先验或近似最小均方误差估计,具有高维随机极限下的精确预测及可测试最优性条件,提供了一种计算方法,可在大型系统极限下进行多层推理并实现最小均方误差预测。
Nov, 2019
本文提出了一种基于采样的变分分布表示方法,用于自然语言生成中 deep latent variable models,并通过最大化互信息的正则化来解决 posterior collapse 问题,进一步发展了 VAE,并在多个文本生成场景中证明了其有效性和通用性。
Aug, 2019
本文提出了一种层次非参数变分自编码器模型,以结合树状结构的贝叶斯非参数先验和变分自编码器来实现无限灵活性的潜在表征空间,进而在视频表征学习上取得更好的效果。
Mar, 2017
学习变分自动编码器(VAEs)的关键任务是训练生成模型和推理模型,本文提出了一种基于 MAPA 的推理方法,可以高效地估计真实模型的后验分布。初步结果表明,该方法在低维合成数据上能够更好地进行密度估计,并提供了将该方法扩展到高维数据的路线图。
Mar, 2024
本文提出了一个新的方法 PriorCVAE,通过在 VAE 中引入随机过程超参数来区分学习先验分布,实现了超参数的显式估计,可以有效地应用于空间和时空推断等领域。
Apr, 2023