通过迭代近似祖先采样实现变分自动编码器的条件抽样
本文提出了使用退火重要性采样 (annealed importance sampling) 来学习深度生成模型的方法,该方法是变分推断 (variational inference) 和马尔可夫链蒙特卡罗 (Markov chain Monte Carlo) 两种主要的近似方法的结合,通过实验表明该方法比重要性加权自编码器 (importance weighted auto-encoders) 更好地建模了概率密度,并且通过权衡计算和模型精度的关系提高模型准确性的同时不增加内存成本。
Jun, 2019
研究纵观了变分自编码器(VAEs)的训练方法,提出了一种基于熵的自适应方法来优化更紧的变分下界,该方法能适应潜在层次变量模型中复杂的后验几何结构,并获得更高的生成度量。
Aug, 2023
本文提出了一种新的表征学习方法,Gromov-Wasserstein Autoencoders(GWAE),通过将 variational autoencoding scheme 与 Gromov-Wasserstein metric 相结合来直接匹配潜变量和数据分布,以实现在不改变其目标的情况下将 meta-priors 引入潜空间。
Sep, 2022
本文揭示了 Variational Autoencoders (VAEs) 的局限性,它们无法稳定地学习潜在空间和可见空间中的边缘分布,因为学习过程是通过匹配条件分布进行的。同时,文章通过大规模的评估 VAE-GAN 混合模型并分析类概率估计对分布学习的影响,得出 VAE-GAN 混合模型在可扩展性、评估和推理方面比 VAE 更加困难,无法提高 GAN 的生成质量。
Feb, 2018
学习变分自动编码器(VAEs)的关键任务是训练生成模型和推理模型,本文提出了一种基于 MAPA 的推理方法,可以高效地估计真实模型的后验分布。初步结果表明,该方法在低维合成数据上能够更好地进行密度估计,并提供了将该方法扩展到高维数据的路线图。
Mar, 2024
通过学习用于初始化 MCMC 的变分自编码器,实现了宏观的 EBM 采样,并将其与 EBM 和变分自编码器一起使用以生成样本和解决条件生成任务。
Dec, 2020
本研究通过使用最大平均离差(MMD)来匹配不同条件下的生成模型的分布,从而对条件变分自编码器(CVAE)进行改进,提出了 Transformer VAE(trVAE)的架构,并在高维图像和表格数据上展示了比现有方法更高的鲁棒性和准确性。
Oct, 2019
提出一种基于正则化的确定性编码器和解码器的生成模型框架,替换 VAEs 中的随机性来达到优化潜在空间的目的,并通过引入后验密度估计步骤来生成具有相当或更好质量的样本。
Mar, 2019
介绍了 Adversarial Variational Bayes 技术,可以用于训练具有任意表达力的推理模型的变分自编码器,并将其与生成对抗网络建立起了原则上的联系。
Jan, 2017
本文提出了 Monte Carlo VAE 方法,并通过在多个应用中的表现来说明其性能,该方法在 Variational auto-encoders、Evidence Lower Bound、 importance sampling、Annealed Importance Sampling 等方面都做了较全面的探讨。
Jun, 2021