变分自编码器中的推理次优性
本文研究了变分自编码器 (VAE) 在训练时出现的后验崩溃现象。针对训练动态的观察,我们提出了一种极其简单的改进 VAE 的训练方法,避免了之前工作中普遍存在的后验崩溃问题,并取得了比基准模型更优的实验结果。
Jan, 2019
该研究提出了一种名为 “变分 Laplace 自动编码器” 的深度生成模型的一般框架,在近似后验分布时采用拉普拉斯近似方法,提高后验表现,同时减少摊销误差。在 MNIST,Omniglot,Fashion-MNIST,SVHN 和 CIFAR10 数据集上进行的实验证明,该方法显着优于 ReLU 网络上其他最近的摊销或迭代方法。
Nov, 2022
学习变分自动编码器(VAEs)的关键任务是训练生成模型和推理模型,本文提出了一种基于 MAPA 的推理方法,可以高效地估计真实模型的后验分布。初步结果表明,该方法在低维合成数据上能够更好地进行密度估计,并提供了将该方法扩展到高维数据的路线图。
Mar, 2024
本篇研究提出了新的目标函数(InfoVAE)解决了现有训练标准带来的问题,大大提高了变分后验的质量,并使得潜在特征得到了有效利用,从而在多个性能指标上优于其他竞争方法。
Jun, 2017
本论文提出了一种控制推理模型平滑性的技术 - Amortized Inference Regularization (AIR),该技术能够提高 VAE 模型的推理和生成性能,并挑战了对 amortized inference 仅仅只是最大似然训练的一种近似方法的信仰,为理解和提高 VAEs 中的泛化能力提供了新方向。
May, 2018
我们提出了一种半摊分解方法,使用摊分变分推断 (Amortized Variational Inference,AVI) 来初始化变分参数并运行随机变分推断 (Stochastic Variational Inference,SVI) 来细化它们,从而使推理网络和生成模型能够进行端到端的梯度优化训练,这种方法有助于在像文本生成这样的问题上使用丰富的生成模型并避免训练 VAE 时产生的后验崩溃现象,实验证明这种方法在标准的文本和图像数据集上胜过强有力的自回归和变分基线。
Feb, 2018
本文介绍了一种基于随机变分推理 (Variational Inference) 的学习算法,可以为存在潜变量的、具有难以处理的后验分布的连续概率模型提供有效的推理和学习方法,特别是在大型数据集下具有较好的表现,且已经在实验上得到了验证。
Dec, 2013
提出了一种新的摊销变分推断方案来处理实证贝叶斯元学习模型,使用变分自编码器方法在有限的训练数据上学习模型参数的先验分布,我们的框架建议在模型参数的条件先验和变分后验分布之间共享相同的摊销推断网络,相比于 Monte-Carlo 近似的早期工作,我们的变分方法避免了条件先验的崩溃并保留了模型参数的不确定性,并在 miniImageNet、CIFAR-FS 和 FC100 数据集上进行了评估,证明了它比以前的方法具有更好的性能。
Aug, 2020
本文揭示了 Variational Autoencoders (VAEs) 的局限性,它们无法稳定地学习潜在空间和可见空间中的边缘分布,因为学习过程是通过匹配条件分布进行的。同时,文章通过大规模的评估 VAE-GAN 混合模型并分析类概率估计对分布学习的影响,得出 VAE-GAN 混合模型在可扩展性、评估和推理方面比 VAE 更加困难,无法提高 GAN 的生成质量。
Feb, 2018