研究发现将先前仅仅被孤立考虑的两个经验法则相结合可以避免后验坍塌,提高了模型的性能表现。虽然该方法的 ELBO(证据下界)较差,但在保留隐变量的能力及对训练数据分布的建模方面表现更好,说明传统的 VAE 目标函数可能无法同时平衡表示学习和数据分布建模。
Sep, 2019
通过引入第二个参数化的编解码对和一个额外的固定编码器,我们发展了三种 VAE 的变种,并使用神经网络学习编码器 / 解码器的参数来比较这些变种与原始 VAE 的 ELBO 逼近。其中一种变化导致了一个 EUBO,可以与原始 ELBO 一起用于研究 VAE 的收敛性。
Dec, 2022
利用 Hamiltonian Jacobian Estimation 实现了一个新的 Hamiltonian Variational Auto-Encoder(HVAE)模型,可以用于高效地进行变分自编码器模型训练,并构建目标受控的归一化流。
May, 2018
通过引入潜在变量建模和采用基于证据下界(ELBO)的训练目标,我们提出了一种名为变分分类(VC)的传统神经网络方法的新扩展,它通过对抗性方法进行优化。我们的 VC 模型在设计选择方面具有更大的灵活性,特别是类条件潜在先验的选择。对图像和文本分类数据集的实证评估表明,我们的方法在维持预测精度的同时改善了其他可取的特性,例如校准和对抗性鲁棒性,即使应用于外部域的数据。
May, 2023
本文提出了一种新的变分自编码模型优化标准,推广了标准的证据下界,提供了它们恢复数据分布和学习潜在特征的条件,并在形式上证明了通常出现模糊样本和无信息潜在特征等常见问题的条件。基于这些新的见解,我们提出了一种新的序列化 VAE 模型,可以基于像素逐一重构损失在 LSUN 图像数据集上生成清晰的样本,并提出一种旨在鼓励无监督学习信息潜在特征的优化标准。
Feb, 2017
介绍了 Adversarial Variational Bayes 技术,可以用于训练具有任意表达力的推理模型的变分自编码器,并将其与生成对抗网络建立起了原则上的联系。
Jan, 2017
通过在概率密度差异方面引入新的正则化方法,有效解决了 Variational autoencoders 中的 LATENT REPRESENTATION LEARNING 方面出现的后验崩溃和空洞问题。
Nov, 2022
本文介绍了一种基于随机变分推理 (Variational Inference) 的学习算法,可以为存在潜变量的、具有难以处理的后验分布的连续概率模型提供有效的推理和学习方法,特别是在大型数据集下具有较好的表现,且已经在实验上得到了验证。
Dec, 2013
该论文介绍的方法通过密度比技巧来达到 KL 散度的隐式计算,在不模拟聚合后验的情况下,可以使用最优先验,从而在各种数据集上实现高密度估计性能。
Sep, 2018
本文提出了一种新的推断模型 ——“阶梯式变分自动编码器”,并利用逐步添加的近似似然校正生成分布,在生成模型中实现了更深更分布的隐变量层次结构,提供了前沿的预测性能和更紧的下界。
Feb, 2016