论序列 VAE 中后验崩溃和编码器特征分散
Levenstein VAE 提出了一种简单易优化且避免后验坍塌的新目标,通过在生成的序列的每个时间步中根据 Levenshtein 距离预测最优延续来生成序列,从而产生比其他方法更具信息化的潜在表达。
Apr, 2020
该论文通过对条件 VAEs 和层级 VAEs 进行理论分析,证明模型中后验崩溃的原因包括条件 VAEs 输入输出之间的相关性和层级 VAEs 学习编码器方差的影响,并在实验中验证了理论结果。
Jun, 2023
本文研究了变分自编码器 (VAE) 在训练时出现的后验崩溃现象。针对训练动态的观察,我们提出了一种极其简单的改进 VAE 的训练方法,避免了之前工作中普遍存在的后验崩溃问题,并取得了比基准模型更优的实验结果。
Jan, 2019
针对当前潜变量生成模型中的副坍缩现象,本论文提出了一种 delta-VAEs 方法,通过限制后验变分族的最小距离以确保潜变量的气质保留和编码,实现了变分下界的最优化,并在表示学习上显示了实用性,实现对文本和图像的建模以及在 CIFAR-10 上实现了最先进的对数似然。
Jan, 2019
本文针对变分自编码器中的后验崩溃问题,提出了一种基于反 Lipschitz 神经网络的方法,并在多个数值实验中证明了其有效性。
Apr, 2023
本文提出 Coupled-VAE 方法,通过 encoder weight sharing 和 decoder signal matching 来改善 variational autoencoders 的编码器和解码器参数,从而避免后验网络落入常见的局部最优解。实验结果表明该方法可显着提高概率估计和空间潜变量的丰富度,并将其推广到条件语言建模中。
Apr, 2020
研究发现将先前仅仅被孤立考虑的两个经验法则相结合可以避免后验坍塌,提高了模型的性能表现。虽然该方法的 ELBO(证据下界)较差,但在保留隐变量的能力及对训练数据分布的建模方面表现更好,说明传统的 VAE 目标函数可能无法同时平衡表示学习和数据分布建模。
Sep, 2019
本文阐述了变分自编码器中潜变量的后验坍塌现象是由于潜在变量在生成模型中不可识别,提出了一类具有潜变量可识别性的深度生成模型,并证明了它们可以通过概率单射 Brenier maps 实现参数化,在合成和实际数据集上优于现有方法,从而解决了后验坍塌问题。
Jan, 2023
本文通过对线性变分自编码器和概率 PCA 之间的直接对应关系进行分析,提出了有关后验崩溃的简单而直观的解释。从计算角度出发证明了线性 VAE 的 ELBO 目标不会引入附加的虚假局部极值,进一步证明了使用确切变分推理培训线性 VAE 可以恢复对应于主成分方向的全局最大值。同时,我们的线性分析对于高容量的非线性 VAEs 具有预测性,并有助于解释观察噪声,局部最大值和后验崩溃之间的关系。
Nov, 2019