后验崩溃和潜变量不可辨识性
本文研究了变分自编码器 (VAE) 在训练时出现的后验崩溃现象。针对训练动态的观察,我们提出了一种极其简单的改进 VAE 的训练方法,避免了之前工作中普遍存在的后验崩溃问题,并取得了比基准模型更优的实验结果。
Jan, 2019
该论文通过对条件 VAEs 和层级 VAEs 进行理论分析,证明模型中后验崩溃的原因包括条件 VAEs 输入输出之间的相关性和层级 VAEs 学习编码器方差的影响,并在实验中验证了理论结果。
Jun, 2023
Levenstein VAE 提出了一种简单易优化且避免后验坍塌的新目标,通过在生成的序列的每个时间步中根据 Levenshtein 距离预测最优延续来生成序列,从而产生比其他方法更具信息化的潜在表达。
Apr, 2020
该论文研究通过因式分解先验分布的方法实现对观察变量和潜在变量的真实联合分布的识别,从而实现了对深度潜在变量模型的拆分,论文中提出了一种新的非线性独立成分分析框架,该框架同时适用于具有噪音、欠完备或离散观测的情况。
Jul, 2019
本篇论文提出了一种新的方法,通过在生成模型中引入跳跃连接来避免潜在变量崩溃的问题,研究表明,在保持预测性能的同时,相比现有的 VAE 体系结构,生成跳跃模型具有更少的崩溃现象,并提供更有意义的数据表示。
Jul, 2018
本文针对变分自编码器中的后验崩溃问题,提出了一种基于反 Lipschitz 神经网络的方法,并在多个数值实验中证明了其有效性。
Apr, 2023
研究了可识别变分自编码器,在生成结构中使用辅助协变量来从协变量到观测值和独立组件(IC)中学习潜在的独立组件,并开发了一种称为 CI-iVAE 的新方法来解决后退化坍塌问题。
Feb, 2022
论文提出通过 pooling 来增加编码器特征的差异性,以防止 Variational autoencoders 中 posterior collapse 现象的出现,从而在数据对数似然方面取得了显著提高。
Nov, 2019
本文通过对线性变分自编码器和概率 PCA 之间的直接对应关系进行分析,提出了有关后验崩溃的简单而直观的解释。从计算角度出发证明了线性 VAE 的 ELBO 目标不会引入附加的虚假局部极值,进一步证明了使用确切变分推理培训线性 VAE 可以恢复对应于主成分方向的全局最大值。同时,我们的线性分析对于高容量的非线性 VAEs 具有预测性,并有助于解释观察噪声,局部最大值和后验崩溃之间的关系。
Nov, 2019