本文讨论了深度非监督学习中最大化证据下限(ELBO)的训练方法,并推导了输入与潜变量之间互信息的下限和上限,进而通过率失真曲线描述了压缩和重构准确性之间的平衡,并提出了一个新的方法来避免强大的随机解码器忽略它们的潜变量。
Nov, 2017
本篇论文提出了一种新的方法,通过在生成模型中引入跳跃连接来避免潜在变量崩溃的问题,研究表明,在保持预测性能的同时,相比现有的VAE体系结构,生成跳跃模型具有更少的崩溃现象,并提供更有意义的数据表示。
Jul, 2018
针对当前潜变量生成模型中的副坍缩现象,本论文提出了一种 delta-VAEs 方法,通过限制后验变分族的最小距离以确保潜变量的气质保留和编码,实现了变分下界的最优化,并在表示学习上显示了实用性,实现对文本和图像的建模以及在 CIFAR-10 上实现了最先进的对数似然。
Jan, 2019
本文研究了变分自编码器(VAE)在训练时出现的后验崩溃现象。针对训练动态的观察,我们提出了一种极其简单的改进VAE的训练方法,避免了之前工作中普遍存在的后验崩溃问题,并取得了比基准模型更优的实验结果。
该论文介绍了变分自编码器及其重要扩展,它们提供了学习深度潜变量模型及对应推理模型的原则框架。
Jun, 2019
该论文研究通过因式分解先验分布的方法实现对观察变量和潜在变量的真实联合分布的识别,从而实现了对深度潜在变量模型的拆分,论文中提出了一种新的非线性独立成分分析框架,该框架同时适用于具有噪音、欠完备或离散观测的情况。
Jul, 2019
本文理论上探索了几种流行的变分自编码模型,在启发于噪声对比评估算法的基础上,提出了一种新的算法 NC-VAE,在数据重构能力上不会出现后验崩溃问题,提供了新的下界,并在图像和文本数据集上进行了实证展示。
本文探讨了高斯VAE模型在深度自编码器网络中存在的损失曲面局部极值点产生的潜在问题,可能导致潜在后验坍塌和信息截断的现象。
Dec, 2019
本研究证明了一类深度潜在变量模型的可识别性,并建立了一个可识别性层次结构,其中考虑了不同的假设条件导致不同的识别强度,包括一些基于Mixture 先验的变分自动编码器和基于ReLU/Leaky-ReLU 激活函数的编码器。
Jun, 2022
该论文通过对条件VAEs和层级VAEs进行理论分析,证明模型中后验崩溃的原因包括条件VAEs输入输出之间的相关性和层级VAEs学习编码器方差的影响,并在实验中验证了理论结果。
Jun, 2023