本文提出了一种正则化方法来强制 Variational Auto-Encoder 的一致性,通过最小化 Kullback-Leibler(KL)散度来实现;实验结果表明该方法可以改善学习表征的质量并提高其泛化能力。
May, 2021
开发了一种新颖的潜在变量模型,通过生成缺失数据的损坏过程对处理缺失数据集进行了模糊处理,并推导出相应的易于实现、可处理可随机缺失和不随机缺失数据、适用于高维输入、VAE 编码器和解码器原则性访问指标变量以确定数据元素是否缺失的可跟踪证据下限 (ELBO)。在 MNIST 和 SVHN 数据集上,相比现有方法,证明了观测数据的边际对数似然和更好的缺失数据插值提高。
Jun, 2020
本文证明了一种名义上训练过的变分自编码器(VAE)并不一定能够为其能够生成的典型样本便捷地进行推理,介绍了一种自一致性的概念来修正这种行为,并提出了一种基于马尔可夫链的变分近似分布的替代构造方法,具有自监督的后处理环节,可以使其生成的表示更加鲁棒,同时提供了 ColorMnist 和 CelebA 基准数据集上的实验结果。
Dec, 2020
本文介绍了一种新的正则化方法 mutual posterior-divergence regularization,用于控制潜空间的几何结构,从而实现有意义的表征学习,并在三个图像基准数据集上取得了良好的表现。
Jan, 2019
通过在概率密度差异方面引入新的正则化方法,有效解决了 Variational autoencoders 中的 LATENT REPRESENTATION LEARNING 方面出现的后验崩溃和空洞问题。
Nov, 2022
研究了在数据不完整的情况下对变分自动编码器的估计任务,发现缺失数据增加了模型后验分布对潜变量的复杂性,从而影响了模型的拟合。通过引入两种策略(有限变分混合和基于插补的变分混合分布),解决了增加的后验复杂性问题。通过全面评估这些方法,结果表明变分混合对不完整数据的变分自动编码器估计准确性具有提升效果。
Mar, 2024
本文研究了变分自编码器 (VAE) 在训练时出现的后验崩溃现象。针对训练动态的观察,我们提出了一种极其简单的改进 VAE 的训练方法,避免了之前工作中普遍存在的后验崩溃问题,并取得了比基准模型更优的实验结果。
Levenstein VAE 提出了一种简单易优化且避免后验坍塌的新目标,通过在生成的序列的每个时间步中根据 Levenshtein 距离预测最优延续来生成序列,从而产生比其他方法更具信息化的潜在表达。
Apr, 2020
论文提出通过 pooling 来增加编码器特征的差异性,以防止 Variational autoencoders 中 posterior collapse 现象的出现,从而在数据对数似然方面取得了显著提高。
Nov, 2019
该研究提出了一种名为 “变分 Laplace 自动编码器” 的深度生成模型的一般框架,在近似后验分布时采用拉普拉斯近似方法,提高后验表现,同时减少摊销误差。在 MNIST,Omniglot,Fashion-MNIST,SVHN 和 CIFAR10 数据集上进行的实验证明,该方法显着优于 ReLU 网络上其他最近的摊销或迭代方法。