Levenstein VAE 提出了一种简单易优化且避免后验坍塌的新目标,通过在生成的序列的每个时间步中根据 Levenshtein 距离预测最优延续来生成序列,从而产生比其他方法更具信息化的潜在表达。
Apr, 2020
本文提出可变图自编码器 (VGAE) 框架,用于处理基于变分自编码器 (VAE) 的图结构数据无监督学习模型。该模型基于潜在变量,能够学习图的可解释的潜在表示。在引文网络的链接预测任务中,我们使用图卷积网络 (GCN) 编码器和内积解码器来展示该模型。与大多数现有的图结构数据和链接预测无监督学习模型相比,我们的模型可以自然地融入节点特征,从而在许多基准数据集上显著提高预测性能。
Nov, 2016
通过在概率密度差异方面引入新的正则化方法,有效解决了 Variational autoencoders 中的 LATENT REPRESENTATION LEARNING 方面出现的后验崩溃和空洞问题。
Nov, 2022
本文研究了变分自编码器 (VAE) 在训练时出现的后验崩溃现象。针对训练动态的观察,我们提出了一种极其简单的改进 VAE 的训练方法,避免了之前工作中普遍存在的后验崩溃问题,并取得了比基准模型更优的实验结果。
Jan, 2019
该研究论文提出 Batch Normalized-VAE (BN-VAE) 方法可以避免 Variational Autoencoder(VAE)寻找 “后验塌缩”(posterior collapse)的局部最优解,该方法不需要引入新的模型组件或修改目标,可有效地、高效地避免后验塌缩,尤其在语言建模、文本分类和对话生成等任务上表现优异,且与 VAE 训练时间几乎相同。
本文理论上探索了几种流行的变分自编码模型,在启发于噪声对比评估算法的基础上,提出了一种新的算法 NC-VAE,在数据重构能力上不会出现后验崩溃问题,提供了新的下界,并在图像和文本数据集上进行了实证展示。
Jul, 2019
提出了自标签增强的 VGAE 模型,包括自标签增强方法(SLAM),用于图的归纳学习,通过在模型训练中进行标签重建以利用标签信息,并采用节点遮盖方法生成伪标签来增强标签信息。实验证明在半监督学习设置下,我们的模型在节点分类上表现出明显的优势。
Mar, 2024
该论文探讨了变分自编码器(VAEs)的一个微妙方面,着重解释了 Kullback Leibler(KL)散度,这是 Evidence Lower Bound(ELBO)中的一个关键组成部分,用于平衡重构准确性和正则化之间的权衡。通过使用混合高斯后验概率重新定义 ELBO,引入正则化项以防止方差崩溃,并使用 PatchGAN 鉴别器增强纹理真实性,该方法在实现细节中采用了 ResNetV2 架构用于编码器和解码器。实验证明其能够生成逼真的人脸,为增强基于 VAE 的生成模型提供了有希望的解决方案。
Sep, 2023
研究发现将先前仅仅被孤立考虑的两个经验法则相结合可以避免后验坍塌,提高了模型的性能表现。虽然该方法的 ELBO(证据下界)较差,但在保留隐变量的能力及对训练数据分布的建模方面表现更好,说明传统的 VAE 目标函数可能无法同时平衡表示学习和数据分布建模。
Sep, 2019
本文提出了一种新的变分自编码模型优化标准,推广了标准的证据下界,提供了它们恢复数据分布和学习潜在特征的条件,并在形式上证明了通常出现模糊样本和无信息潜在特征等常见问题的条件。基于这些新的见解,我们提出了一种新的序列化 VAE 模型,可以基于像素逐一重构损失在 LSUN 图像数据集上生成清晰的样本,并提出一种旨在鼓励无监督学习信息潜在特征的优化标准。
Feb, 2017