通过改进目标函数,提出了新的自动编码器模型 AVAE,利用 KDE 来建模高维度下的边缘后验分布,通过多个基准数据集的实证评估验证了 AVAE 相对于 SOTA 方法的有效性。
Nov, 2023
通过在概率密度差异方面引入新的正则化方法,有效解决了 Variational autoencoders 中的 LATENT REPRESENTATION LEARNING 方面出现的后验崩溃和空洞问题。
Nov, 2022
本文介绍了一种新的正则化方法 mutual posterior-divergence regularization,用于控制潜空间的几何结构,从而实现有意义的表征学习,并在三个图像基准数据集上取得了良好的表现。
Jan, 2019
本文研究变分自编码器(VAE)的先验分布和后验分布。首先,我们将 VAE 的学习分解为逐层密度估计,并认为灵活的先验分布有益于样本生成和推断。其次,我们分析了反自回归流的族群(inverse AF),并表明在进一步改进后,反自回归流可用作对任何复杂后验的通用逼近。我们提出了一种统一的方法来参数化 VAE,而无需在潜在实空间中使用因子高斯分布。
Oct, 2017
该论文探讨了变分自编码器(VAEs)的一个微妙方面,着重解释了 Kullback Leibler(KL)散度,这是 Evidence Lower Bound(ELBO)中的一个关键组成部分,用于平衡重构准确性和正则化之间的权衡。通过使用混合高斯后验概率重新定义 ELBO,引入正则化项以防止方差崩溃,并使用 PatchGAN 鉴别器增强纹理真实性,该方法在实现细节中采用了 ResNetV2 架构用于编码器和解码器。实验证明其能够生成逼真的人脸,为增强基于 VAE 的生成模型提供了有希望的解决方案。
Sep, 2023
本文提出了一种正则化方法来强制 Variational Auto-Encoder 的一致性,通过最小化 Kullback-Leibler(KL)散度来实现;实验结果表明该方法可以改善学习表征的质量并提高其泛化能力。
May, 2021
该研究论文提出 Batch Normalized-VAE (BN-VAE) 方法可以避免 Variational Autoencoder(VAE)寻找 “后验塌缩”(posterior collapse)的局部最优解,该方法不需要引入新的模型组件或修改目标,可有效地、高效地避免后验塌缩,尤其在语言建模、文本分类和对话生成等任务上表现优异,且与 VAE 训练时间几乎相同。
Apr, 2020
针对变分自编码器的先验洞问题,我们提出了一种能源化先验,通过基础先验分布和重新加权因子的乘积来定义,以使基础先验更接近集体后验,并通过噪声对比估计来训练重新加权因子,实验证明此方法可以大幅提高 MNIST、CIFAR-10、CelebA 64 和 CelebA HQ 256 数据集上的最先进 VAE 的生成性能。
Oct, 2020
本文研究了变分自编码器 (VAE) 在训练时出现的后验崩溃现象。针对训练动态的观察,我们提出了一种极其简单的改进 VAE 的训练方法,避免了之前工作中普遍存在的后验崩溃问题,并取得了比基准模型更优的实验结果。
Levenstein VAE 提出了一种简单易优化且避免后验坍塌的新目标,通过在生成的序列的每个时间步中根据 Levenshtein 距离预测最优延续来生成序列,从而产生比其他方法更具信息化的潜在表达。