MAE:变分自编码器的相互后验分歧正则化
本文提出了一种基于变分自编码器和神经自回归模型的简单但原则性的方法来学习全局表示,该方法允许对全局潜在特征进行控制,通过设计相应的架构,可以迫使全局潜在特征丢弃2D图像纹理等无关信息,并且通过利用自回归模型作为潜在分布和解码分布,可以大大提高VAE的生成建模性能,实现了MNIST、OMNIGLOT和Caltech-101 Silhouettes密度估计任务的新的最先进结果。
Nov, 2016
提出一种基于正则化的确定性编码器和解码器的生成模型框架,替换VAEs中的随机性来达到优化潜在空间的目的,并通过引入后验密度估计步骤来生成具有相当或更好质量的样本。
Mar, 2019
本文介绍了变分自编码器(VAE)在 posterior collapse 现象中的缺陷,并提出了一种基于邻居嵌入的 VAE(NE-VAE)模型,它能够防止 posterior collapse 现象的发生,同时保留大部分潜变量维度的活跃性,有利于下游的潜空间优化任务。
Mar, 2021
本文提出了一种正则化方法来强制Variational Auto-Encoder的一致性,通过最小化Kullback-Leibler(KL)散度来实现;实验结果表明该方法可以改善学习表征的质量并提高其泛化能力。
May, 2021
通过在概率密度差异方面引入新的正则化方法,有效解决了 Variational autoencoders 中的 LATENT REPRESENTATION LEARNING 方面出现的后验崩溃和空洞问题。
Nov, 2022
该研究探讨了使用无香精变换来改进变分自编码器生成模型的表现,使用更具信息量和低方差的后验表示来确保更高质量的重建,并使用Wasserstein分布度量来替换KL散度以允许更快的后验分布,最后得到了一种竞争力强的确定性采样VAE,可在脚手架分数上提高性能,训练方差较低。
Jun, 2023
该论文探讨了变分自编码器(VAEs)的一个微妙方面,着重解释了Kullback Leibler(KL)散度,这是Evidence Lower Bound(ELBO)中的一个关键组成部分,用于平衡重构准确性和正则化之间的权衡。通过使用混合高斯后验概率重新定义ELBO,引入正则化项以防止方差崩溃,并使用PatchGAN鉴别器增强纹理真实性,该方法在实现细节中采用了ResNetV2架构用于编码器和解码器。实验证明其能够生成逼真的人脸,为增强基于VAE的生成模型提供了有希望的解决方案。
Sep, 2023
这篇文章介绍了一种对变分自动编码器 (VAEs) 进行简单扩展的方法,通过渐进性减小潜空间大小来自动确定训练过程中的最佳潜空间大小,并将该方法与传统的超参数网格搜索进行比较,结果表明其速度显著更快,且在四个图像数据集上实现了最佳的维度。此外,还证明了我们方法的最终性能与从头开始训练的最佳潜空间大小相当,因此可能作为一种便利的替代方法。
Dec, 2023