内省变分自编码器中的先验学习
本文研究变分自编码器(VAE)的先验分布和后验分布。首先,我们将VAE的学习分解为逐层密度估计,并认为灵活的先验分布有益于样本生成和推断。其次,我们分析了反自回归流的族群(inverse AF),并表明在进一步改进后,反自回归流可用作对任何复杂后验的通用逼近。我们提出了一种统一的方法来参数化VAE,而无需在潜在实空间中使用因子高斯分布。
Oct, 2017
介绍了一种新颖的内省变分自动编码器(IntroVAE)模型,其可以用于合成高分辨率的照片图像,并通过将GAN和VAE两种生成框架集成到一个简单而高效的单流架构中,实现了高性能的图像生成。
Jul, 2018
本文介绍了一种新的正则化方法 mutual posterior-divergence regularization,用于控制潜空间的几何结构,从而实现有意义的表征学习,并在三个图像基准数据集上取得了良好的表现。
Jan, 2019
提出一种基于正则化的确定性编码器和解码器的生成模型框架,替换VAEs中的随机性来达到优化潜在空间的目的,并通过引入后验密度估计步骤来生成具有相当或更好质量的样本。
Mar, 2019
本文提出了在变分自编码器中学习分层先验以避免标准正态先验分布造成的过度规则化。为了激励数据的具有信息的潜在表示,我们将学习问题公式化为带有约束的优化问题,并将Taming VAEs框架扩展为两层分层模型。我们引入了基于图形的插值方法,该方法显示所学习的潜在表示的拓扑结构对应于数据流形的拓扑结构,并呈现了几个例子,在这些例子中,优先考虑的是潜在表示的所需属性,例如平滑性和简单的解释因素。
May, 2019
针对变分自编码器的先验洞问题,我们提出了一种能源化先验,通过基础先验分布和重新加权因子的乘积来定义,以使基础先验更接近集体后验,并通过噪声对比估计来训练重新加权因子,实验证明此方法可以大幅提高MNIST、CIFAR-10、CelebA 64和CelebA HQ 256数据集上的最先进VAE的生成性能。
Oct, 2020
使用Soft-IntroVAE替换IntroVAE在生成样本中使用的铰链损失项,从而显着提高训练稳定性,并加强了该算法的理论分析。我们展示了IntroVAE会收敛到最小化数据分布之间的KL距离和熵项和的分布,这一结果的影响使得它在图片生成和重建任务中有极好表现,并通过两个应用场景展示了Soft-IntroVAE的竞争力。
Dec, 2020
此论文研究了层次化变分自编码器中速率/失真权衡的问题,并提出了一个通用类别的推理模型,可以将解码速度分成各层的贡献,从而可以独立调节。我们根据下游任务的理论性能作为各个层速率的函数推导了理论界限,并在大规模实验中验证了我们的理论发现,这为从事者在一个给定应用程序中目标速率空间提供了指导。
Feb, 2023
通过纳什均衡学习方法,我们提出了一种视觉自编码器的学习方法,可以在只能通过采样获得数据和潜在分布的情况下,克服标准学习方法的限制,并适用于更复杂的学习场景和下游任务。实验证明我们方法学习到的模型与通过最大化证据下界学习的模型相当,并展示了其在标准视觉自编码器学习无法解决的任务上的适用性。
Jul, 2023