利用 Householder 流改进变分自编码器
本文提出了一种新型正则化流架构——逆自回归流,它是一种基于自回归神经网络的可逆转换链。实验结果表明,逆自回归流显著改善了高维空间中对角高斯近似后验的变分推断,同时也证明了,结合逆自回归流的新型变分自编码器,在自然图像的对数似然度方面,与神经自回归模型相当,同时合成速度显著更快。
Jun, 2016
本文研究变分自编码器(VAE)的先验分布和后验分布。首先,我们将VAE的学习分解为逐层密度估计,并认为灵活的先验分布有益于样本生成和推断。其次,我们分析了反自回归流的族群(inverse AF),并表明在进一步改进后,反自回归流可用作对任何复杂后验的通用逼近。我们提出了一种统一的方法来参数化VAE,而无需在潜在实空间中使用因子高斯分布。
Oct, 2017
该论文研究了变分自编码器(VAE)在学习可解释的表示和生成建模方面的出色表现,提供了对其良好性能的解释,阐明了该架构中解码器的局部正交性,从而促进重构和正交性之间的平衡。
Dec, 2018
本文介绍了一种新的正则化方法 mutual posterior-divergence regularization,用于控制潜空间的几何结构,从而实现有意义的表征学习,并在三个图像基准数据集上取得了良好的表现。
Jan, 2019
本文提出了一种正则化方法来强制Variational Auto-Encoder的一致性,通过最小化Kullback-Leibler(KL)散度来实现;实验结果表明该方法可以改善学习表征的质量并提高其泛化能力。
May, 2021
本文探讨了如何将贝叶斯网络中的任意依赖结构引入变分自编码器 (VAEs) 中,通过引入图形残差流来实现。我们在多个合成数据集上比较了模型的性能,并展示其在数据稀缺情况下的潜力。
Apr, 2022
此论文研究了层次化变分自编码器中速率/失真权衡的问题,并提出了一个通用类别的推理模型,可以将解码速度分成各层的贡献,从而可以独立调节。我们根据下游任务的理论性能作为各个层速率的函数推导了理论界限,并在大规模实验中验证了我们的理论发现,这为从事者在一个给定应用程序中目标速率空间提供了指导。
Feb, 2023
研究纵观了变分自编码器(VAEs)的训练方法,提出了一种基于熵的自适应方法来优化更紧的变分下界,该方法能适应潜在层次变量模型中复杂的后验几何结构,并获得更高的生成度量。
Aug, 2023