本文提出了一种新的变分自编码模型优化标准,推广了标准的证据下界,提供了它们恢复数据分布和学习潜在特征的条件,并在形式上证明了通常出现模糊样本和无信息潜在特征等常见问题的条件。基于这些新的见解,我们提出了一种新的序列化VAE模型,可以基于像素逐一重构损失在LSUN图像数据集上生成清晰的样本,并提出一种旨在鼓励无监督学习信息潜在特征的优化标准。
Feb, 2017
本研究介绍了基于深度学习的一种小批量近似方法,用于在自动编码器和生成式对抗网络等现代生成模型中实现切片 Wasserstein 距离,以便在无监督情况下实现高分辨率图像和视频的生成,表现为当代最佳水平。
Jun, 2017
本文介绍了一种新的基于 Sliced-Wasserstein Autoencoders (SWAE)的生成模型,使用最优输运(Optimal Transport,OT)问题和Wasserstein距离。通过在自编码损失中加入 sliced-Wasserstein 距离,可以将潜在空间的分布形状成任何可取样的概率分布,同时避免了训练对抗网络或定义分布的需要。我们证明了这种方法具有类似于Wasserstein Autoencoders (WAE)和Variational Autoencoders(VAE)的能力,而且实现简单高效。
Apr, 2018
本文介绍了一种新的正则化方法 mutual posterior-divergence regularization,用于控制潜空间的几何结构,从而实现有意义的表征学习,并在三个图像基准数据集上取得了良好的表现。
Jan, 2019
提出了一种新的算法框架用于学习数据分布的自编码器,该框架最小化模型与目标分布的差异,通过对可学习潜在先验的关系正则化,惩罚潜在先验与其对应后验之间的融合Gromov-Wasserstein(FGW)距离,从而允许灵活地学习与生成模型相关的结构化先验分布,帮助多个自编码器的联合训练,即使它们具有异构的体系结构和无法比较的潜在空间,通过两种可扩展的算法实现该框架,适用于概率和确定性自编码器,我们的关系正则化自编码器(RAE)在生成图像方面优于现有方法,例如变分自编码器,Wasserstein自编码器及其变体,此外,我们的关系联合训练策略也取得了在合成和真实世界多视图学习任务中鼓舞人心的结果。
Feb, 2020
提出了一种基于概率流的生成模型,通过对模型进行规范化,得到能够提高样本质量的最终目标,进而改进了变分自编码器和自编码器的性能。
本文提出了一种基于得分的生成模型,通过Langevin动态学习和采样源数据和目标数据之间的Sinkhorn耦合,从而解决大规模最优输运问题。
Oct, 2021
本文首次成功地将自动编码器与极大似然训练法结合,通过提出改进的评估器并克服训练中的两个挑战,获得了具有竞争力性能的最大似然自动编码器(MLAE)模型。
Jun, 2023
本研究提出了基于最优输运理论(OT)的耦合变分自编码器(C-VAE)来克服常规变分自编码器的先验不完整问题,实验结果表明C-VAE在保证数据保真度、潜在向量质量以及生成样本质量方面优于常规VAE、WAE和InfoVAE。
通过神经网络引发的转换,我们从统计的角度提出了对WAEs机制的理论理解,并在存在敌对情况下分析了这些随机误差的传播,探索了重建分布的大样本特性和WAE模型的弹性。
Dec, 2023