关于 Wasserstein 自编码器的潜空间
研究论文通过适当选择网络结构,展示了 WAEs 能够学习数据分布,并且其收敛速度与特征维度无关,只依赖于数据分布的内在维度。
Feb, 2024
本文提出了 Wasserstein 自编码器(WAE)算法,通过最小化 Wasserstein 距离来构建数据分布的生成模型,并与其他技术进行比较,表明其是对抗自编码器(AAE)的推广,可用于生成更高质量的样本。
Nov, 2017
通过神经网络引发的转换,我们从统计的角度提出了对 WAEs 机制的理论理解,并在存在敌对情况下分析了这些随机误差的传播,探索了重建分布的大样本特性和 WAE 模型的弹性。
Dec, 2023
本文介绍 Wasserstein 自编码器 (WAE) 的应用,用于概率句子生成,并与其他概率模型进行比较。研究表明,在 stochastic encoding 由固定分布制备时,该分布往往趋向于变成 Dirac delta function,于是提出了一种改进型 WAE 以鼓励编码的随机性,实验表明,该模型在保持与 VAE 相似的连续性和平滑性的同时,能更好的还原句子。
Jun, 2018
我们在 Wasserstein 自编码器(WAE)框架中提出了一种新颖的神经主题模型。通过直接在潜在文档 - 主题向量上施加狄利克雷先验,利用潜在空间的结构并应用合适的核,在最小化最大均值差异(MMD)中进行分布匹配,我们发现 MMD 在匹配高维度狄利克雷分布方面比生成对抗网络(GAN)表现更好。我们还发现,训练过程中在编码器输出中引入随机性可以产生更加连贯的主题。为了衡量所产生的主题的多样性,我们提出了一个简单的主题唯一性度量。结合广泛使用的语义相关性度量 NPMI,实验证明我们的模型比现有模型产生更好的主题质量。
Jul, 2019
本文提出了一种新的表征学习方法,Gromov-Wasserstein Autoencoders(GWAE),通过将 variational autoencoding scheme 与 Gromov-Wasserstein metric 相结合来直接匹配潜变量和数据分布,以实现在不改变其目标的情况下将 meta-priors 引入潜空间。
Sep, 2022
本文提出了一种新的循环 Wasserstein 自编码器 (R-WAE) 框架,可用于序列数据的生成建模,通过将输入序列的表示分离成静态和动态因素,并同时最大程度优化输入数据和不同的分离潜在要素之间的互信息,进一步扩展和优化了 (循环) VAE 的性能。
Jan, 2021
这篇文章介绍了一种对变分自动编码器 (VAEs) 进行简单扩展的方法,通过渐进性减小潜空间大小来自动确定训练过程中的最佳潜空间大小,并将该方法与传统的超参数网格搜索进行比较,结果表明其速度显著更快,且在四个图像数据集上实现了最佳的维度。此外,还证明了我们方法的最终性能与从头开始训练的最佳潜空间大小相当,因此可能作为一种便利的替代方法。
Dec, 2023
本研究探讨了生成建模中潜在空间选择的最优解以及其确定过程,并提出了一种新的距离度量方法和具体的训练策略来优化潜在空间的选择,进而提高生成效果。
Jul, 2023
本文提出了一种基于 Wasserstein 自动编码器(WAE)的灵活方法,用于训练离散结构的深度潜变量模型,该方法扩展了 WAE 框架以对离散序列进行建模,并进一步探索了不同的先验知识以获得可控表示,最后展示了 WAE 中的潜变量可以进行文本风格转换。
Jun, 2017