Wasserstein 自编码器
研究论文通过适当选择网络结构,展示了 WAEs 能够学习数据分布,并且其收敛速度与特征维度无关,只依赖于数据分布的内在维度。
Feb, 2024
通过神经网络引发的转换,我们从统计的角度提出了对 WAEs 机制的理论理解,并在存在敌对情况下分析了这些随机误差的传播,探索了重建分布的大样本特性和 WAE 模型的弹性。
Dec, 2023
本文介绍 Wasserstein 自编码器 (WAE) 的应用,用于概率句子生成,并与其他概率模型进行比较。研究表明,在 stochastic encoding 由固定分布制备时,该分布往往趋向于变成 Dirac delta function,于是提出了一种改进型 WAE 以鼓励编码的随机性,实验表明,该模型在保持与 VAE 相似的连续性和平滑性的同时,能更好的还原句子。
Jun, 2018
本文提出了一种新的表征学习方法,Gromov-Wasserstein Autoencoders(GWAE),通过将 variational autoencoding scheme 与 Gromov-Wasserstein metric 相结合来直接匹配潜变量和数据分布,以实现在不改变其目标的情况下将 meta-priors 引入潜空间。
Sep, 2022
本文介绍了一种新的基于 Sliced-Wasserstein Autoencoders (SWAE)的生成模型,使用最优输运(Optimal Transport,OT)问题和 Wasserstein 距离。通过在自编码损失中加入 sliced-Wasserstein 距离,可以将潜在空间的分布形状成任何可取样的概率分布,同时避免了训练对抗网络或定义分布的需要。我们证明了这种方法具有类似于 Wasserstein Autoencoders (WAE)和 Variational Autoencoders(VAE)的能力,而且实现简单高效。
Apr, 2018
本文提出了一种新的循环 Wasserstein 自编码器 (R-WAE) 框架,可用于序列数据的生成建模,通过将输入序列的表示分离成静态和动态因素,并同时最大程度优化输入数据和不同的分离潜在要素之间的互信息,进一步扩展和优化了 (循环) VAE 的性能。
Jan, 2021
本文提出了一种基于 Wasserstein 自动编码器(WAE)的灵活方法,用于训练离散结构的深度潜变量模型,该方法扩展了 WAE 框架以对离散序列进行建模,并进一步探索了不同的先验知识以获得可控表示,最后展示了 WAE 中的潜变量可以进行文本风格转换。
Jun, 2017
提出了 DialogWAE,这是一种特殊设计的条件 WAE,用于对话建模,能够通过在潜变量空间内训练 GAN 来模拟数据的分布,并进一步发展了高斯混合先验网络,能够产生具有更连贯、更丰富和更多样化响应的结果。
May, 2018
研究了 Wasserstein 自动编码器中潜在空间维度的作用,通过对合成和实际数据集的实验,提出了随机编码器应优于确定性编码器的观点,并强调了在基准解缠任务中代表学习的 WAE 的潜力。
Feb, 2018
我们在 Wasserstein 自编码器(WAE)框架中提出了一种新颖的神经主题模型。通过直接在潜在文档 - 主题向量上施加狄利克雷先验,利用潜在空间的结构并应用合适的核,在最小化最大均值差异(MMD)中进行分布匹配,我们发现 MMD 在匹配高维度狄利克雷分布方面比生成对抗网络(GAN)表现更好。我们还发现,训练过程中在编码器输出中引入随机性可以产生更加连贯的主题。为了衡量所产生的主题的多样性,我们提出了一个简单的主题唯一性度量。结合广泛使用的语义相关性度量 NPMI,实验证明我们的模型比现有模型产生更好的主题质量。
Jul, 2019