棍子破裂变分自编码器
介绍了 Adversarial Variational Bayes 技术,可以用于训练具有任意表达力的推理模型的变分自编码器,并将其与生成对抗网络建立起了原则上的联系。
Jan, 2017
本文介绍 Wasserstein 自编码器 (WAE) 的应用,用于概率句子生成,并与其他概率模型进行比较。研究表明,在 stochastic encoding 由固定分布制备时,该分布往往趋向于变成 Dirac delta function,于是提出了一种改进型 WAE 以鼓励编码的随机性,实验表明,该模型在保持与 VAE 相似的连续性和平滑性的同时,能更好的还原句子。
Jun, 2018
本文提出了一种层次非参数变分自编码器模型,以结合树状结构的贝叶斯非参数先验和变分自编码器来实现无限灵活性的潜在表征空间,进而在视频表征学习上取得更好的效果。
Mar, 2017
本文提出了使用 Dirichlet 优先的 DirVAE 模型,利用随机梯度法来推论模型参数,解决了潜变量坍塌问题,并在 MNIST,OMNIGLOT,和 SVHN 等数据集上进行了半监督和监督分类任务的实验,结果表明 DirVAE 模型在生成的潜在表达方面与其它基线模型相比具有最佳的对数似然,并且没有出现基线模型出现的坍塌问题,同时,对比基线模型,利用 DirVAE 模型学到的潜在表达还能够实现更好的半监督和监督分类性能。
Jan, 2019
通过引入第二个参数化的编解码对和一个额外的固定编码器,我们发展了三种 VAE 的变种,并使用神经网络学习编码器 / 解码器的参数来比较这些变种与原始 VAE 的 ELBO 逼近。其中一种变化导致了一个 EUBO,可以与原始 ELBO 一起用于研究 VAE 的收敛性。
Dec, 2022
该研究探讨了使用无香精变换来改进变分自编码器生成模型的表现,使用更具信息量和低方差的后验表示来确保更高质量的重建,并使用 Wasserstein 分布度量来替换 KL 散度以允许更快的后验分布,最后得到了一种竞争力强的确定性采样 VAE,可在脚手架分数上提高性能,训练方差较低。
Jun, 2023
本文主要介绍了自动编码变分贝叶斯算法 (AEVB) 的理论及应用,阐明了其与经典的期望最大化算法 (EM) 之间的联系及其适用范围,同时详细介绍了重要概念如一致化 (amortization) 和参数重参数化技巧 (reparametrization trick),最后通过应用该算法到非深度和深度潜变量模型,并提供了 PyTorch 实现代码。
Aug, 2022
利用 Hamiltonian Jacobian Estimation 实现了一个新的 Hamiltonian Variational Auto-Encoder(HVAE)模型,可以用于高效地进行变分自编码器模型训练,并构建目标受控的归一化流。
May, 2018
Levenstein VAE 提出了一种简单易优化且避免后验坍塌的新目标,通过在生成的序列的每个时间步中根据 Levenshtein 距离预测最优延续来生成序列,从而产生比其他方法更具信息化的潜在表达。
Apr, 2020
该研究论文提出 Batch Normalized-VAE (BN-VAE) 方法可以避免 Variational Autoencoder(VAE)寻找 “后验塌缩”(posterior collapse)的局部最优解,该方法不需要引入新的模型组件或修改目标,可有效地、高效地避免后验塌缩,尤其在语言建模、文本分类和对话生成等任务上表现优异,且与 VAE 训练时间几乎相同。
Apr, 2020