对称均衡学习的 VAE
该研究开发了一种新形式的变分自动编码器 (VAE),它在两个(对称的)形式中考虑了数据和代码的联合分布。同时,它使用对称的 KL 散度最小化方法进行学习,并使用一种新的对抗性训练方法来加速学习。在多项实验中,该研究展示了在数个图像基准数据集上的最新数据重建和生成结果。
Nov, 2017
通过研究非线性的变分自编码器,本文证明了在接近确定性解码器的情况下,最优编码器近似反转了解码器,并确定了最大化 ELBO(证据下界)的模型的独立机制分析(IMA)的概念,即增加了一种对具有列正交 Jacobian 矩阵的解码器的归纳偏差,有助于恢复真实的潜在因素,并证明 ELBO 收敛到正则化对数似然。
Jun, 2022
研究发现将先前仅仅被孤立考虑的两个经验法则相结合可以避免后验坍塌,提高了模型的性能表现。虽然该方法的 ELBO(证据下界)较差,但在保留隐变量的能力及对训练数据分布的建模方面表现更好,说明传统的 VAE 目标函数可能无法同时平衡表示学习和数据分布建模。
Sep, 2019
通过引入第二个参数化的编解码对和一个额外的固定编码器,我们发展了三种 VAE 的变种,并使用神经网络学习编码器 / 解码器的参数来比较这些变种与原始 VAE 的 ELBO 逼近。其中一种变化导致了一个 EUBO,可以与原始 ELBO 一起用于研究 VAE 的收敛性。
Dec, 2022
利用 Hamiltonian Jacobian Estimation 实现了一个新的 Hamiltonian Variational Auto-Encoder(HVAE)模型,可以用于高效地进行变分自编码器模型训练,并构建目标受控的归一化流。
May, 2018
提出了一种新形式的变分自动编码器 (VAE),其基于对称的 Kullback-Leibler 散度,证明了学习其结果的对称 VAE (sVAE) 与先前开发的对抗性学习方法有密切的联系,对 VAE 和对抗性学习之前的不同技术进行统一,提供了见解,自此不需要先前一些对抗性方法的缺陷。除了激励和解释 sVAE 的分析外,还有一系列广泛的实验验证了该方法的效用。
Sep, 2017
Levenstein VAE 提出了一种简单易优化且避免后验坍塌的新目标,通过在生成的序列的每个时间步中根据 Levenshtein 距离预测最优延续来生成序列,从而产生比其他方法更具信息化的潜在表达。
Apr, 2020
该研究提出了一种将遗传算法和变分自编码器相结合的进化变分自编码器方法,通过动态生成和更新不确定性权衡学习,解决了现有方法中面临的问题,包括 KL 消失问题和基于深度学习中的早期收敛和随机搜索问题。实验结果表明,与竞争方法相比,eVAE 在文本生成、图像生成质量等方面均有显著改善。
Jan, 2023
本文提出了一种新的变分自编码模型优化标准,推广了标准的证据下界,提供了它们恢复数据分布和学习潜在特征的条件,并在形式上证明了通常出现模糊样本和无信息潜在特征等常见问题的条件。基于这些新的见解,我们提出了一种新的序列化 VAE 模型,可以基于像素逐一重构损失在 LSUN 图像数据集上生成清晰的样本,并提出一种旨在鼓励无监督学习信息潜在特征的优化标准。
Feb, 2017