提出了一种新的生成框架 DiffuseVAE,它将 VAE 与扩散建模框架相结合,为扩散模型提供了低维的 VAE 学习到的潜在代码,从而能够用于控制合成等下游任务,并且在速度与质量的平衡方面比标准无条件 DDPM / DDIM 模型要好,同时表现出与最先进的模型可比的综合质量,还显示出天生的对不同类型的噪声具有泛化能力。
Jan, 2022
该研究探讨了使用无香精变换来改进变分自编码器生成模型的表现,使用更具信息量和低方差的后验表示来确保更高质量的重建,并使用 Wasserstein 分布度量来替换 KL 散度以允许更快的后验分布,最后得到了一种竞争力强的确定性采样 VAE,可在脚手架分数上提高性能,训练方差较低。
Jun, 2023
本文提出了使用 Dirichlet 优先的 DirVAE 模型,利用随机梯度法来推论模型参数,解决了潜变量坍塌问题,并在 MNIST,OMNIGLOT,和 SVHN 等数据集上进行了半监督和监督分类任务的实验,结果表明 DirVAE 模型在生成的潜在表达方面与其它基线模型相比具有最佳的对数似然,并且没有出现基线模型出现的坍塌问题,同时,对比基线模型,利用 DirVAE 模型学到的潜在表达还能够实现更好的半监督和监督分类性能。
Jan, 2019
本文提出了一种新的分子深度生成模型,该模型在概率潜变量中加入分层结构,并能通过小数据集实现有效的分子潜在向量设计和物性预测。
Jul, 2023
通过使用预训练的扩散模型生成的样本进行训练,可以有效减轻变分自动编码器中的过拟合问题,并且表现出更好的泛化性能、缩小的模型猜测效应和更强的鲁棒性。
Oct, 2023
提出一种基于正则化的确定性编码器和解码器的生成模型框架,替换 VAEs 中的随机性来达到优化潜在空间的目的,并通过引入后验密度估计步骤来生成具有相当或更好质量的样本。
Mar, 2019
该论文介绍的方法通过密度比技巧来达到 KL 散度的隐式计算,在不模拟聚合后验的情况下,可以使用最优先验,从而在各种数据集上实现高密度估计性能。
Sep, 2018
本文提出了一种新的变分自编码模型优化标准,推广了标准的证据下界,提供了它们恢复数据分布和学习潜在特征的条件,并在形式上证明了通常出现模糊样本和无信息潜在特征等常见问题的条件。基于这些新的见解,我们提出了一种新的序列化 VAE 模型,可以基于像素逐一重构损失在 LSUN 图像数据集上生成清晰的样本,并提出一种旨在鼓励无监督学习信息潜在特征的优化标准。
Feb, 2017
我们提出了去噪扩散变分推断(DDVI)算法,它是一种基于扩散模型作为表达性变分后验的潜变量模型的近似推断算法。我们的方法通过辅助潜变量来增强变分后验,从而得到一类表达性模型,通过反转用户指定的噪声过程在潜变量空间中进行扩散。通过优化受 wake-sleep 算法启发的边缘似然的一种新的下界,我们拟合这些模型。我们的方法易于实现(它适用于正则化的 ELBO 进一步扩展),与黑盒变分推断兼容,并且优于基于归一化流或对抗网络的替代近似后验类别。当应用于深层潜变量模型时,我们的方法得到了去噪扩散 VAE(DD-VAE)算法。我们将该算法应用于生物学中的一个激励任务 -- 从人类基因组推断潜在祖先 -- 在 Thousand Genomes 数据集上优于强基线模型。
Jan, 2024
介绍了一种基于确定性自编码器和遮蔽扩散模型的多模态生成模型,结果优于现有竞争对手的生成质量和一致性。