May, 2023

Dior-CVAE: 变分对话生成中的扩散先验

PDF
TL;DR提出了一种使用扩散模型产生信息量丰富的先验分布的分层条件变分自动编码器（Hierarchical CVAE），并使用注意机制将生成的潜变量逐层注入解码器，使用记忆丢弃解决后验崩溃问题。实验表明，与基于变分的 Transformer 模型相比，该方法在对话生成方面具有优势。
conditional variational autoencoderhierarchical modeldiffusion modeldialog response generationmemory dropout
发现论文，激发创造
  • 高级条件变分自编码器（A-CVAE）：通过解离潜在特征表示进行开放领域对话生成解释的探索

    本研究旨在通过介绍一种认知方法，利用先前的知识驱动生成模型，实现在中尺度特征分离中调节潜在变量，使得深度学习的开放领域对话系统可以生成更高质量和更可解释性的对话。

    Jul, 2022

  • 变分扩散自编码器：具有无条件扩散先验的深层潜变量模型

    采用扩散模型集成编码器和无条件扩散模型的得分函数，消除了 VAE 图像模糊的问题，并显著提高了性能。

    Apr, 2023

  • DiffuseVAE: 从低维潜变量中高效、可控、高保真生成

    提出了一种新的生成框架 DiffuseVAE，它将 VAE 与扩散建模框架相结合，为扩散模型提供了低维的 VAE 学习到的潜在代码，从而能够用于控制合成等下游任务，并且在速度与质量的平衡方面比标准无条件 DDPM / DDIM 模型要好，同时表现出与最先进的模型可比的综合质量，还显示出天生的对不同类型的噪声具有泛化能力。

    Jan, 2022

  • DialogWAE: 条件 Wasserstein 自编码器的多模态响应生成

    提出了 DialogWAE，这是一种特殊设计的条件 WAE，用于对话建模，能够通过在潜变量空间内训练 GAN 来模拟数据的分布，并进一步发展了高斯混合先验网络，能够产生具有更连贯、更丰富和更多样化响应的结果。

    May, 2018

  • 狄利克雷变分自编码器

    本文提出了使用 Dirichlet 优先的 DirVAE 模型，利用随机梯度法来推论模型参数，解决了潜变量坍塌问题，并在 MNIST，OMNIGLOT，和 SVHN 等数据集上进行了半监督和监督分类任务的实验，结果表明 DirVAE 模型在生成的潜在表达方面与其它基线模型相比具有最佳的对数似然，并且没有出现基线模型出现的坍塌问题，同时，对比基线模型，利用 DirVAE 模型学到的潜在表达还能够实现更好的半监督和监督分类性能。

    Jan, 2019

  • 短文本对话生成中的离散 CVAE

    本文研究主要通过在条件变分自编码器中引入具有显式语义意义的离散潜变量，从而提高短文本对话生成质量并增加多样性。实验证明，该模型在自动评估和人类评估中表现出色。

    Nov, 2019

  • 扩散变分推断：扩散模型作为表达丰富的变分先验

    我们提出了去噪扩散变分推断（DDVI）算法，它是一种基于扩散模型作为表达性变分后验的潜变量模型的近似推断算法。我们的方法通过辅助潜变量来增强变分后验，从而得到一类表达性模型，通过反转用户指定的噪声过程在潜变量空间中进行扩散。通过优化受 wake-sleep 算法启发的边缘似然的一种新的下界，我们拟合这些模型。我们的方法易于实现（它适用于正则化的 ELBO 进一步扩展），与黑盒变分推断兼容，并且优于基于归一化流或对抗网络的替代近似后验类别。当应用于深层潜变量模型时，我们的方法得到了去噪扩散 VAE（DD-VAE）算法。我们将该算法应用于生物学中的一个激励任务 -- 从人类基因组推断潜在祖先 -- 在 Thousand Genomes 数据集上优于强基线模型。

    Jan, 2024

  • 使用条件变分自编码器为神经对话模型学习语篇级多样性

    本研究提出了一种基于条件变分自编码器（CVAE）的框架，该框架利用潜在变量来学习潜在意图的分布，并仅使用贪婪解码器生成多样化响应，其可以更好地捕获感性多样性和提高决策能力。实验证明，与基线方法相比，所提出的模型可以生成更丰富的响应，并且具有更好的表现。

    Mar, 2017

  • 用对比学习的方法训练变分自编码器先验

    针对变分自编码器的先验洞问题，我们提出了一种能源化先验，通过基础先验分布和重新加权因子的乘积来定义，以使基础先验更接近集体后验，并通过噪声对比估计来训练重新加权因子，实验证明此方法可以大幅提高 MNIST、CIFAR-10、CelebA 64 和 CelebA HQ 256 数据集上的最先进 VAE 的生成性能。

    Oct, 2020

  • DiVAE：具有去噪扩散解码器的真实感图像合成

    该研究提出了一种使用 VQ-VAE 和扩散解码器的 DiVAE 图像生成模型，相关实验结果表明该模型能够生成高度逼真的图像，特别适用于条件综合任务。

    Jun, 2022