ICMLJun, 2019

可解释文本生成的离散指数族混合变分自编码器

PDF
TL;DR本文提出 DEM-VAE 模型，使用指数族混合分布代替高斯分布，针对标准变分训练算法的模式坍塌问题，提出了一种有效的训练算法，使得训练具有良好的结构潜空间，实验结果表明，DEM-VAE 模型在文本生成基准测试中优于强基准。
发现论文，激发创造
  • 文本生成的隐式深度潜变量模型

    本文提出了一种基于采样的变分分布表示方法，用于自然语言生成中 deep latent variable models，并通过最大化互信息的正则化来解决 posterior collapse 问题，进一步发展了 VAE，并在多个文本生成场景中证明了其有效性和通用性。

    Aug, 2019

  • 面向文本生成的主题引导变分自编码器

    该研究提出了一种基于主题引导的变分自编码器（TGVAE）模型，该模型使用高斯混合模型作为先验，建立了神经主题模块对语料中的主题进行指导性生成。实验结果表明，该模型在无条件和有条件文本生成方面优于传统的变分自编码器方法。

    Mar, 2019

  • 使用高斯混合变分自编码器从分子模拟中生成可解释的嵌入

    本研究论文介绍了使用 Gaussian mixture variational autoencoder（GMVAE）进行分子模拟数据的降维和聚类，以及其在构建 Markov 状态模型方面的潜在应用。

    Dec, 2019

  • 多模式深度生成模型的变分混合专家自编码器

    本文阐述了成功学习多模态生成模型的四个判定标准，提出了一种混合专家多模态变分自编码器（MMVAE）来学习不同模态的生成模型，并展示了其在具有挑战性的图像 - 语言数据集上实现四个标准的能力，从质量和数量两方面进行了定性和定量。

    Nov, 2019

  • 狄利克雷变分自编码器

    本文提出了使用 Dirichlet 优先的 DirVAE 模型，利用随机梯度法来推论模型参数，解决了潜变量坍塌问题，并在 MNIST，OMNIGLOT，和 SVHN 等数据集上进行了半监督和监督分类任务的实验，结果表明 DirVAE 模型在生成的潜在表达方面与其它基线模型相比具有最佳的对数似然，并且没有出现基线模型出现的坍塌问题，同时，对比基线模型，利用 DirVAE 模型学到的潜在表达还能够实现更好的半监督和监督分类性能。

    Jan, 2019

  • MAE：变分自编码器的相互后验分歧正则化

    本文介绍了一种新的正则化方法 mutual posterior-divergence regularization，用于控制潜空间的几何结构，从而实现有意义的表征学习，并在三个图像基准数据集上取得了良好的表现。

    Jan, 2019

  • 变分扩散自编码器：具有无条件扩散先验的深层潜变量模型

    采用扩散模型集成编码器和无条件扩散模型的得分函数，消除了 VAE 图像模糊的问题，并显著提高了性能。

    Apr, 2023

  • 用狄利克雷变分自编码器进行文本建模

    介绍了一种更优秀的文本建模方法：将主题信息作为狄利克雷潜变量明确建模在变分自动编码机（VAE）中。提出的模型更适合重建输入文本，且由于引入的狄利克雷变量与传统的多元高斯变量之间固有的互动，使得模型更不容易出现 KL 散度消失。我们推导了新模型的变分下限，并在四个不同数据集上进行实验，结果表明，该模型在潜在空间的文本重建上更加优秀，并且所学特征的分类具有更高的测试准确性。

    Oct, 2018

  • GAMIX-VAE: 基于高斯混合后验的 VAE

    该论文探讨了变分自编码器（VAEs）的一个微妙方面，着重解释了 Kullback Leibler（KL）散度，这是 Evidence Lower Bound（ELBO）中的一个关键组成部分，用于平衡重构准确性和正则化之间的权衡。通过使用混合高斯后验概率重新定义 ELBO，引入正则化项以防止方差崩溃，并使用 PatchGAN 鉴别器增强纹理真实性，该方法在实现细节中采用了 ResNetV2 架构用于编码器和解码器。实验证明其能够生成逼真的人脸，为增强基于 VAE 的生成模型提供了有希望的解决方案。

    Sep, 2023

  • RegaVAE：一种用于语言建模的检索增强高斯混合变分自编码器

    检索增强语言模型通过引入隐变量聚合检索信息解决了过时信息和虚构问题，并以 RegaVAE 作为一个例子，展示了在文本生成质量和幻觉去除方面的显著改进。

    Oct, 2023