EMNLPAug, 2019

文本生成的隐式深度潜变量模型

PDF
TL;DR本文提出了一种基于采样的变分分布表示方法，用于自然语言生成中 deep latent variable models，并通过最大化互信息的正则化来解决 posterior collapse 问题，进一步发展了 VAE，并在多个文本生成场景中证明了其有效性和通用性。
deep latent variable modelsvariational auto-encoderposterior collapsenatural language generationmutual information
发现论文，激发创造
  • 关于文本深度潜变量建模的令人惊讶的有效修复方法

    研究发现将先前仅仅被孤立考虑的两个经验法则相结合可以避免后验坍塌，提高了模型的性能表现。虽然该方法的 ELBO（证据下界）较差，但在保留隐变量的能力及对训练数据分布的建模方面表现更好，说明传统的 VAE 目标函数可能无法同时平衡表示学习和数据分布建模。

    Sep, 2019

  • Levenshtein 变分自编码器用于防止后坍塌

    Levenstein VAE 提出了一种简单易优化且避免后验坍塌的新目标，通过在生成的序列的每个时间步中根据 Levenshtein 距离预测最优延续来生成序列，从而产生比其他方法更具信息化的潜在表达。

    Apr, 2020

  • 基于多级潜变量模型生成长且连贯的文本

    本文研究了多层结构的变分自编码器模型，采用层级随机层和多层解码器结构生成更具信息的潜变量编码，同时生成中间的句子表示作为高层计划向量，实验结果表明多层结构能够生成更加连贯且不重复的长文本，并进一步缓解了后验坍缩问题。

    Feb, 2019

  • 基于 Transformer 的条件变分自编码器用于可控的故事生成

    本文提出了一种基于转换器和变分自动编码器（VAE）的条件变分自动编码器（CVAE）方法，在保持卓越的生成效果的同时增强了可控性和表征学习能力，实现了对长文本的神经故事生成。

    Jan, 2021

  • 使用生成式跳跃模型避免潜变量坍塌

    本篇论文提出了一种新的方法，通过在生成模型中引入跳跃连接来避免潜在变量崩溃的问题，研究表明，在保持预测性能的同时，相比现有的 VAE 体系结构，生成跳跃模型具有更少的崩溃现象，并提供更有意义的数据表示。

    Jul, 2018

  • 使用 delta-VAEs 预防后向崩溃

    针对当前潜变量生成模型中的副坍缩现象，本论文提出了一种 delta-VAEs 方法，通过限制后验变分族的最小距离以确保潜变量的气质保留和编码，实现了变分下界的最优化，并在表示学习上显示了实用性，实现对文本和图像的建模以及在 CIFAR-10 上实现了最先进的对数似然。

    Jan, 2019

  • 用狄利克雷变分自编码器进行文本建模

    介绍了一种更优秀的文本建模方法：将主题信息作为狄利克雷潜变量明确建模在变分自动编码机（VAE）中。提出的模型更适合重建输入文本，且由于引入的狄利克雷变量与传统的多元高斯变量之间固有的互动，使得模型更不容易出现 KL 散度消失。我们推导了新模型的变分下限，并在四个不同数据集上进行实验，结果表明，该模型在潜在空间的文本重建上更加优秀，并且所学特征的分类具有更高的测试准确性。

    Oct, 2018

  • 变分自编码器中落后的推断网络和后验崩溃

    本文研究了变分自编码器 (VAE) 在训练时出现的后验崩溃现象。针对训练动态的观察，我们提出了一种极其简单的改进 VAE 的训练方法，避免了之前工作中普遍存在的后验崩溃问题，并取得了比基准模型更优的实验结果。

    Jan, 2019

  • 稳定变分自编码器中的球形潜在空间

    采用 von Mises-Fisher 分布作为先验和后验分布，避免了 KL 坍塌现象，其在语言模型和文档模型等模型条件下具有更好的似然性和更丰富的潜在表示结构。

    Aug, 2018

  • 可解释文本生成的离散指数族混合变分自编码器

    本文提出 DEM-VAE 模型，使用指数族混合分布代替高斯分布，针对标准变分训练算法的模式坍塌问题，提出了一种有效的训练算法，使得训练具有良好的结构潜空间，实验结果表明，DEM-VAE 模型在文本生成基准测试中优于强基准。

    Jun, 2019