ACLApr, 2022

使用高斯过程先验的变分编码器 - 解码器模型进行多样化文本生成

PDF
TL;DR本文提出了一种基于潜变量结构模型的高质量文本生成方法，通过富化编码器 - 解码器模型的上下文表示学习来提高文本生成的质量和多样性，其中采用高斯过程先验的随机函数来实现多样性，并用有效的变分推理方法来近似后验分布，实验证明该方法相较于其他基准方法在 Paraphrase Generation 和 Text Style Transfer 任务上生成的文本质量和多样性更高。
发现论文，激发创造
  • 文本处理的神经变分推断

    通过引入一个通用变分推断框架来构建生成式和条件文本模型的变分推断网络，我们验证了该框架在生成式文档建模和监督式问题回答两个不同的文本建模应用中的有效性。

    Nov, 2015

  • 使用条件变分自编码器为神经对话模型学习语篇级多样性

    本研究提出了一种基于条件变分自编码器（CVAE）的框架，该框架利用潜在变量来学习潜在意图的分布，并仅使用贪婪解码器生成多样化响应，其可以更好地捕获感性多样性和提高决策能力。实验证明，与基线方法相比，所提出的模型可以生成更丰富的响应，并且具有更好的表现。

    Mar, 2017

  • 对话生成中改进变分编码器 - 解码器

    本文通过将训练步骤分为两个阶段来解决 KL - 消失问题，采用多层感知器对高斯噪声进行变换来对潜在变量进行采样，从而实现更灵活的分布，实验结果表明，我们的模型在度量和人类评估方面都有大幅度提高。

    Feb, 2018

  • 变分自编码深度高斯过程

    通过与一个识别模型相结合，我们开发了一个可扩展的深度非参数生成模型。在利用多层感知器的变分框架下，我们重新参数化变分后验分布，并推导出一个可处理深度学习任务规模数据集的变分下界公式，证明了该方法在深度无监督学习和深度贝叶斯优化领域的有效性。

    Nov, 2015

  • 神经变分文本处理的分段潜变量

    本文提出一种新的分段常数分布作为一种复杂的潜在因素分布，以更好地建模实际数据集中的多模式潜在因素，实验结果表明，我们的方法在自然语言处理任务中实现了显著的提高。

    Dec, 2016

  • 基于规划的分层变分模型进行长篇多样化文本生成

    本文提出了一种基于规划的分层变分模型，通过规划出一系列任务子集来分割长文本生成任务，实现了生成多样化表达的效果，相较于现有神经方法更为出色。

    Aug, 2019

  • 文本生成的深度潜在变量模型

    使用深度潜变量模型进行文本生成可以提高标准编码器 - 解码器模型的效果，同时保持深度神经网络的表达能力。

    Mar, 2022

  • 变分神经机器翻译

    本文提出了一种变分神经机器翻译编码器 - 解码器模型，引入了一个连续潜变量来明确建模源句子的潜在语义并引导目标翻译的生成，通过神经后验估计技术对该模型进行训练，在中英文和英德翻译任务中实现了显著的性能提升。

    May, 2016

  • 条件变分自编码器用于神经机器翻译

    探讨使用潜变量模型实现神经机器翻译中的条件文本生成性能，通过引入连续潜变量来增强编码器 - 解码器 NMT 范例，利用 Inference Network 中的共同关注机制来扩展该模型，使用不同方法试图缓解后验崩溃问题，并且探究学习潜空间的能力，该模型能有效地优化翻译模型。

    Dec, 2018

  • 用狄利克雷变分自编码器进行文本建模

    介绍了一种更优秀的文本建模方法：将主题信息作为狄利克雷潜变量明确建模在变分自动编码机（VAE）中。提出的模型更适合重建输入文本，且由于引入的狄利克雷变量与传统的多元高斯变量之间固有的互动，使得模型更不容易出现 KL 散度消失。我们推导了新模型的变分下限，并在四个不同数据集上进行实验，结果表明，该模型在潜在空间的文本重建上更加优秀，并且所学特征的分类具有更高的测试准确性。

    Oct, 2018