Nov, 2015

从连续空间生成句子

PDF
TL;DR本文介绍一种基于 RNN 和 VAE 的生成模型，该模型可以显式地模拟句子的整体特征，并通过分布式的潜在表示编码句子的风格、主题和高级语法特征。模型生成多样且完整的句子，能够插值生成连贯且新颖的句子，并用于填补缺失的词，同时探索了潜在句子空间的许多有趣属性。
recurrent neural network language modelrnn-based variational autoencoder generative modeldistributed latent representationsholistic properties of sentenceslatent sentence space
发现论文，激发创造
  • LlaMaVAE: 通过连续的潜在句子空间指导大型语言模型生成

    深度生成神经网络（如变分自动编码器）与大型语言模型相结合，得到了更好的文本生成控制，并在各种任务中表现出了优于现有模型的性能。

    Dec, 2023

  • 面向约束句子生成的前向和后向语言建模

    本研究提出了一种新的前向后向语言模型，能够在特定词的约束下生成自然语言文本，表现优于传统的顺序语言模型。

    Dec, 2015

  • 语言作为潜变量：离散生成模型用于句子压缩

    通过深度生成模型进行文本压缩，利用离散语言模型分布作为文档的潜在表示，生成模型引入离散语言模型的概念，通过变分自编码器进行推断，本研究在大量监督数据训练的情况下，得出抽象和提取式压缩的最新成果，并探索半监督压缩场景。

    Sep, 2016

  • 使用卷积神经网络学习通用的句子表示

    本文提出了基于 CNN 编码器和 LSTM 解码器的分布式句子表征学习方法，旨在实现对多种任务的应用。作者通过训练模型在大规模小说数据集上获得高通用性的卷积句子编码器，并通过多项实验表明该模型在各类应用中均优于竞争方法。

    Nov, 2016

  • 从解耦的句法和语义空间生成句子

    本文提出了一种基于变分自编码器的模型，通过在模型的潜在空间中使用线性化树序列显式建模句法信息，从而生成来自分离的句法和语义子空间的句子，并能应用于无监督的释义生成和句法转换等任务，实验结果优于现有相关工作。

    Jul, 2019

  • 跨领域变分自然语言生成在口语对话系统中的应用

    本文提出了一种基于条件变分自编码器 (CVAE) 的 RNN 的跨领域自然语言生成方法，实现了高度多样性的句子生成，并在数据有限的情况下展现了更好的性能。

    Dec, 2018

  • 无条件语言模型能否复原任意句子？

    本文介绍了一组有效的互补方法，用于将表示馈送到预训练的无条件语言模型中，以及一组方法来映射句子到该表示空间中，并通过找到点的方式调查语言模型生成句子的可能性。我们发现，可以不修改任何模型参数，使用中等大小的表示和语言模型几乎完美地恢复任意句子。

    Jul, 2019

  • 变分循环神经机器翻译

    本文提出了一种新颖的变分递归神经机器翻译（VRNMT）模型，该模型引入了一系列潜在随机变量以发挥生成效果，这些变量是通过变分自编码器获得的，并且在 NMT 解码器的隐藏状态中包含。使用神经后验近似器和重参数化技术，该模型在汉英和英德翻译任务上实验，取得显着的性能提升。

    Jan, 2018

  • 段落和文档的分层神经自编码器

    该论文探索了自然语言生成的一项重要任务，并通过训练 LSTM 自动编码器来实现对多句段落的保留和重构，评估结果表明神经模型能够以一种保存句法、语义和语篇连贯性的方式对文本进行编码。

    Jun, 2015

  • 无需强化学习的对抗文本生成

    本文利用自编码器生成低维度语句向量空间，再用生成对抗网络利用这个空间生成真实文本，与竞争基线相比，经人工审核和 BLEU 分数表明模型可以生成逼真的文本。

    Oct, 2018