ACLFeb, 2019

基于多级潜变量模型生成长且连贯的文本

PDF
TL;DR本文研究了多层结构的变分自编码器模型，采用层级随机层和多层解码器结构生成更具信息的潜变量编码，同时生成中间的句子表示作为高层计划向量，实验结果表明多层结构能够生成更加连贯且不重复的长文本，并进一步缓解了后验坍缩问题。
variational autoencodersmulti-level structureslatent codeslong-term structureposterior-collapse issue
发现论文，激发创造
  • 一种用于学习音乐长期结构的分层潜变量模型

    本文介绍了一种新的变分自编码器模型 MusicVAE，利用层次化解码器结构用于序列数据建模，解决了长程序列结构状态建模的问题，并实现了更好的采样、插值和重构表现。

    Mar, 2018

  • 文本生成的隐式深度潜变量模型

    本文提出了一种基于采样的变分分布表示方法，用于自然语言生成中 deep latent variable models，并通过最大化互信息的正则化来解决 posterior collapse 问题，进一步发展了 VAE，并在多个文本生成场景中证明了其有效性和通用性。

    Aug, 2019

  • 用狄利克雷变分自编码器进行文本建模

    介绍了一种更优秀的文本建模方法：将主题信息作为狄利克雷潜变量明确建模在变分自动编码机（VAE）中。提出的模型更适合重建输入文本，且由于引入的狄利克雷变量与传统的多元高斯变量之间固有的互动，使得模型更不容易出现 KL 散度消失。我们推导了新模型的变分下限，并在四个不同数据集上进行实验，结果表明，该模型在潜在空间的文本重建上更加优秀，并且所学特征的分类具有更高的测试准确性。

    Oct, 2018

  • 短文本对话生成中的离散 CVAE

    本文研究主要通过在条件变分自编码器中引入具有显式语义意义的离散潜变量，从而提高短文本对话生成质量并增加多样性。实验证明，该模型在自动评估和人类评估中表现出色。

    Nov, 2019

  • 控制性文本生成的变分自编码器综述

    介绍了神经网络生成模型、自然语言处理、VAE、可控制生成、深度神经网络等相关概念和应用。

    Nov, 2022

  • 文本生成的混合卷积变分自编码器

    本文探讨了建筑选择对于学习文本生成变分自编码器（VAE）的影响。与之前引入的使用 RNN 的 VAE 不同，本文提出了一种新颖的混合架构，将完全前馈卷积和反卷积组件与递归语言模型混合在一起。我们的架构具有几个有吸引力的属性，如更快的运行时间和收敛速度，能够更好地处理长序列，并且更重要的是，它有助于避免训练 VAE 模型时出现的一些主要困难。

    Feb, 2017

  • Levenshtein 变分自编码器用于防止后坍塌

    Levenstein VAE 提出了一种简单易优化且避免后验坍塌的新目标，通过在生成的序列的每个时间步中根据 Levenshtein 距离预测最优延续来生成序列，从而产生比其他方法更具信息化的潜在表达。

    Apr, 2020

  • 文本生成的深度潜在变量模型

    使用深度潜变量模型进行文本生成可以提高标准编码器 - 解码器模型的效果，同时保持深度神经网络的表达能力。

    Mar, 2022

  • LlaMaVAE: 通过连续的潜在句子空间指导大型语言模型生成

    深度生成神经网络（如变分自动编码器）与大型语言模型相结合，得到了更好的文本生成控制，并在各种任务中表现出了优于现有模型的性能。

    Dec, 2023

  • 一种分层潜变量编码器 - 解码器模型生成对话

    提出一种基于神经网络的生成架构，通过潜在的随机变量来建模具有复杂依赖关系的分层结构顺序数据，将该模型应用于对话响应生成任务并与最近的神经网络架构进行比较，实验证明该模型可以提高生成长输出的准确性并维持上下文信息。

    May, 2016