本文提出了一种基于转换器和变分自动编码器(VAE)的条件变分自动编码器(CVAE)方法,在保持卓越的生成效果的同时增强了可控性和表征学习能力,实现了对长文本的神经故事生成。
Jan, 2021
本文研究主要通过在条件变分自编码器中引入具有显式语义意义的离散潜变量,从而提高短文本对话生成质量并增加多样性。实验证明,该模型在自动评估和人类评估中表现出色。
Nov, 2019
介绍了一种更优秀的文本建模方法:将主题信息作为狄利克雷潜变量明确建模在变分自动编码机(VAE)中。提出的模型更适合重建输入文本,且由于引入的狄利克雷变量与传统的多元高斯变量之间固有的互动,使得模型更不容易出现 KL 散度消失。我们推导了新模型的变分下限,并在四个不同数据集上进行实验,结果表明,该模型在潜在空间的文本重建上更加优秀,并且所学特征的分类具有更高的测试准确性。
Oct, 2018
该研究提出了一种基于主题引导的变分自编码器(TGVAE)模型,该模型使用高斯混合模型作为先验,建立了神经主题模块对语料中的主题进行指导性生成。实验结果表明,该模型在无条件和有条件文本生成方面优于传统的变分自编码器方法。
Mar, 2019
本文发现,序列变分自编码器(VAE)在文本数据上训练时,由于修改后的编码值往往落在聚合后的后验潜空间中的空洞或空缺区域,导致译码网络无法推广,因此无法正确解码并控制操纵。为此我们建议在学习到的概率单纯形上约束后验均值,并在其内进行操作,以解决潜空缺陷问题,并在文本风格转移上取得了成功。
May, 2019
提出控制变分自编码器框架 ControlVAE,该框架使用基于自动控制理论的控制器自动调节 VAE 目标中的权重,以改进生成模型的表现,并在语言建模,解缠杂表示学习和图像生成等三个应用中进行评估,结果表明 ControlVAE 可以实现更好的解缠杂和重建质量。
Apr, 2020
探讨使用潜变量模型实现神经机器翻译中的条件文本生成性能,通过引入连续潜变量来增强编码器 - 解码器 NMT 范例,利用 Inference Network 中的共同关注机制来扩展该模型,使用不同方法试图缓解后验崩溃问题,并且探究学习潜空间的能力,该模型能有效地优化翻译模型。
Dec, 2018
使用深度潜变量模型进行文本生成可以提高标准编码器 - 解码器模型的效果,同时保持深度神经网络的表达能力。
Mar, 2022
本文研究了多层结构的变分自编码器模型,采用层级随机层和多层解码器结构生成更具信息的潜变量编码,同时生成中间的句子表示作为高层计划向量,实验结果表明多层结构能够生成更加连贯且不重复的长文本,并进一步缓解了后验坍缩问题。
Feb, 2019
本文对可变自编码器 (VAE) 拓展至处理序列数据的方法进行了综述,提出并讨论了动态变分自编码器 (DVAEs) 这一类模型,详细介绍了七种 DVAE 模型,并通过语音分析 - 重构任务的实验基准进行了验证,最后探讨了 DVAE 模型的重要问题和未来的研究方向。
Aug, 2020