基于语法的变分自编码器用于文本生成
本文提出了一种基于变分自编码器的模型,通过在模型的潜在空间中使用线性化树序列显式建模句法信息,从而生成来自分离的句法和语义子空间的句子,并能应用于无监督的释义生成和句法转换等任务,实验结果优于现有相关工作。
Jul, 2019
通过多任务学习或双编码器架构将分布语义特征和句法结构的编码分离成异构的潜空间,整合基于图和序列模型,通过低秩算子将多个专门的潜在表示注入解码器的注意机制,结果显示所提出的端到端 VAE 架构可以得到更好的潜空间整理,减轻标准 VAE 架构中发生的信息丢失,从而改善语言建模和下游生成任务的性能。
Nov, 2023
通过引入 stochastic lazy attributes,提出了一种基于语法制导的变分自编码器以捕捉离散结构的语法和语义约束,并使用编程语言和分子优化等应用程序对其进行了评估。
Feb, 2018
深度生成神经网络(如变分自动编码器)与大型语言模型相结合,得到了更好的文本生成控制,并在各种任务中表现出了优于现有模型的性能。
Dec, 2023
提出了一种新的生成分层聚类模型 ——Tree Variational Autoencoder(TreeVAE),它能够分层地划分样本并发现数据中潜在结构,并利用树形结构中的叶子节点解码器提高了生成性能。TreeVAE 在不同的数据集上表现出了较高的对数似然下界,并且通过条件采样能够从聚类中生成新的样本。
Jun, 2023
本文提出了一种生成抄袭的生成模型,它通过条件语法草图鼓励语法多样性。在 HRQ-VAE 的基础上,我们提出了一种学习散列编码分解的方法,表示输入的精细到粗糙的信息。通过 HRQ-VAE,我们可以将输入句子的句法形式编码为通过层次结构的路径,以便更容易地在测试时预测语法素描。实验结果证明了 HRQ-VAE 可以学习输入空间的层次表征,并生成比以前系统更高质量的抄袭。
Mar, 2022
提出了一种半监督顺序变分自编码器 (SSVAE) 用于文本分类,在解码器中增加了标签信息,并使用一种新颖的优化方法减少了训练中的计算复杂性,实验结果表明该方法在 IMDB 数据集和 AG 新闻语料库上的分类精度显著提高,与之前的先进方法相当。
Mar, 2016
该研究提出了一种基于主题引导的变分自编码器(TGVAE)模型,该模型使用高斯混合模型作为先验,建立了神经主题模块对语料中的主题进行指导性生成。实验结果表明,该模型在无条件和有条件文本生成方面优于传统的变分自编码器方法。
Mar, 2019
本文介绍了 StructVAE 这样一种半监督语义解析的变分自编码模型,通过学习来自有限的并行数据和广泛可用的未标记的自然语言表述,构建 MRs 树状结构隐藏变量,实验表明,结合额外的未标记数据,StructVAE 可以超越强有力的监督模型在 ATIS 领域和 Python 代码生成任务上的表现。
Jun, 2018
本文研究了多层结构的变分自编码器模型,采用层级随机层和多层解码器结构生成更具信息的潜变量编码,同时生成中间的句子表示作为高层计划向量,实验结果表明多层结构能够生成更加连贯且不重复的长文本,并进一步缓解了后验坍缩问题。
Feb, 2019