Nov, 2019

预训练和插接：基于变分自编码器的灵活条件文本生成

HTML
PDF
TL;DR本文介绍一种新的名为PPVAE的框架，用于灵活的条件文本生成。PPVAE将文本生成模块与条件表示模块解耦，以允许“一对多”条件生成，并且对于新出现的条件，只需要训练轻量级网络并作为PPVAE的插件，这对于实际应用非常有效和理想。广泛的实验表明，PPVAE比现有的其他技术具有更好的条件性和多样性，但需要更少的训练工作量。
发现论文，激发创造
  • 文本生成的混合卷积变分自编码器

    本文探讨了建筑选择对于学习文本生成变分自编码器（VAE）的影响。与之前引入的使用RNN的VAE不同，本文提出了一种新颖的混合架构，将完全前馈卷积和反卷积组件与递归语言模型混合在一起。我们的架构具有几个有吸引力的属性，如更快的运行时间和收敛速度，能够更好地处理长序列，并且更重要的是，它有助于避免训练VAE模型时出现的一些主要困难。

    Feb, 2017

  • 对话系统中低资源自然语言生成的双潜变量模型

    本文提出了一种基于变分神经网络的自然语言生成模型，用于解决受限标记数据集的自然语言生成问题，并通过引入变分推理和辅助自编码器与有效的训练程序来提高模型性能。实验表明，该模型不仅在有足够训练数据时优于以前的模型，而且在数据稀缺情况下也表现出良好的能力。

    Nov, 2018

  • 面向文本生成的主题引导变分自编码器

    该研究提出了一种基于主题引导的变分自编码器（TGVAE）模型，该模型使用高斯混合模型作为先验，建立了神经主题模块对语料中的主题进行指导性生成。实验结果表明，该模型在无条件和有条件文本生成方面优于传统的变分自编码器方法。

    Mar, 2019

  • 通过自标记条件变分自编码器提高多样文本生成

    本文介绍了一种基于自标记变分自编码器（SLCVAE）的方法，以解决CVAE模型中KL-vanishing问题，提高文本生成多样性。同时，提供了一个大型本地一对多数据集，支持此方法的研究。

    Mar, 2019

  • 基于规划的分层变分模型进行长篇多样化文本生成

    本文提出了一种基于规划的分层变分模型，通过规划出一系列任务子集来分割长文本生成任务，实现了生成多样化表达的效果，相较于现有神经方法更为出色。

    Aug, 2019

  • 条件语言生成的编码器无关适应

    本研究探讨了一种称为伪自关注的方法，将任意条件输入直接注入到预训练的转换器模型中，提高了语言生成任务的性能，保证了数据效率。

    Aug, 2019

  • CTRL: 条件可控的Transformer语言模型生成器

    发布了一个1.63亿参数的条件变换器语言模型CTRL，它被训练用于控制由结构派生而来的控制代码来控制风格、内容和任务特定行为，从而提供更明确的文本生成控制。

    Sep, 2019

  • 文本生成的预训练语言模型：综述

    本文综述了预训练语言模型在文本生成方面的主要进展，包括模型结构、输入数据的适配以及重要的微调策略。对于文本生成研究者而言，该综述提供了相关研究的综合和指引。

    May, 2021

  • PCAE: 可控文本生成的插件条件自编码器框架

    我们提出了一个灵活的半监督文本生成模型Plug-in Conditional Auto-Encoder（PCAE），它可以通过全局潜在空间到指定的局部潜在空间，以高度可操纵、句法多样和时间高效的方式生成文本，使用最小标记样本。

    Oct, 2022

  • 情绪条件下的文本生成通过自动提示优化

    我们提出了首个自动提示优化方法，用于以情绪为条件的文本生成，使用一个迭代的优化过程通过添加、删除或替换标记来改变提示。通过将生成的文本中的情感条件的实现度量作为目标函数，我们将该方法应用于以情绪为条件的文本生成，并将其与手动设计的提示进行比较。优化的提示在实现情感条件方面达到了0.75的宏平均F1，而手动设计的提示仅达到了0.22的宏平均F1。

    Aug, 2023