Apr, 2019

TextKD-GAN：使用知识蒸馏和生成对抗网络生成文本

PDF
TL;DR本文提出一种使用知识蒸馏的方法来有效利用生成对抗网络（GAN）进行文本生成，通过将自编码器（AE）用于提供连续的句子表示来演示该方法。实验结果表明，相较于传统的基于 GAN 的文本生成方法而言，该方法在 BLEU 得分和 Jensen-Shannon 距离（JSD）方面表现更好。
text generationnlpgenerative adversarial networksknowledge distillationautoencoders
发现论文，激发创造
  • 无需强化学习的对抗文本生成

    本文利用自编码器生成低维度语句向量空间，再用生成对抗网络利用这个空间生成真实文本，与竞争基线相比，经人工审核和 BLEU 分数表明模型可以生成逼真的文本。

    Oct, 2018

  • 对抗特征匹配的文本生成

    该研究提出了一种通过敌对训练生成逼真文本的框架，采用了 LSTM 作为生成器，卷积网络作为判别器，并使用核距离度量匹配真实和合成句子的高维潜在特征分布，从而缓解了模式崩溃问题，并在定量评估方面表现出优越性，证明了该模型可以生成逼真的句子。

    Jun, 2017

  • 使用生成对抗网络进行文本生成的调查

    本篇论文介绍了最近使用生成对抗网络进行文本生成的研究和进展，并对基于对抗学习的文本生成的三种可能选择（即 Gumbel-Softmax 分化，强化学习和修改训练目标）进行了综述。

    Dec, 2022

  • 使用生成对抗网络生成无监督文本嵌入空间以进行文本合成

    本文提出了一种名为 TESGAN 的框架，使用连续文本嵌入空间而非离散标记以解决梯度反向传播的问题，通过无监督学习来克服数据记忆问题，从而能够合成具有潜力的新句子。

    Jun, 2023

  • 基于潜在代码和文本的生成对抗网络用于软文本生成

    介绍了一种新型的基于文本的生成对抗网络 Soft-GAN，并提出了将自编码器用于提供连续句子表示的方法，称为 soft-text。同时还提出了混合潜在编码和文本的 GAN 方法并在两个著名数据集上进行了验证实验，结果显示这些方法优于传统的基于 GAN 的文本生成方法。

    Apr, 2019

  • 生成对抗文本到图像的合成

    利用递归神经网络和深度卷积生成对抗网络构建了新的深度架构和 GAN 公式，将字符转换为像素，有效地将文本和图像建模相结合，从而实现了从详细文本描述中生成花和鸟的逼真图像的能力。

    May, 2016

  • TextGAIL: 文本生成的生成对抗模仿学习

    本文提出一种基于预训练语言模型的文本生成生成对抗性学习框架，采用对比鉴别器和近端策略优化来稳定和改进文本生成性能，实验证明该方法在无条件和有条件文本生成任务上均优于 MLE 基线。

    Apr, 2020

  • 生成对抗网络压缩的可移植图像翻译模型

    提出一种基于知识蒸馏和对抗学习的方法，通过设计更加轻量化的学生生成器和判别器，来实现在移动设备上学习图像生成模型的目标，并在基准数据集上取得了较强的性能表现。

    Mar, 2020

  • 生成协作网络用于自然语言生成

    本文介绍了一种使用协作式判别器架构来生成逼真文本样本的生成合作网络方法，并通过各种有效的解码方案实现了两项主要 NLG 任务的最优结果。

    Jan, 2022

  • 基于序列条件的手写文本图像对抗生成

    该研究提出了一种基于生成对抗网络的系统，可以合成手写单词的合成图像，并在将其与现有训练数据集集成后通过改进通用 GAN 体系结构进行离线手写文本识别。

    Mar, 2019