Sep, 2018

基于自注意潜空间的对抗文本生成

HTML
PDF
TL;DR本文提出了采用自注意机制和Transformer架构的文本生成自注意架构，以加强此类生成文本的编码体系（specifically AAE and ARAE），并将其与Google句子压缩数据集上使用的二类编码体系进行了实验比较。实验证明，所提出的（自）注意模型优于现有的对抗生成文本编码体系。
发现论文，激发创造
  • 通过泄露信息的对抗训练实现长文本生成

    本文提出了一种名为LeakGAN的新框架来解决长文本生成中缺乏中间信息的问题，通过引入高级特征来指导生成模型，LeakGAN在长文本生成和短文本生成任务中都表现出了较好的性能，并且无需监督学习即可隐式地学习句子结构。

    Sep, 2017

  • 无需强化学习的对抗文本生成

    本文利用自编码器生成低维度语句向量空间，再用生成对抗网络利用这个空间生成真实文本，与竞争基线相比，经人工审核和BLEU分数表明模型可以生成逼真的文本。

    Oct, 2018

  • 基于潜在代码和文本的生成对抗网络用于软文本生成

    介绍了一种新型的基于文本的生成对抗网络 Soft-GAN，并提出了将自编码器用于提供连续句子表示的方法，称为 soft-text。同时还提出了混合潜在编码和文本的 GAN 方法并在两个著名数据集上进行了验证实验，结果显示这些方法优于传统的基于 GAN 的文本生成方法。

    Apr, 2019

  • TextKD-GAN：使用知识蒸馏和生成对抗网络生成文本

    本文提出一种使用知识蒸馏的方法来有效利用生成对抗网络（GAN）进行文本生成，通过将自编码器（AE）用于提供连续的句子表示来演示该方法。实验结果表明，相较于传统的基于GAN的文本生成方法而言，该方法在BLEU得分和Jensen-Shannon距离（JSD）方面表现更好。

    Apr, 2019

  • 通过去噪引导潜在表示的文本自编码器教育

    本文介绍了一种通过利用生成自编码器的潜在句子表示来实现可控制文本生成的方法。作者提出了一种改进自动编码器的方法，被称为DAAE，该方法可以在维持生成质量的同时，提高模型中的潜在空间几何性，从而实现了通过简单潜在向量算术进行全零文本风格转换。

    May, 2019

  • ARAML：一个文本生成的稳定对抗训练框架

    提出了一种称为ARAML的新框架，通过采用最大似然估计算法以及与强化学习中不同的奖励函数，来优化文本GAN模型的性能。实验证明，这种模型能比现有模型更稳定、更优秀地生成文本。

    Aug, 2019

  • 使用比较歧视的自对抗学习进行文本生成

    提出了一种新的自我对抗学习（SAL）范式，通过使用相对鉴别器作为GAN的鉴别器，并引入自我改进奖励机制，成功地解决了GAN在生成文本方面的奖励稀疏性和模式崩溃问题，并在文本生成基准数据集上取得了更高质量和更稳定的性能表现。

    Jan, 2020

  • 文本生成的深度潜在变量模型

    使用深度潜变量模型进行文本生成可以提高标准编码器-解码器模型的效果，同时保持深度神经网络的表达能力。

    Mar, 2022

  • PLANET: 自回归变压器中动态内容规划用于长篇文本生成

    本文提出了 PLANET 框架, 采用自回归自注意机制, 结合包含词汇的句子级语义计划来动态地进行内容规划和表面实现。引入基于连贯性的对比学习目标，以进一步提高输出的连贯性。实验结果表明，我们的方法在生成较富内容的连贯文本方面优于基线方法。

    Mar, 2022

  • 使用生成对抗网络进行文本生成的调查

    本篇论文介绍了最近使用生成对抗网络进行文本生成的研究和进展，并对基于对抗学习的文本生成的三种可能选择（即Gumbel-Softmax分化，强化学习和修改训练目标）进行了综述。

    Dec, 2022