Aug, 2022

InitialGAN：一种完全随机初始化的语言生成对抗网络

PDF
TL;DR本文介绍了两种技术 (dropout 采样和完全规范化的 LSTM)，提出了 InitialGAN 模型，并引入了一个新的评估指标 —— 最小覆盖率，试图解决最常遇到的暴露偏差问题，实验结果表明 InitialGAN 优于 MLE 和其他比较的模型，比我们所知任何一种语言 GAN 都可以不使用任何预训练技术超越 MLE。
text generative modelsmaximum likelihood estimationgenerative adversarial networksdropout samplingfully normalized lstm
发现论文，激发创造
  • ColdGANs: 使用谨慎的采样策略驯服语言 GANs

    本文提出一种名为 ColdGANs 的综合探索策略的 GAN 框架，用于解决基于 Maximum Likelihood Estimation 培训的文本生成算法的局限性，并展示了 ColdGANs 相比于其他 RL 算法以及 MLE 在三个文本生成任务中的效果更好。

    Jun, 2020

  • 从零开始训练语言 GANs

    本研究通过采用大批处理、密集奖励和鉴别器规则等现有技术来稳定和改善语言生成对抗网络，从而成功实现了 ScratchGAN 的从零训练，并表明其在语料库 EMNLP2017 News 和 WikiText-103 上的质量和多样性指标相当于最大似然训练。

    May, 2019

  • 语言 GANs 的不足

    本篇论文研究自然语言生成中存在的曝光偏差问题，指出了评估基准的不足之处，并证明在整个质量和多样性空间中，最大似然估计（Maximum-Likelihood）模型在质量和多样性方面表现优于对抗性变体，且温度调整提供了更好的质量 / 多样性权衡。

    Nov, 2018

  • TextGAIL: 文本生成的生成对抗模仿学习

    本文提出一种基于预训练语言模型的文本生成生成对抗性学习框架，采用对比鉴别器和近端策略优化来稳定和改进文本生成性能，实验证明该方法在无条件和有条件文本生成任务上均优于 MLE 基线。

    Apr, 2020

  • 准确评估 GAN 在语言生成中的性能

    本文讨论了用于语言生成的生成对抗网络 (GANs) 模型的评估指标问题，认为现有的评估指标无法全面准确地反映模型更真实的表现，提出了一些更适合从质量和多样性方面评估 GAN 模型的新指标，并通过实验证明了相比传统语言模型 (LM)，目前的 GAN 模型在语言生成方面的表现并没有明显优势。

    Jun, 2018

  • 基于循环生成对抗网络的语言生成，无需预训练

    本文提出一种利用课程学习和逐步教授 RNN 编写难度递增且长度可变的序列的方法，从而使其能够使用 GANs 生成文本。

    Jun, 2017

  • 生成对抗训练可以提高神经语言模型的表现

    本文提出了一种基于生成对抗网络和对抗性训练的正则化方法，可以在神经语言模型中防止过拟合，与常见的对抗性训练方法相比，本方法不需要经过时间的二次反向传播，并且其开销不超过基准方法的 20%。

    Nov, 2022

  • MaskGAN：通过填充提升文本生成质量

    该论文介绍了使用生成对抗网络（GANs）作为神经文本生成模型的训练方法，提高生成样本的质量，并通过 actor-critic 条件 GAN 与最大似然方法对比说明了其效果更好。

    Jan, 2018

  • 无需强化学习的对抗文本生成

    本文利用自编码器生成低维度语句向量空间，再用生成对抗网络利用这个空间生成真实文本，与竞争基线相比，经人工审核和 BLEU 分数表明模型可以生成逼真的文本。

    Oct, 2018

  • 生成模型的自适应密度估计

    该论文研究了无监督学习中生成模型的训练方法，提出了一种在对抗网络与似然训练之间进行混合训练的方法，其中使用深度可逆变换来解决概率和逆变换之间的冲突，实现了更好的生成样本和更高的似然性评估。

    Jan, 2019