Jun, 2020

ColdGANs: 使用谨慎的采样策略驯服语言 GANs

PDF
TL;DR本文提出一种名为 ColdGANs 的综合探索策略的 GAN 框架，用于解决基于 Maximum Likelihood Estimation 培训的文本生成算法的局限性，并展示了 ColdGANs 相比于其他 RL 算法以及 MLE 在三个文本生成任务中的效果更好。
maximum likelihood estimationgenerative adversarial networkstext generationcoldganslanguage gans
发现论文，激发创造
  • InitialGAN：一种完全随机初始化的语言生成对抗网络

    本文介绍了两种技术 (dropout 采样和完全规范化的 LSTM)，提出了 InitialGAN 模型，并引入了一个新的评估指标 —— 最小覆盖率，试图解决最常遇到的暴露偏差问题，实验结果表明 InitialGAN 优于 MLE 和其他比较的模型，比我们所知任何一种语言 GAN 都可以不使用任何预训练技术超越 MLE。

    Aug, 2022

  • 语言 GANs 的不足

    本篇论文研究自然语言生成中存在的曝光偏差问题，指出了评估基准的不足之处，并证明在整个质量和多样性空间中，最大似然估计（Maximum-Likelihood）模型在质量和多样性方面表现优于对抗性变体，且温度调整提供了更好的质量 / 多样性权衡。

    Nov, 2018

  • TextGAIL: 文本生成的生成对抗模仿学习

    本文提出一种基于预训练语言模型的文本生成生成对抗性学习框架，采用对比鉴别器和近端策略优化来稳定和改进文本生成性能，实验证明该方法在无条件和有条件文本生成任务上均优于 MLE 基线。

    Apr, 2020

  • 从零开始训练语言 GANs

    本研究通过采用大批处理、密集奖励和鉴别器规则等现有技术来稳定和改善语言生成对抗网络，从而成功实现了 ScratchGAN 的从零训练，并表明其在语料库 EMNLP2017 News 和 WikiText-103 上的质量和多样性指标相当于最大似然训练。

    May, 2019

  • 混合专家语言 GAN 的改进训练

    本研究提出利用混合专家与特征统计对齐方法，提高生成对抗网络在语言模型中的表示能力并改善生成数据的学习信号，从而在文本生成任务中取得了更优异的性能。

    Feb, 2023

  • MaskGAN：通过填充提升文本生成质量

    该论文介绍了使用生成对抗网络（GANs）作为神经文本生成模型的训练方法，提高生成样本的质量，并通过 actor-critic 条件 GAN 与最大似然方法对比说明了其效果更好。

    Jan, 2018

  • 基于循环生成对抗网络的语言生成，无需预训练

    本文提出一种利用课程学习和逐步教授 RNN 编写难度递增且长度可变的序列的方法，从而使其能够使用 GANs 生成文本。

    Jun, 2017

  • 无需强化学习的对抗文本生成

    本文利用自编码器生成低维度语句向量空间，再用生成对抗网络利用这个空间生成真实文本，与竞争基线相比，经人工审核和 BLEU 分数表明模型可以生成逼真的文本。

    Oct, 2018

  • 通过条件 GAN 实现多样化和自然化的图像描述

    该研究旨在通过使用基于条件生成对抗网络（CGAN）的新框架来提高图像字幕生成的自然性和多样性，其中一个生成器可以根据图像生成描述，并使用一个评估器来评估描述与视觉内容的匹配程度。

    Mar, 2017

  • 自然语言的对抗生成

    本文探讨了使用 GAN 自学习等机制解决自然语言生成中离散输出空间问题；通过实验表明，提出的模型在中文古诗生成数据集上取得了最新的高分，可以生成自由语序和概率性上下文无关语法。此外还介绍了一个条件模型，可根据句子特征生成序列。

    May, 2017