Jun, 2018

准确评估 GAN 在语言生成中的性能

PDF
TL;DR本文讨论了用于语言生成的生成对抗网络 (GANs) 模型的评估指标问题，认为现有的评估指标无法全面准确地反映模型更真实的表现，提出了一些更适合从质量和多样性方面评估 GAN 模型的新指标，并通过实验证明了相比传统语言模型 (LM)，目前的 GAN 模型在语言生成方面的表现并没有明显优势。
generative adversarial networkslanguage generationevaluation metricsquality and diversitycomparative experiments
发现论文，激发创造
  • MetricGAN: 基于生成对抗网络的黑盒度量分数优化应用于语音增强

    本文提出了一种基于 MetricGAN 的条件生成对抗网络，针对一种语音增强任务作了实验，该方法可优化生成器以提高被用户指定的一项或多项评估度量标准的得分。

    May, 2019

  • GAN 是否平等？ 大规模研究

    这篇论文通过对多个 GAN 算法的大规模实验研究得出，大多数模型在经过足够的超参数优化和随机重启后可以达到类似的分数，建议未来的 GAN 研究应该基于更系统和客观的评估程序，同时提出了一些可用于计算精度和召回率的数据集。

    Nov, 2017

  • 语言生成的对抗排名

    本文提出了一种新颖的生成对抗网络 RankGAN，用于生成高质量的自然语言描述，其通过给定一个参考组来分析和排名一组人工编写和机器编写的句子，通过相对排名分数来评估数据集的质量以帮助学习更好的生成器，并使用策略梯度技术来优化 RankGAN。多个公共数据集的实验结果清楚地证明了所提出方案的有效性。

    May, 2017

  • 语言 GANs 的不足

    本篇论文研究自然语言生成中存在的曝光偏差问题，指出了评估基准的不足之处，并证明在整个质量和多样性空间中，最大似然估计（Maximum-Likelihood）模型在质量和多样性方面表现优于对抗性变体，且温度调整提供了更好的质量 / 多样性权衡。

    Nov, 2018

  • 自然语言的对抗生成

    本文探讨了使用 GAN 自学习等机制解决自然语言生成中离散输出空间问题；通过实验表明，提出的模型在中文古诗生成数据集上取得了最新的高分，可以生成自由语序和概率性上下文无关语法。此外还介绍了一个条件模型，可根据句子特征生成序列。

    May, 2017

  • 生成对抗网络评估指标的实证研究

    本文研究了生成对抗网络（GAN）的评估方法，发现基于核最大均值差（MMD）和最近邻（1-NN）等指标，可以较好地满足评估需要，同时具备区分真实样本与生成样本的性质，并探究了几种著名 GAN 模型的特性。

    Jun, 2018

  • 无需强化学习的对抗文本生成

    本文利用自编码器生成低维度语句向量空间，再用生成对抗网络利用这个空间生成真实文本，与竞争基线相比，经人工审核和 BLEU 分数表明模型可以生成逼真的文本。

    Oct, 2018

  • 我的 GAN 有多强？

    本研究提出了两种基于图像分类的测量标准，GAN-train 和 GAN-test，以评估各种 GAN 方法的召回率和准确率。研究结果表明，数据集的难度与 GAN 质量呈负相关，并发现这两种度量标准可以更好地评估 GAN 的性能。

    Jul, 2018

  • GAN 评价指标的利弊

    本文综述了 24 个量化和 5 个定性评估措施，重点评估基于 GAN 的生成模型，并提供了 7 个期望，并评估了一个给定的措施或措施家族是否与它们兼容。

    Feb, 2018

  • TextGAIL: 文本生成的生成对抗模仿学习

    本文提出一种基于预训练语言模型的文本生成生成对抗性学习框架，采用对比鉴别器和近端策略优化来稳定和改进文本生成性能，实验证明该方法在无条件和有条件文本生成任务上均优于 MLE 基线。

    Apr, 2020