从零开始训练语言GANs
本文中我们应用各种新的架构特点和训练流程来改进生成对抗网络(GANs)框架,并着重讨论了GANs的两个应用程序:半监督学习和图像生成。使用我们的技术,我们在MNIST,CIFAR-10和SVHN的半监督分类方面取得了最先进的成果,并呈现了高质量的生成的MNIST和CIFAR-10图像样本和ImageNet样本,呈现出ImageNet类可识别特征的学习过程。
Jun, 2016
本文探讨了使用GAN自学习等机制解决自然语言生成中离散输出空间问题;通过实验表明,提出的模型在中文古诗生成数据集上取得了最新的高分,可以生成自由语序和概率性上下文无关语法。此外还介绍了一个条件模型,可根据句子特征生成序列。
May, 2017
本文讨论了用于语言生成的生成对抗网络(GANs)模型的评估指标问题,认为现有的评估指标无法全面准确地反映模型更真实的表现,提出了一些更适合从质量和多样性方面评估GAN模型的新指标,并通过实验证明了相比传统语言模型(LM),目前的GAN模型在语言生成方面的表现并没有明显优势。
Jun, 2018
本篇论文研究自然语言生成中存在的曝光偏差问题,指出了评估基准的不足之处,并证明在整个质量和多样性空间中,最大似然估计(Maximum-Likelihood)模型在质量和多样性方面表现优于对抗性变体,且温度调整提供了更好的质量/多样性权衡。
Nov, 2018
本文提出一种名为ColdGANs的综合探索策略的GAN框架,用于解决基于Maximum Likelihood Estimation培训的文本生成算法的局限性,并展示了ColdGANs相比于其他RL算法以及MLE在三个文本生成任务中的效果更好。
Jun, 2020
本文介绍了两种技术(dropout采样和完全规范化的LSTM),提出了InitialGAN模型,并引入了一个新的评估指标——最小覆盖率,试图解决最常遇到的暴露偏差问题,实验结果表明InitialGAN优于MLE和其他比较的模型,比我们所知任何一种语言GAN都可以不使用任何预训练技术超越MLE。
Aug, 2022
该研究介绍了一种使用语言模型和生成对抗网络相结合的方法,通过优化可微模型,直接生成图形,以此解决了在可能的图形离散和广泛的空间中进行昂贵的搜索过程的问题。该方法得分为0.36和0.48,与ChatGPT一样表现良好,具有所需的特性增益。
Jun, 2023