混合专家语言 GAN 的改进训练
本文提出一种名为 ColdGANs 的综合探索策略的 GAN 框架,用于解决基于 Maximum Likelihood Estimation 培训的文本生成算法的局限性,并展示了 ColdGANs 相比于其他 RL 算法以及 MLE 在三个文本生成任务中的效果更好。
Jun, 2020
该研究提出了一种通过敌对训练生成逼真文本的框架,采用了 LSTM 作为生成器,卷积网络作为判别器,并使用核距离度量匹配真实和合成句子的高维潜在特征分布,从而缓解了模式崩溃问题,并在定量评估方面表现出优越性,证明了该模型可以生成逼真的句子。
Jun, 2017
本研究通过采用大批处理、密集奖励和鉴别器规则等现有技术来稳定和改善语言生成对抗网络,从而成功实现了 ScratchGAN 的从零训练,并表明其在语料库 EMNLP2017 News 和 WikiText-103 上的质量和多样性指标相当于最大似然训练。
May, 2019
通过训练 GAN 在人工数据集上,我们发现混合多个 GANs 相比于使用更深、更宽、更复杂的单个生成器会获得更好的结果。在 CIFAR-10 数据集上,我们的方法在流行的指标(IS 和 FID)上明显优于现有技术的表现。
Jul, 2020
本文提出了一种名为 Mixture GAN (MGAN)的新方法,该方法采用多个生成器的混合训练,旨在克服 mode collapsing 问题,通过理论分析得出结论,证明了在平衡状态下,多个生成器的分布和数据分布之间的 Jensen-Shannon 差异最小,生成器之间的 Jensen-Shannon 差异最大,从而有效地避免了 mode collapsing 问题,能够在多项实验中取得明显的优势。
Aug, 2017
提出了一种用于可控的分类文本生成的新型生成对抗网络(GAN)框架,FA-GAN,通过改进文本 GAN 的离散性、训练不稳定性、模式坍缩、缺乏多样性和可控性等问题来生成具有指定类别的句子。实验证明,FA-GAN 在文本分类的六个数据集上的性能始终优于其他 10 种最先进的文本生成方法。案例研究表明,FA-GAN 生成的合成句子能够匹配所需类别,并且具有良好的可读性、流畅性和文本真实性。
Aug, 2023
我们提出一种混合专家 GAN (MEGAN)方法,它使用多个生成器网络进行集成学习,并通过门控网络在不同条件下选择适当的网络,以生成具有特定子集的模式的图像。我们证明各自利用数据的不同部分,达到较高的多尺度结构相似性分数和竞争性的无监督内在分数。
May, 2018
本文提出一种基于预训练语言模型的文本生成生成对抗性学习框架,采用对比鉴别器和近端策略优化来稳定和改进文本生成性能,实验证明该方法在无条件和有条件文本生成任务上均优于 MLE 基线。
Apr, 2020