语言 GANs 的不足
本文提出一种名为 ColdGANs 的综合探索策略的 GAN 框架,用于解决基于 Maximum Likelihood Estimation 培训的文本生成算法的局限性,并展示了 ColdGANs 相比于其他 RL 算法以及 MLE 在三个文本生成任务中的效果更好。
Jun, 2020
本文介绍了两种技术 (dropout 采样和完全规范化的 LSTM),提出了 InitialGAN 模型,并引入了一个新的评估指标 —— 最小覆盖率,试图解决最常遇到的暴露偏差问题,实验结果表明 InitialGAN 优于 MLE 和其他比较的模型,比我们所知任何一种语言 GAN 都可以不使用任何预训练技术超越 MLE。
Aug, 2022
本文讨论了用于语言生成的生成对抗网络 (GANs) 模型的评估指标问题,认为现有的评估指标无法全面准确地反映模型更真实的表现,提出了一些更适合从质量和多样性方面评估 GAN 模型的新指标,并通过实验证明了相比传统语言模型 (LM),目前的 GAN 模型在语言生成方面的表现并没有明显优势。
Jun, 2018
本文提出一种基于预训练语言模型的文本生成生成对抗性学习框架,采用对比鉴别器和近端策略优化来稳定和改进文本生成性能,实验证明该方法在无条件和有条件文本生成任务上均优于 MLE 基线。
Apr, 2020
本文研究人工智能与人类合作生成高质量的大语言模型数据,使用两种方法促进文本生成的多样性和准确性,探究人类干预的效果并发现标签替换有助于提高模型的准确性,但移除超出用户领域兴趣或没有适当标签的实例不能提高模型准确性,需要更多人机协作探索。
Jun, 2023
本文介绍了一些控制文本生成的方法以增强语言生成模型的创造力和公平性,包括层级生成和约束解码,并应用于故事、诗歌、比喻语言的创意生成,以及减少生成模型的社会偏见。
Sep, 2022
本研究通过采用大批处理、密集奖励和鉴别器规则等现有技术来稳定和改善语言生成对抗网络,从而成功实现了 ScratchGAN 的从零训练,并表明其在语料库 EMNLP2017 News 和 WikiText-103 上的质量和多样性指标相当于最大似然训练。
May, 2019
本文提出了一种通过建立多样性度量指标及其多样性参数之间关系的系统来评估自然语言生成(NLG)系统多样性的方法,并通过对人类和自动度量,解码参数调整等方面的实验展示了这个框架的实用性。
Apr, 2020
该论文介绍了使用生成对抗网络(GANs)作为神经文本生成模型的训练方法,提高生成样本的质量,并通过 actor-critic 条件 GAN 与最大似然方法对比说明了其效果更好。
Jan, 2018
该研究旨在通过使用基于条件生成对抗网络(CGAN)的新框架来提高图像字幕生成的自然性和多样性,其中一个生成器可以根据图像生成描述,并使用一个评估器来评估描述与视觉内容的匹配程度。
Mar, 2017