FUDGE:带有未来鉴别器的控制文本生成
本文旨在通过学习简化的语义分离潜在表示来生成和控制自然语言句子,同时通过变分自编码器和全局属性判别器的组合来建立新的神经生成模型。该模型具有可解释性和高效性,可以生成符合要求的具有各种属性的句子。量化评估验证了该模型的生成准确性。
Mar, 2017
发布了一个1.63亿参数的条件变换器语言模型CTRL,它被训练用于控制由结构派生而来的控制代码来控制风格、内容和任务特定行为,从而提供更明确的文本生成控制。
Sep, 2019
该研究提出了一种新颖的方法,逆提示(inverse prompting),通过使用生成文本对提示进行逆向预测,以增强提示和生成文本之间的相关性并提高可控性,实证研究表明该方法在生成文本的开放领域有着很好的表现,该研究提供的代码可供研究者使用。
Mar, 2021
提出一种简单而灵活的方法,通过对齐分离的属性表示,控制文本生成,用于控制情感极性或特定主题的目标属性。与之前的方法不同,我们使用相同的数据学习对齐函数,而不是通过训练鉴别器来扰动属性的令牌级分布。我们在情感极性和主题控制生成上评估了我们的方法,并表现出大幅度的性能提升,同时保持流畅性和多样性。
Mar, 2021
提出了一种名为MuCoCO的算法,通过将编码过程转化为优化问题,并通过拉格朗日乘数法和梯度下降技术生成期望的文本,从而实现对预训练模型生成文本属性的控制。在可控机器翻译和风格转移方面的实验表明,该方法显著优于基准模型。
Aug, 2021
本文介绍了一些控制文本生成的方法以增强语言生成模型的创造力和公平性,包括层级生成和约束解码,并应用于故事、诗歌、比喻语言的创意生成,以及减少生成模型的社会偏见。
Sep, 2022
这篇论文针对控制文本生成算法中可能存在的潜在问题,利用因果推断技术发现了训练数据中的关联错误,提出通过倾向得分采样和反事实版本生成机制消除这些关联,实验结果表明该方法在生成性能和语言品质上都得到了显著提升。
Oct, 2022
本文解决了大型语言模型在实际应用中对文本生成质量和用户需求的多样化要求的不足。通过系统性回顾可控文本生成(CTG)技术的最新进展,本研究提出了对CTG核心概念的全面定义,并分类讨论了内容控制和属性控制两大任务。研究显示,CTG方法的有效性提升了文本生成的安全性、情感一致性以及风格丰富性,为未来研究提供了重要参考和实践建议。
Aug, 2024