P-Masking:幂律掩蔽改善多属性控制生成
发布了一个1.63亿参数的条件变换器语言模型CTRL,它被训练用于控制由结构派生而来的控制代码来控制风格、内容和任务特定行为,从而提供更明确的文本生成控制。
Sep, 2019
引入了CGA,一种有条件的VAE架构,可用于控制、生成和增强文本,通过对抗学习与上下文感知损失和循环词随机删减程序相结合,能够控制多种语义和句法属性生成自然的英文句子。通过自动和人工评估,证明所生成句子的高质量、多样性和属性控制,用于数据增强的下游NLP任务中,相比于强基线和同等数量的真实数据,使用CGA模型生成的句子有显著提高,分类性能也有所提升。
Apr, 2020
提出一种简单而灵活的方法,通过对齐分离的属性表示,控制文本生成,用于控制情感极性或特定主题的目标属性。与之前的方法不同,我们使用相同的数据学习对齐函数,而不是通过训练鉴别器来扰动属性的令牌级分布。我们在情感极性和主题控制生成上评估了我们的方法,并表现出大幅度的性能提升,同时保持流畅性和多样性。
Mar, 2021
这篇论文针对控制文本生成算法中可能存在的潜在问题,利用因果推断技术发现了训练数据中的关联错误,提出通过倾向得分采样和反事实版本生成机制消除这些关联,实验结果表明该方法在生成性能和语言品质上都得到了显著提升。
Oct, 2022
本论文提出了一种将控制属性嵌入自然语言命令中的基于PCFG的生成命令方法,并提出了将命令作为输入的CTG模型变体,在实验中发现,这种方法不仅可以有效处理未见过的命令,而且可以有效泛化到未见过的属性及其组合,并通过简单条件生成方法强化了该方法,形成了一个强有力的基线模型。
Oct, 2022
提出了一种名为CHRT的控制隐藏表征转换框架,可以通过修改基础模型的隐藏表征来控制翻译的属性,通过对比七个基线模型,实验结果表明CHRT在解决文本毒性、正面情感导向和文本简化方面的效果优于其他方法,并且保持了语言质量,在推断延迟方面也表现最佳,可适用于高性能生产环境中。
May, 2023
提出了一种新颖的使用预训练语言模型进行灵活属性控制的文本生成方法,通过动态调整生成文本的分布,修改提示信息,限制语言模型的输出空间并影响所需属性,在PLM和PPC之间实现协作,通过RLDAF方法在推理过程中改进文本生成的顺畅性,实验证明该方法在多个评估指标下(包括文本流畅性和属性一致性)优于之前的方法。
Feb, 2024
大语言模型(LLM)的平滑控制在文本生成中具有重要意义,本论文提出了评估生成文本属性强度范围、校准度和一致性以及其与预期语境的相关性的度量指标,通过引入Elo评级系统和GPT4的评估方法来量化属性强度和上下文相关性,并研究了两种无需训练的实现语言模型平滑控制的方法:使用语义转换器进行提示和修改内部模型表示。
Jun, 2024
本文解决了大型语言模型在实际应用中对文本生成质量和用户需求的多样化要求的不足。通过系统性回顾可控文本生成(CTG)技术的最新进展,本研究提出了对CTG核心概念的全面定义,并分类讨论了内容控制和属性控制两大任务。研究显示,CTG方法的有效性提升了文本生成的安全性、情感一致性以及风格丰富性,为未来研究提供了重要参考和实践建议。
Aug, 2024