个性化文本生成与细粒度语言控制
本文旨在通过学习简化的语义分离潜在表示来生成和控制自然语言句子,同时通过变分自编码器和全局属性判别器的组合来建立新的神经生成模型。该模型具有可解释性和高效性,可以生成符合要求的具有各种属性的句子。量化评估验证了该模型的生成准确性。
Mar, 2017
提出一种简单而灵活的方法,通过对齐分离的属性表示,控制文本生成,用于控制情感极性或特定主题的目标属性。与之前的方法不同,我们使用相同的数据学习对齐函数,而不是通过训练鉴别器来扰动属性的令牌级分布。我们在情感极性和主题控制生成上评估了我们的方法,并表现出大幅度的性能提升,同时保持流畅性和多样性。
Mar, 2021
本论文从因果的角度出发,提出了一种由结构性因果模型构建的可控文本生成框架,并将其应用于集中控制性文本生成领域的实践,实验表明该方法在控制准确性和减少偏差方面具有优势。
Jan, 2022
控制性文本生成旨在生成具有特定期望属性的文本。本研究中,我们介绍了一种用于大型语言模型的可插拔的控制性文本生成框架(DATG),名为动态属性图控制性文本生成。该框架利用属性评分器评估语言模型生成的句子的属性,并构建动态属性图。DATG 通过调节关键属性词和关键反属性词的出现频率,在不损害模型原始能力的情况下实现了有效的属性控制。我们在两个任务的四个数据集上进行实验:毒性缓解和情感转换,并使用五种语言模型作为基础模型。我们的发现突出了控制精度的显著提高,在四个数据集中最优任务上改进了 19.29%。此外,我们观察到困惑度显著减少,文本流畅性得到显著改善。
Feb, 2024
本文介绍了一些控制文本生成的方法以增强语言生成模型的创造力和公平性,包括层级生成和约束解码,并应用于故事、诗歌、比喻语言的创意生成,以及减少生成模型的社会偏见。
Sep, 2022
提出了一种名为 MuCoCO 的算法,通过将编码过程转化为优化问题,并通过拉格朗日乘数法和梯度下降技术生成期望的文本,从而实现对预训练模型生成文本属性的控制。在可控机器翻译和风格转移方面的实验表明,该方法显著优于基准模型。
Aug, 2021
通过分布式的角度提供属性融合的观察,建议直接搜索作为它们的生成组合的多个属性分布的交集区域。用自编码器结构估计属性空间,通过共同最小化到表示不同属性的点的距离来迭代地接近交集,最后用基于前缀调整的解码器将其映射到与属性相关的句子中。
Oct, 2022
通过该研究,我们提出了一种能够修改文本内容以满足先决条件要求的模型,其通过建立重建和生成关系实现条件兼容和多属性控制。经过定量、定性和人类评估的验证,证明该模型与以往的方法相比,其生成了更加符合先决条件的流畅的句子。
Nov, 2018
引入一个名为 Gamma Sampling 的新方法,该方法无需任何的训练数据即可进行可控的语言生成,并在生成时间上保持快速性,实验证明,用于 GPT2 时,Gamma Sampling 在生成样本的多样性、属性相关性和总体质量方面优于代表性基线方法。
May, 2022