语言生成的高效无需训练控制

May, 2022

Efficient and Training-Free Control of Language Generation

Shangda Wu, Maosong Sun

TL;DR引入一个名为 Gamma Sampling 的新方法，该方法无需任何的训练数据即可进行可控的语言生成，并在生成时间上保持快速性，实验证明，用于 GPT2 时，Gamma Sampling 在生成样本的多样性、属性相关性和总体质量方面优于代表性基线方法。

Abstract

In recent years, there has been a growing interest in the development of language models capable of generating text with controllable attributes. While several approaches have been proposed, many of these methods require condition-specific data or significant computational resources. I

controllable language generation language models gamma sampling gpt2 attribute relevance

发现论文，激发创造

控制生成文本的发展

本文旨在通过学习简化的语义分离潜在表示来生成和控制自然语言句子，同时通过变分自编码器和全局属性判别器的组合来建立新的神经生成模型。该模型具有可解释性和高效性，可以生成符合要求的具有各种属性的句子。量化评估验证了该模型的生成准确性。

Mar, 2017

大型语言模型的动态属性图控制文本生成

控制性文本生成旨在生成具有特定期望属性的文本。本研究中，我们介绍了一种用于大型语言模型的可插拔的控制性文本生成框架（DATG），名为动态属性图控制性文本生成。该框架利用属性评分器评估语言模型生成的句子的属性，并构建动态属性图。DATG 通过调节关键属性词和关键反属性词的出现频率，在不损害模型原始能力的情况下实现了有效的属性控制。我们在两个任务的四个数据集上进行实验：毒性缓解和情感转换，并使用五种语言模型作为基础模型。我们的发现突出了控制精度的显著提高，在四个数据集中最优任务上改进了 19.29％。此外，我们观察到困惑度显著减少，文本流畅性得到显著改善。

Feb, 2024

混合搭配：能量语言模型控制的无需学习文本生成

本文提出了一种名为 Mix and Match LM 的生成模型框架，该框架使用全局评分的方式结合预训练模型来实现生成文本的可控性，同时采用 Metropolis-Hastings 采样算法进行采样，取得了在多项测试领域中优于其他最新方法的表现。

Mar, 2022

个性化文本生成与细粒度语言控制

对于控制细粒度属性的文本生成研究，本文通过引入新的基准测试，系统调查了不同大型语言模型在生成个性化文本方面的性能，并从影响性能的因素中获得了一些见解。

Feb, 2024

可控的自回归语言生成

本文提出了一种名为 GeLaTo 的方法，使用可解释的概率模型来强制进行文本生成中的词汇约束，通过使用精简的隐性马尔可夫模型控制 Generative Pre-trained Transformer 2（GPT2）的自回归生成，GeLaTo 在 constrained text generation 的 CommonGen 测试效果上大幅度击败了强大的基准模型，并为控制大型语言模型开辟了新的思路，并推动可解释的概率模型的发展。

Apr, 2023

即插即用语言模型：一种简单的控制文本生成方法

该研究提出了一种简单的方法 —— 插拔式语言模型（PPLM），结合预训练语言模型和一个或多个简单的属性分类器来进行可控语言生成，其通过属性模型推动预训练语言模型的隐层激活，从而实现对话题和情感样式的控制。

Dec, 2019

通过概率密度估计在潜空间中实现可控文本生成

文章介绍了一种新的控制框架来实现可控文本生成，并利用概率密度估计在隐藏空间中进行控制，该方法使用可逆变换函数，即 Normalizing Flow，将潜在空间中的复杂分布映射到先验空间中的简单高斯分布，实现了前向控制和反馈控制效果，达到了目前最好的效果。

Dec, 2022

具有对比前缀的可控自然语言生成

提出了一种新颖的轻量级的 GPT2 生成框架，该框架利用一组小的属性特定向量，称为前缀，来控制自然语言生成，其中前缀使用多方面控制的监督方法和无监督方法进行训练，实验结果表明，我们的方法可以引导生成达到期望的特性，同时保持高水平的语言质量。

Feb, 2022

属性对齐：控制预训练语言模型的文本生成

提出一种简单而灵活的方法，通过对齐分离的属性表示，控制文本生成，用于控制情感极性或特定主题的目标属性。与之前的方法不同，我们使用相同的数据学习对齐函数，而不是通过训练鉴别器来扰动属性的令牌级分布。我们在情感极性和主题控制生成上评估了我们的方法，并表现出大幅度的性能提升，同时保持流畅性和多样性。

Mar, 2021

带多限制条件的文本生成连续优化控制

提出了一种名为 MuCoCO 的算法，通过将编码过程转化为优化问题，并通过拉格朗日乘数法和梯度下降技术生成期望的文本，从而实现对预训练模型生成文本属性的控制。在可控机器翻译和风格转移方面的实验表明，该方法显著优于基准模型。

Aug, 2021