属性对齐：控制预训练语言模型的文本生成

Mar, 2021

属性对齐：控制预训练语言模型的文本生成

Attribute Alignment: Controlling Text Generation from Pre-trained Language Models

Dian Yu, Zhou Yu, Kenji Sagae

TL;DR提出一种简单而灵活的方法，通过对齐分离的属性表示，控制文本生成，用于控制情感极性或特定主题的目标属性。与之前的方法不同，我们使用相同的数据学习对齐函数，而不是通过训练鉴别器来扰动属性的令牌级分布。我们在情感极性和主题控制生成上评估了我们的方法，并表现出大幅度的性能提升，同时保持流畅性和多样性。

Abstract

large language models benefit from training with a large amount of unlabeled text, which gives them increasingly fluent and diverse generation capabilities. However, using these models for text generation that ta

large language models text generation target attributes sentiment polarity topic-controlled generation

发现论文，激发创造

控制生成文本的发展

本文旨在通过学习简化的语义分离潜在表示来生成和控制自然语言句子，同时通过变分自编码器和全局属性判别器的组合来建立新的神经生成模型。该模型具有可解释性和高效性，可以生成符合要求的具有各种属性的句子。量化评估验证了该模型的生成准确性。

Mar, 2017

具有属性控制的内容保留文本生成

通过该研究，我们提出了一种能够修改文本内容以满足先决条件要求的模型，其通过建立重建和生成关系实现条件兼容和多属性控制。经过定量、定性和人类评估的验证，证明该模型与以往的方法相比，其生成了更加符合先决条件的流畅的句子。

Nov, 2018

个性化文本生成与细粒度语言控制

对于控制细粒度属性的文本生成研究，本文通过引入新的基准测试，系统调查了不同大型语言模型在生成个性化文本方面的性能，并从影响性能的因素中获得了一些见解。

Feb, 2024

通过编辑纠缠隐式表示实现可控非监督文本属性转移

我们提出了一种基于 Transformer 自编码器和快速梯度迭代修改算法的非监督文本属性转移框架，可在不使用任何平行数据的情况下更改特定属性，同时保留其属性独立内容，并且能够灵活控制转移程度和同时转移多个方面。

May, 2019

多角度可控文本生成的分布式视角

通过分布式的角度提供属性融合的观察，建议直接搜索作为它们的生成组合的多个属性分布的交集区域。用自编码器结构估计属性空间，通过共同最小化到表示不同属性的点的距离来迭代地接近交集，最后用基于前缀调整的解码器将其映射到与属性相关的句子中。

Oct, 2022

即插即用语言模型：一种简单的控制文本生成方法

该研究提出了一种简单的方法 —— 插拔式语言模型（PPLM），结合预训练语言模型和一个或多个简单的属性分类器来进行可控语言生成，其通过属性模型推动预训练语言模型的隐层激活，从而实现对话题和情感样式的控制。

Dec, 2019

混合搭配：能量语言模型控制的无需学习文本生成

本文提出了一种名为 Mix and Match LM 的生成模型框架，该框架使用全局评分的方式结合预训练模型来实现生成文本的可控性，同时采用 Metropolis-Hastings 采样算法进行采样，取得了在多项测试领域中优于其他最新方法的表现。

Mar, 2022

通过闭环解缠实现文本属性控制

利用半监督对比学习方法，我们提出一种新的方法来实现属性的稳健控制，并增强内容的保留。通过重新解缠重构的句子并将其与原始潜变空间进行比较，我们实现了一个闭环解缠过程，进一步帮助内容保留。与以往方法不同，对比学习方法能够代替最小化互信息和对抗训练在解缠过程中的作用，从而减少计算成本。我们在三个文本数据集上进行了实验证明了我们模型的有效性。

Dec, 2023

多方面可控文本生成与解耦式反事实增强

提出了一种新的多方面可控文本生成方法 MAGIC，通过解耦反事实特征向量（在属性潜在空间中）缓解了训练过程中不平衡属性相关性的问题，并通过目标导向的反事实增强在推理过程中增强了属性相关性，实验证明 MAGIC 在不平衡和平衡属性相关性的场景中优于现有的方法。

May, 2024

多属性文本风格转换

本文提出一种控制文本数据中多种因素变异的模型，用回译机制代替对解缠缠绕的限制，实现对性别、情感、产品类型等多个属性的控制，并通过在潜空间中的池化运算使内容保留和风格变化之间的权衡更加精细，进一步拓展了去耦合框架的应用范围。

Nov, 2018