SideControl: 通过 Additive Side Networks 控制开放域对话生成

EMNLPSep, 2021

SideControl: 通过 Additive Side Networks 控制开放域对话生成

SideControl: Controlled Open-domain Dialogue Generation via Additive Side Networks

Wanyu Du, Yangfeng Ji

TL;DR该论文提出了一种名为 SideControl 框架的新方法，该方法可以控制 Transformer 预训练语言模型的生成，具有更好的可控性、更高的生成质量和更好的样本效率，适用于极少量的训练数据。

Abstract

transformer-based pre-trained language models boost the performance of open-domain dialogue systems. Prior works leverage Transformer-based pre-trained language models to generate texts with desired attributes in

transformer-based pre-trained language models open-domain dialogue systems sidecontrol framework generation control limited training samples

发现论文，激发创造

属性对齐：控制预训练语言模型的文本生成

提出一种简单而灵活的方法，通过对齐分离的属性表示，控制文本生成，用于控制情感极性或特定主题的目标属性。与之前的方法不同，我们使用相同的数据学习对齐函数，而不是通过训练鉴别器来扰动属性的令牌级分布。我们在情感极性和主题控制生成上评估了我们的方法，并表现出大幅度的性能提升，同时保持流畅性和多样性。

Mar, 2021

控制生成文本的发展

本文旨在通过学习简化的语义分离潜在表示来生成和控制自然语言句子，同时通过变分自编码器和全局属性判别器的组合来建立新的神经生成模型。该模型具有可解释性和高效性，可以生成符合要求的具有各种属性的句子。量化评估验证了该模型的生成准确性。

Mar, 2017

具有对比前缀的可控自然语言生成

提出了一种新颖的轻量级的 GPT2 生成框架，该框架利用一组小的属性特定向量，称为前缀，来控制自然语言生成，其中前缀使用多方面控制的监督方法和无监督方法进行训练，实验结果表明，我们的方法可以引导生成达到期望的特性，同时保持高水平的语言质量。

Feb, 2022

对话生成的长期控制：方法与评估

本文提出了约束性的、long-term 控制对话生成的问题，并提出了一种检测其性能的新指标，并采用改进的基于检索的方法，该方法通过修改 logits 来提高长期控制的生成性能。通过在三个面向任务的对话数据集上的实验证明了我们的指标相对于当前的替代方案更好地评估了对话控制，并且我们的方法优于最先进的约束性生成基线。

May, 2022

具有属性控制的内容保留文本生成

通过该研究，我们提出了一种能够修改文本内容以满足先决条件要求的模型，其通过建立重建和生成关系实现条件兼容和多属性控制。经过定量、定性和人类评估的验证，证明该模型与以往的方法相比，其生成了更加符合先决条件的流畅的句子。

Nov, 2018

带多限制条件的文本生成连续优化控制

提出了一种名为 MuCoCO 的算法，通过将编码过程转化为优化问题，并通过拉格朗日乘数法和梯度下降技术生成期望的文本，从而实现对预训练模型生成文本属性的控制。在可控机器翻译和风格转移方面的实验表明，该方法显著优于基准模型。

Aug, 2021

面向开放域创造力和公平性的可控文本生成

本文介绍了一些控制文本生成的方法以增强语言生成模型的创造力和公平性，包括层级生成和约束解码，并应用于故事、诗歌、比喻语言的创意生成，以及减少生成模型的社会偏见。

Sep, 2022

编码器 - 解码器 Transformer 与零样本控制生成

本研究提出一种零 - shot 方式控制编码器 - 解码器变换器模型，使用三个控制旋钮：注意偏置、混合解码器、和上下文增强，以实现所需属性的生成输出，同时验证了解码器自我注意模块是维护句子流畅性的主要作用，并研究提出可行的转换器解码器替代架构及更高效的训练方法。

Jun, 2021

控制、生成、增强：面向多属性文本生成的可扩展框架

引入了 CGA，一种有条件的 VAE 架构，可用于控制、生成和增强文本，通过对抗学习与上下文感知损失和循环词随机删减程序相结合，能够控制多种语义和句法属性生成自然的英文句子。通过自动和人工评估，证明所生成句子的高质量、多样性和属性控制，用于数据增强的下游 NLP 任务中，相比于强基线和同等数量的真实数据，使用 CGA 模型生成的句子有显著提高，分类性能也有所提升。

Apr, 2020

大型语言模型的动态属性图控制文本生成

控制性文本生成旨在生成具有特定期望属性的文本。本研究中，我们介绍了一种用于大型语言模型的可插拔的控制性文本生成框架（DATG），名为动态属性图控制性文本生成。该框架利用属性评分器评估语言模型生成的句子的属性，并构建动态属性图。DATG 通过调节关键属性词和关键反属性词的出现频率，在不损害模型原始能力的情况下实现了有效的属性控制。我们在两个任务的四个数据集上进行实验：毒性缓解和情感转换，并使用五种语言模型作为基础模型。我们的发现突出了控制精度的显著提高，在四个数据集中最优任务上改进了 19.29％。此外，我们观察到困惑度显著减少，文本流畅性得到显著改善。

Feb, 2024