Tailor: 利用语义控制生成和扰动文本

Jul, 2021

Tailor: 利用语义控制生成和扰动文本

Tailor: Generating and Perturbing Text with Semantic Controls

Alexis Ross, Tongshuang Wu, Hao Peng, Matthew E. Peters, Matt Gardner

TL;DRTailor 是一个基于预训练的 seq2seq 模型和语义表示的、能够生成文本输出并且能够在特征属性控制下改变目标文本的生成系统。通过修改控制代码，该系统能够灵活地实现对数据增强的语义控制，能够有效的改善模型泛化能力，并在多个任务中展现优异表现，包括生成高质量对比数据集和在 NLI 挑战集上大幅提升模型性能。

Abstract

Controlled text perturbation is useful for evaluating and improving model generalizability. However, current techniques rely on training a model for every target perturbation, which is expensive and hard to generalize. We present Tailor, a semantically-controlled text generation system

text perturbation model generalizability seq2seq model semantic representations data augmentation

发现论文，激发创造

Tailor: 一种基于提示的属性控制文本生成方法

Tailor 模型通过预训练连续向量来指导固定的 PLM 切换到特定的属性，同时提供多属性提示掩码和重新索引 ID 序列，以支持单属性提示的组合并实现文本的多属性生成，这在 11 个属性特定的生成任务上表现出很强的性能。

Apr, 2022

控制生成文本的发展

本文旨在通过学习简化的语义分离潜在表示来生成和控制自然语言句子，同时通过变分自编码器和全局属性判别器的组合来建立新的神经生成模型。该模型具有可解释性和高效性，可以生成符合要求的具有各种属性的句子。量化评估验证了该模型的生成准确性。

Mar, 2017

具备语法样例的可控释义生成

本文提出一种新颖的任务，通过神经模块来控制句子的语法以及运用多任务训练的目标来提高表示学习，从而实现可控文本生成，并在基线实验的基础上实现性能的提升和捕捉理想特征。

Jun, 2019

指令调优时代的可控文本生成

基于 Instruction-tuned 模型的可控文本生成，使用基于提示的方法超过了其他可控文本生成方法，在大多数数据集和任务上匹配人类表现，突出了对更多约束和具有挑战性的风格任务的研究的需求。

May, 2024

个性化文本生成与细粒度语言控制

对于控制细粒度属性的文本生成研究，本文通过引入新的基准测试，系统调查了不同大型语言模型在生成个性化文本方面的性能，并从影响性能的因素中获得了一些见解。

Feb, 2024

可控的文本到图像生成

该论文提出了一种新颖的可控文本到图像生成对抗网络 (ControlGAN)，它能够有效地合成高质量图像并根据自然语言描述控制图像的生成。该方法采用词级空间和通道注意力机制对不同的视觉属性进行分离，并通过词级鉴别器提供细粒度的监督反馈，使生成器能够对特定的视觉属性进行操作。通过大量的实验证明，我们的方法优于现有的最先进技术，并能够通过自然语言描述有效地操作合成图像。

Sep, 2019

探索可控文本生成技术

本文研究神经可控文本生成的新架构和技术，将其生成过程分为五个模块，分析不同技术的优缺点，为基于这些模块组合的新架构铺平道路。

May, 2020

Facts2Story：通过关键事实控制文本生成

该研究提出了一个基于自然语言的控制生成任务，可将一系列事实扩展为更长的叙述，并通过引入人类评估指标和大型训练数据集的方法评估了三种方法，证明了自回归的单向语言模型如 GPT2 的生成流畅度更好，但很难遵循所请求的事实，提出了一个基于计划和填空模型的解决方案（使用精细调整的 XLNet），其生成流畅度有竞争力，同时遵循所请求的内容。

Dec, 2020

面向开放域创造力和公平性的可控文本生成

本文介绍了一些控制文本生成的方法以增强语言生成模型的创造力和公平性，包括层级生成和约束解码，并应用于故事、诗歌、比喻语言的创意生成，以及减少生成模型的社会偏见。

Sep, 2022

明确的复述控制文本简化

提出了一种新型的混合方法，它结合了基于语言学的分裂和删除规则以及神经语言转换模型来进行不同的简化操作，并通过引入新的数据增强方法来提高模型的语言转换能力。通过自动和手动评估，证明该模型在对比现有系统时，产生了更多的语言转换，并且可以控制所应用的每个简化操作的程度。

Oct, 2020