Feb, 2024
LiFi：轻量级受控文本生成与细粒度控制编码
LiFi: Lightweight Controlled Text Generation with Fine-Grained Control Codes
Chufan Shi, Deng Cai, Yujiu Yang
TL;DR在文本生成领域，为了满足更精确的控制需求，我们提出了一种名为 LIFI 的新方法，它提供了一种轻量级的方法，可实现精细控制的文本生成。与之前的研究不同，LIFI 在连续、相对和非排他性控制代码的指导下学习控制文本生成。我们通过属性分类器自动获取这些精细控制代码，该分类器初步使用少量标记数据进行训练，随后被用于标记大量未标记数据，从而获得更广泛的监督信号。此外，为了实现高效控制，我们使用 adapter 将细粒度的控制代码与预训练语言模型结合，这是一种参数和计算效率高的方式。我们在情感控制、主题控制和文体小说写作三个常规任务上评估了 LIFI，并全面的实验结果验证了我们提出的方法的有效性，表明相较于现有基准模型，LIFI 取得了显著的性能提升。