EMNLPFeb, 2024

利用即插即用控制器驱动

PDF
TL;DR提出了一种新颖的使用预训练语言模型进行灵活属性控制的文本生成方法，通过动态调整生成文本的分布，修改提示信息，限制语言模型的输出空间并影响所需属性，在 PLM 和 PPC 之间实现协作，通过 RLDAF 方法在推理过程中改进文本生成的顺畅性，实验证明该方法在多个评估指标下（包括文本流畅性和属性一致性）优于之前的方法。
controllable text generationplug-and-play controllerspre-trained language modelsfluency of generated textreinforcement learning with dynamic adjust feedback
发现论文，激发创造
  • 即插即用语言模型：一种简单的控制文本生成方法

    该研究提出了一种简单的方法 —— 插拔式语言模型（PPLM），结合预训练语言模型和一个或多个简单的属性分类器来进行可控语言生成，其通过属性模型推动预训练语言模型的隐层激活，从而实现对话题和情感样式的控制。

    Dec, 2019

  • 插入并玩：一种控制文本生成的提示调整方法

    利用小型语言模型进行 Prompt 调整，使用提示嵌入对生成文本进行控制，验证其在情感分析、正式度和有害语言领域的有效性。

    Apr, 2024

  • 一种插拔式控制文本生成方法

    通过向语料库单词的概率分布添加位移来控制语言生成，能保证给定的关键词出现，相比类似方法具有更高的效果。

    Sep, 2021

  • 即插即用式对话模型

    本文介绍了一种新的控制对话响应生成的方法 —— 插入式方法，其不需要注释对话数据集或精调大规模语言模型，并可以实现高度控制所生成的会话响应的多个方面。

    Oct, 2020

  • 大规模语言模型驱动的对话代理的即插即用策略规划器

    本文提出了一种用于策划大型语言模型（LLMs）主动对话问题的新型对话策略规划范式，名为 PPDPP，通过可调节的语言模型插件来提高 LLMs 的主动性。实验证明，在谈判、情感支持和辅导对话等三个不同的主动对话应用中，PPDPP 相对于现有方法始终有显著的性能优势。

    Nov, 2023

  • 插拔式因果文本生成：提升模型鲁棒性

    CASPer 框架使用插入即用的方法生成能够满足目标属性的对抗文本，用于补充训练数据，从而提高测试模型的鲁棒性和可靠性。

    Jun, 2022

  • Plug-and-Blend: 一种可控的混合控制代码故事生成框架

    通过 Plug-and-Blend 框架在人工输入多个控制代码的情况下，通过使用不同的生成语言模型进行自动故事生成并不断优化和生成流畅的故事，实现了主题的宽松和细粒度控制，并实现了叠加和混合主题。

    Mar, 2021

  • 文本生成的转移提示学习

    本文提出一种基于提示的文本生成方法（PTG），采用预训练语言模型，在面对数据匮乏的情况下通过学习一组源提示并将其转移为目标提示执行目标生成任务，设计了一个自适应注意机制以得出目标提示，实验结果表明 PTG 针对多个任务产生了有竞争力的结果，源提示已开放并可用于未来研究。

    May, 2022

  • 个性化文本生成的自动提示改写

    通过自动修订提示符来进行个性化文本生成的研究。

    Sep, 2023

  • 基于 PCFG 的自然语言接口改进受控文本生成的泛化性能

    本论文提出了一种将控制属性嵌入自然语言命令中的基于 PCFG 的生成命令方法，并提出了将命令作为输入的 CTG 模型变体，在实验中发现，这种方法不仅可以有效处理未见过的命令，而且可以有效泛化到未见过的属性及其组合，并通过简单条件生成方法强化了该方法，形成了一个强有力的基线模型。

    Oct, 2022