该研究提出了一个基于自然语言的控制生成任务，可将一系列事实扩展为更长的叙述，并通过引入人类评估指标和大型训练数据集的方法评估了三种方法，证明了自回归的单向语言模型如 GPT2 的生成流畅度更好，但很难遵循所请求的事实，提出了一个基于计划和填空模型的解决方案（使用精细调整的 XLNet），其生成流畅度有竞争力，同时遵循所请求的内容。

Dec, 2020

通过向语料库单词的概率分布添加位移来控制语言生成，能保证给定的关键词出现，相比类似方法具有更高的效果。

Sep, 2021

本文研究使用翻译的微文本、劝说性文章和 UKP 句子语料库的版本来微调 RuBERT 模型，然后使用此模型对经济新闻语料库进行注释，进而微调 ruGPT-3 模型，生成论证文本，并证明这种方法可以使论证生成的准确性提高超过 20 个百分点（63.2％与 42.5％相比）

Jun, 2022

本文介绍了一个新的框架 MEGATRON-CNTRL，通过结合外部知识库，利用大规模语言模型实现生成文本的控制，并由关键字预测器，知识检索器，上下文知识排名器和条件文本生成器四个部分组成。实验结果表明，相较于之前的 ROC story 数据集，该模型生成更加流畅、一致、连贯且重复率低，差异性高的故事，使用新关键词进行控制后，人类评价结果表明 77.5% 的故事已经成功受到了控制。同时，由 124million 经验推广到 8.3billion 再次展示了大规模模型提高生成质量和控制性能的过程。

Oct, 2020

该研究设计了一个交互式写作辅助框架，它利用基于 Transformer 的语言模型为作者提供可能的续写文本主题，并允许作者选择其中一部分以引导生成，研究表明该框架的主题选择比标准的聚类方法更好且自监督的训练能够产生流畅且相关的句子。

Mar, 2021

基于 Instruction-tuned 模型的可控文本生成，使用基于提示的方法超过了其他可控文本生成方法，在大多数数据集和任务上匹配人类表现，突出了对更多约束和具有挑战性的风格任务的研究的需求。

May, 2024

本文介绍了一些控制文本生成的方法以增强语言生成模型的创造力和公平性，包括层级生成和约束解码，并应用于故事、诗歌、比喻语言的创意生成，以及减少生成模型的社会偏见。

Sep, 2022

本文系统评述了基于预训练语言模型的可控文本生成技术的主要任务、方法和评价方法，并讨论了当前领域面临的挑战和未来研究方向。

Jan, 2022

本文提出了一种名为 GeLaTo 的方法，使用可解释的概率模型来强制进行文本生成中的词汇约束，通过使用精简的隐性马尔可夫模型控制 Generative Pre-trained Transformer 2（GPT2）的自回归生成，GeLaTo 在 constrained text generation 的 CommonGen 测试效果上大幅度击败了强大的基准模型，并为控制大型语言模型开辟了新的思路，并推动可解释的概率模型的发展。

Apr, 2023

通过文本生成技术，使用编码器 - 解码器生成模型来增加受训人工智能代理的训练数据，从而实现更快地开发新功能。该方法需要直接优化，适用于有限的数据，并明显优于以往的受控文本生成技术。此外，生成的数据用作外在意图分类任务的附加训练样本，增强了低资源情况下高达 5％绝对 f-score 性能的表现，证实了该方法的实用性。

Oct, 2019