本文系统评述了基于预训练语言模型的可控文本生成技术的主要任务、方法和评价方法，并讨论了当前领域面临的挑战和未来研究方向。

Jan, 2022

该研究提出了一个基于自然语言的控制生成任务，可将一系列事实扩展为更长的叙述，并通过引入人类评估指标和大型训练数据集的方法评估了三种方法，证明了自回归的单向语言模型如 GPT2 的生成流畅度更好，但很难遵循所请求的事实，提出了一个基于计划和填空模型的解决方案（使用精细调整的 XLNet），其生成流畅度有竞争力，同时遵循所请求的内容。

Dec, 2020

本文旨在通过学习简化的语义分离潜在表示来生成和控制自然语言句子，同时通过变分自编码器和全局属性判别器的组合来建立新的神经生成模型。该模型具有可解释性和高效性，可以生成符合要求的具有各种属性的句子。量化评估验证了该模型的生成准确性。

Mar, 2017

本研究旨在使用自然语言生成技术快速生成英语语言学习应用的内容，并控制生成的结果以满足相关要求。根据语言学习水平及语法结构等因素，我们尝试使用预训练深度模型进行控制，评价结果表明，我们可以控制实现多样化、定制化内容的同时，实现较高的语法质量。

Nov, 2022

基于 Instruction-tuned 模型的可控文本生成，使用基于提示的方法超过了其他可控文本生成方法，在大多数数据集和任务上匹配人类表现，突出了对更多约束和具有挑战性的风格任务的研究的需求。

May, 2024

本篇论文提出了使用自然语言指定限制条件的语言模型的文本生成任务，并创建了挑战性的基准 Cognac。我们提出了一种名为 CognacGen 的方法，旨在利用语言模型的内部知识来引导生成，它可以成功地推广到未看到的指令，并在生成符合限制的文本方面优于竞争基线。

Dec, 2022

本文介绍了一种控制生成文本的框架 InstructCTG，通过自然语言描述和约束条件的演示，将各种内在约束条件融入预训练语言模型中，以达到对生成文本的控制和优化。

Apr, 2023

通过文本生成技术，使用编码器 - 解码器生成模型来增加受训人工智能代理的训练数据，从而实现更快地开发新功能。该方法需要直接优化，适用于有限的数据，并明显优于以往的受控文本生成技术。此外，生成的数据用作外在意图分类任务的附加训练样本，增强了低资源情况下高达 5％绝对 f-score 性能的表现，证实了该方法的实用性。

Oct, 2019

该研究论文系统梳理了存在于神经语言生成技术中的问题，并分别从文本生成任务、方法和评估度量指标三个方面，详细阐述了约束条件和条件约束这两种情况，并总结了当前约束神经语言生成技术的研究进展和面临的主要挑战，以期提高该领域的技术水平。

Jun, 2022

本文介绍了一个新的框架 MEGATRON-CNTRL，通过结合外部知识库，利用大规模语言模型实现生成文本的控制，并由关键字预测器，知识检索器，上下文知识排名器和条件文本生成器四个部分组成。实验结果表明，相较于之前的 ROC story 数据集，该模型生成更加流畅、一致、连贯且重复率低，差异性高的故事，使用新关键词进行控制后，人类评价结果表明 77.5% 的故事已经成功受到了控制。同时，由 124million 经验推广到 8.3billion 再次展示了大规模模型提高生成质量和控制性能的过程。

Oct, 2020