本文介绍了一种控制生成文本的框架 InstructCTG，通过自然语言描述和约束条件的演示，将各种内在约束条件融入预训练语言模型中，以达到对生成文本的控制和优化。

Apr, 2023

本文系统评述了基于预训练语言模型的可控文本生成技术的主要任务、方法和评价方法，并讨论了当前领域面临的挑战和未来研究方向。

Jan, 2022

控制性文本生成旨在生成具有特定期望属性的文本。本研究中，我们介绍了一种用于大型语言模型的可插拔的控制性文本生成框架（DATG），名为动态属性图控制性文本生成。该框架利用属性评分器评估语言模型生成的句子的属性，并构建动态属性图。DATG 通过调节关键属性词和关键反属性词的出现频率，在不损害模型原始能力的情况下实现了有效的属性控制。我们在两个任务的四个数据集上进行实验：毒性缓解和情感转换，并使用五种语言模型作为基础模型。我们的发现突出了控制精度的显著提高，在四个数据集中最优任务上改进了 19.29％。此外，我们观察到困惑度显著减少，文本流畅性得到显著改善。

Feb, 2024

本研究提出了一种用于控制文本生成的非侵入式、轻量级控制插件，名为 Residual Memory Transformer（RMT），通过与 Causal Language Models（CLMs）合作，采用残余学习范式，实现了更灵活、更通用和更高效的控制生成。通过各种自动和人工评估的广泛实验证明了 RMT 的优越性，证明了我们方法的有效性和多样性。

Sep, 2023

通过引入适应性框架 Ctrl-G，该研究提出了一种可实现对大型语言模型的可控生成的方法，并将其应用于交互文本编辑和有限状态自动机表示的逻辑约束，结果显示 Ctrl-G 在人类评估中相比于 GPT4 以及 GPT3.5 取得了 30% 以上的满意率提升，并在标准基准测试中超越了中型语言模型。此外，该研究还进行了 Grade School Math 基准测试作为概念验证，展示了 Ctrl-G 在辅助大型语言模型推理方面的潜力。

Jun, 2024

本篇论文介绍了一个基于大型语言模型的引文生成任务的框架，并通过比较研究展示了将知识图谱关系纳入模型输入以提高其表现的结果。

Apr, 2024

本文提出了一个用于句子重述生成的端到端框架语法引导控制重述生成（SGCP），它利用了源句子中的复杂语法信息以生成符合指定语法结构的新句子，并在多个真实世界的英语语言数据集上进行了自动化和人工评估以证明其有效性。

May, 2020

本研究旨在使用自然语言生成技术快速生成英语语言学习应用的内容，并控制生成的结果以满足相关要求。根据语言学习水平及语法结构等因素，我们尝试使用预训练深度模型进行控制，评价结果表明，我们可以控制实现多样化、定制化内容的同时，实现较高的语法质量。

Nov, 2022

本文研究 GPT-2 在生成长度较长的文档时缺乏结构性的问题，提出了一种新的控制文本生成任务 — 顺序控制文本生成，并确定了一个数据集 NewsDiscourse 作为该任务的起点。通过测试不同程度的结构意识，表明具有更高的结构意识可以提高控制准确性、语法合理性、连贯性和主题性，并接近于人类的写作业绩。

Jan, 2023

通过引入句法归纳偏差，使用依赖分析树驱动转换器模型迭代生成句子，实验证明其比 LSTM 和 Transformer 更有效，并具有可比拟的多样性且需要较少的解码步骤，生成过程允许对生成文本的句法构造进行直接控制，从而实现风格变形的归纳。

Apr, 2020