应用NeuroLogic Decoding算法可以实现满足复杂词汇约束条件下的流畅文本生成，其性能优于以往算法，特别是适用于无监督训练的模型。
Oct, 2020
本文介绍了一种利用 Constrained BART 的方式进行词汇约束文本生成，并通过将任务分为两个子任务，将生成的负担从解码器转移到编码器，从而提高了句子质量和生成效率。实验结果表明，CBART 能够生成高质量和多样性的文本，同时显著加速推断。
Sep, 2021
介绍了 Twist 解码这一简单通用的文字生成算法，该方法利用多样的模型来提高性能，在机器翻译和科技论文摘要等场景下表现出色，鼓励学者和实践者共同研究生成模型，寻找互补优势。
May, 2022
该论文探讨了从预先训练的语言模型中受约束地生成文本的问题，并介绍了一种名为MuCoLa的采样过程，通过组合语言模型的对数可能性与任意（可微分）约束，以及使用Langevin Dynamics定义的马尔科夫链来生成文本。结果显示，MuCoLa在避免有害信息、情感控制和关键词引导生成等任务中都获得了显著的性能提升。
本文提出一种新的解码方法——动量解码，将生成开放式文本视为有向图中的探索过程，同时鼓励语言模型在当前图之外贪心地探索新节点，并允许其通过预定义的抵抗函数降低动量回到现有节点，本方法在三个基准测试中表现出与现有技术相当的性能，且具有明显提高的推理速度和计算FLOPs。
Dec, 2022
本论文提出，当语言生成模型用于文本完成，故事生成或对话建模等开放性文本生成问题时，最先进的语言生成模型可能会退化。我们发现近似平坦熵带内的生成更为“人类化”，而模型违反熵的这些限制通常会导致退化。因此，我们提出了一种基于熵的解码算法，以生成更具语境感和“人类化”的文本。
Feb, 2023
本文提出了一种名为BOLT的生成模型，在语言模型的输出logits直接调整的基础上，通过维护自回归性质和关注token级的条件依赖关系和整体流畅性来加强对文字生成的控制，优于竞争基准模型，其在情感控制上的速度比竞争基准快7倍，在人工评估的情感流畅度中有效提升。
May, 2023
通过在大型语言模型中引入详细的约束条件，本研究调查了约束文本生成的问题，并对多个语言模型进行了分类和评估，旨在为未来的约束文本生成提供启示。
Oct, 2023
这篇论文综述了大型语言模型中加速文本生成的关键技术，包括推测解码、提前退出机制和非自回归方法，并对它们的原理、优势、限制和最新进展进行了讨论，旨在为自然语言处理领域的未来研究方向提供指导。
May, 2024
通过利用黑盒语言模型的文本输出，以生成的文本中最相关的部分为约束进行编辑，Locate&Edit (L&E) 提出了一种有效而灵活的能量模型方法，既能保留基本语言模型的原始生成结果，又能满足相关的约束条件。
Jun, 2024