为了确保大型语言模型生成的文本符合预期格式，本论文提出了一种名为 DOMINO 的创新解码算法，能够以完全子词对齐的方式执行约束，同时利用预计算和推测解码来几乎不增加开销，有时甚至实现接近 2 倍的速度优化，从而在很大程度上胜过现有方法。

Feb, 2024

该论文旨在介绍一种新的机器翻译解码算法 —— 词汇约束解码法，该算法能够快速而准确地在输出中包含预定的单词和短语，并探索模型与 BLEU 得分之间的关系，与此同时它还能够极大地优化计算复杂性。

Apr, 2018

通过在大型语言模型中引入详细的约束条件，本研究调查了约束文本生成的问题，并对多个语言模型进行了分类和评估，旨在为未来的约束文本生成提供启示。

Oct, 2023

介绍了 Grid Beam Search 算法，可以在任何生成序列的模型中使用，通过词汇约束来扩展 beam 搜索，并且在进行交互式预测翻译和领域自适应翻译实验中表现出良好的性能提升。

Apr, 2017

我们提出了一种基于句法树的语法引导生成模式，通过解码过程的两个部分:（1）对给定源句子中词汇化的句法上下文中的每个成分预测填充文本；（2）映射和扩展每个成分以构建下一级语法上下文以生成自然语言文本，并在重述生成和机器翻译上进行了实验。与自回归基线相比，该方法在有效性和可解释性方面更加出色。

Jun, 2023

通过提出自适应采样算法（ASAp）来解决语法对齐解码（GAD）问题，该算法确保输出结果遵循给定的语法约束，同时与语言模型的条件概率分布相匹配，以高概率生成高质量的输出。

May, 2024

通过将文本生成问题形式化为未来约束生成问题，以最小化不良行为并确保指令的忠实执行，本文介绍了利用 LLM 的未来约束满足估计来指导文本生成过程的方法，并通过对关键词受限生成、有害性降低和问答中的事实正确性等三个不同的文本生成任务进行了广泛的实验，证明了该方法的有效性。

Dec, 2023

本文通过指导树遍历过程中使用鉴别器推导所需的限制条件，探讨了如何在解码过程中进一步控制基于 Transformers 的大型语言模型（LM）生成的长文本，从而避免对 LM 进行微调。此方法相对于微调又更易于并且训练代价更小，同时允许更细致、更动态地应用限制条件。在评估了多种搜索和重新排序方案后，表明基于鉴别器引导的 Monte Carlo Tree Search 解码方法可以在两种限制条件和语言（法语和英语）中以最先进的效果，得到多样性鼓励下基于重新排序的其他解码方法相当好的效果。

Sep, 2021

本文提出了一种新的框架，将用户提供的限制条件作为外部记忆存储，并以柔性方式进行处理，从而解决在现实世界中限制条件可能存在的问题，实验结果表明，我们的方法能够在处理嘈杂的限制条件时取得相当大的 BLEU 收益，这些结果使我们能够将所提出的方法应用于不需要用户帮助生成限制条件的新场景中并证明了该方法确实能够提高自动生成的约束下的翻译质量。

Aug, 2019

通过利用协程方式的内容生成约束和预先协商的上下文无关文法（CFG），我们提出了一种引导大型语言模型（LLMs）生成符合特定约定的结构化内容的方法，从而增强生成目标数据结构、类型或指令的稳定性和一致性，降低应用开发复杂性。与基准测试相比，我们的方法提高了准确性 1.09 到 11.6 倍，LLMs 仅需约 16.5% 的样本即可有效生成 JSON。这提高了 LLM 生成内容在计算机程序中的可用性。

Apr, 2024