本论文研究了 LLMs 在信息提取等任务中生成复杂输出结构的问题，提出了一种基于形式语法约束的解码方法，通过合理的限制保证生成的符号序列能够具有语法正确性，同时在大型符号集信息提取和实体消歧方面取得了良好的效果，结果表明在缺乏训练数据、后调较为昂贵的场景下，采用基于形式语法约束的解码策略能够有效提升模型生成结构化输出的能力。

May, 2023

通过将文本生成问题形式化为未来约束生成问题，以最小化不良行为并确保指令的忠实执行，本文介绍了利用 LLM 的未来约束满足估计来指导文本生成过程的方法，并通过对关键词受限生成、有害性降低和问答中的事实正确性等三个不同的文本生成任务进行了广泛的实验，证明了该方法的有效性。

Dec, 2023

本文通过指导树遍历过程中使用鉴别器推导所需的限制条件，探讨了如何在解码过程中进一步控制基于 Transformers 的大型语言模型（LM）生成的长文本，从而避免对 LM 进行微调。此方法相对于微调又更易于并且训练代价更小，同时允许更细致、更动态地应用限制条件。在评估了多种搜索和重新排序方案后，表明基于鉴别器引导的 Monte Carlo Tree Search 解码方法可以在两种限制条件和语言（法语和英语）中以最先进的效果，得到多样性鼓励下基于重新排序的其他解码方法相当好的效果。

Sep, 2021

该论文旨在介绍一种新的机器翻译解码算法 —— 词汇约束解码法，该算法能够快速而准确地在输出中包含预定的单词和短语，并探索模型与 BLEU 得分之间的关系，与此同时它还能够极大地优化计算复杂性。

Apr, 2018

通过在大型语言模型中引入详细的约束条件，本研究调查了约束文本生成的问题，并对多个语言模型进行了分类和评估，旨在为未来的约束文本生成提供启示。

Oct, 2023

通过引入新的基准 CodeGuard + 和两个新的度量标准 secure-pass@k 和 secure@$k_{ext {pass}}$，本文展示了 Code Large Language Models 在生成安全和正确代码方面的能力，并指出了一种新的防御方向：约束解码技术，可以同时满足安全性和正确性要求。

Apr, 2024

本研究描述了基于有限状态机和多堆栈解码的受约束神经机器翻译解码方法，支持目标端约束以及对应对齐输入文本跨度的约束条件，在多个翻译任务上表现出较好的性能，通过注意力受约束解码的方式减少用户约束翻译时的错置和重复。

May, 2018

本文提出了一种新的框架，将用户提供的限制条件作为外部记忆存储，并以柔性方式进行处理，从而解决在现实世界中限制条件可能存在的问题，实验结果表明，我们的方法能够在处理嘈杂的限制条件时取得相当大的 BLEU 收益，这些结果使我们能够将所提出的方法应用于不需要用户帮助生成限制条件的新场景中并证明了该方法确实能够提高自动生成的约束下的翻译质量。

Aug, 2019

应用 NeuroLogic Decoding 算法可以实现满足复杂词汇约束条件下的流畅文本生成，其性能优于以往算法，特别是适用于无监督训练的模型。

Oct, 2020

该研究通过全面而多方位的分析，评估了大型语言模型在各种任务、模型和部署环境下的解码方法的性能表现、对超参数变化的鲁棒性和解码速度，发现解码方法的性能与任务相关，并受到对齐、模型规模和量化等因素的影响。有趣的敏感性分析揭示了某些方法在广泛超参数调节的代价下实现了更优的性能，凸显了在不同环境中实现最优结果与实施实用性之间的权衡。

Feb, 2024