基于草图引导的有限制解码方法，用于增强黑盒大型语言模型的性能而无需访问逻辑层

Jan, 2024

基于草图引导的有限制解码方法，用于增强黑盒大型语言模型的性能而无需访问逻辑层

Sketch-Guided Constrained Decoding for Boosting Blackbox Large Language Models without Logit Access

Saibo Geng, Berkay Döner, Chris Wendler, Martin Josifoski, Robert West

TL;DR该论文介绍了一种名为 sketch-guided constrained decoding (SGCD) 的新型黑盒大型语言模型的约束解码方法，利用本地辅助模型改善未约束的黑盒大型语言模型的输出，使其作为进一步详细描述的 “草图”，从而在无完全透明度的情况下扩展了约束解码的应用，通过在封闭信息提取和组成解析等实验中展示了 SGCD 的有效性，展示了它如何增强黑盒大型语言模型在复杂自然语言处理任务中的效用和灵活性。

Abstract

constrained decoding, a technique for enforcing constraints on language model outputs, offers a way to control text generation without retraining or architectural modifications. Its application is, however, typically restricted to models that give users access to next-token distributio

constrained decoding blackbox llms sketch-guided constrained decoding logit-based techniques nlp tasks

发现论文，激发创造

基于语法对齐的解码

通过提出自适应采样算法（ASAp）来解决语法对齐解码（GAD）问题，该算法确保输出结果遵循给定的语法约束，同时与语言模型的条件概率分布相匹配，以高概率生成高质量的输出。

May, 2024

基于灵活语法约束解码的语言模型

本论文研究了 LLMs 在信息提取等任务中生成复杂输出结构的问题，提出了一种基于形式语法约束的解码方法，通过合理的限制保证生成的符号序列能够具有语法正确性，同时在大型符号集信息提取和实体消歧方面取得了良好的效果，结果表明在缺乏训练数据、后调较为昂贵的场景下，采用基于形式语法约束的解码策略能够有效提升模型生成结构化输出的能力。

May, 2023

自适应骨架图解码

我们提出了骨架图解码（SGD）方法，利用子问题之间的依赖关系支持信息传递，从而在提高质量的同时暴露出解码独立子问题的并行化机会，通过为每个子问题选择合适大小的模型来提高性能并减少质量损失，相对于标准自回归生成和 Skeleton-of-Thought (SoT) 方法，SGD 实现了 1.69 倍加速，同时提高了 51% 的质量。

Feb, 2024

准确引导 LLMs 的快速非侵入式约束生成

为了确保大型语言模型生成的文本符合预期格式，本论文提出了一种名为 DOMINO 的创新解码算法，能够以完全子词对齐的方式执行约束，同时利用预计算和推测解码来几乎不增加开销，有时甚至实现接近 2 倍的速度优化，从而在很大程度上胜过现有方法。

Feb, 2024

基于鉴别器引导的 MCTS 解码的受限文本生成

本文通过指导树遍历过程中使用鉴别器推导所需的限制条件，探讨了如何在解码过程中进一步控制基于 Transformers 的大型语言模型（LM）生成的长文本，从而避免对 LM 进行微调。此方法相对于微调又更易于并且训练代价更小，同时允许更细致、更动态地应用限制条件。在评估了多种搜索和重新排序方案后，表明基于鉴别器引导的 Monte Carlo Tree Search 解码方法可以在两种限制条件和语言（法语和英语）中以最先进的效果，得到多样性鼓励下基于重新排序的其他解码方法相当好的效果。

Sep, 2021

投机的对比解码

通过对大型语言模型进行推测性对比解码，提高了生成质量的同时节省了计算资源。

Nov, 2023

安全代码生成的约束解码

通过引入新的基准 CodeGuard + 和两个新的度量标准 secure-pass@k 和 secure@$k_{ext {pass}}$，本文展示了 Code Large Language Models 在生成安全和正确代码方面的能力，并指出了一种新的防御方向：约束解码技术，可以同时满足安全性和正确性要求。

Apr, 2024

JAMDEC：使用受限解码的无监督作者混淆在小型语言模型上

本文介绍了一种用于作者身份混淆的无监督推断时间方法，名为 JAMDEC，通过使用 GPT2-XL 等小型语言模型来增强创造力，并具备用户指定的控制和灵活性，实验证明其在性能上优于基于较小模型的现有方法，与 GPT3.5 175B 模型相比表现相当竞争力。

Feb, 2024

一种插拔式控制文本生成方法

通过向语料库单词的概率分布添加位移来控制语言生成，能保证给定的关键词出现，相比类似方法具有更高的效果。

Sep, 2021

带判别器引导的语言模型多步推理

该研究提出了一种基于 stepwise decoding 方法的 Guiding Multi-step ReAsoning with a CorrectnEss Discriminator (GRACE) ，它使用判别模型来调整 LM 的解码策略，从而提高多步推理的准确性。与传统解码策略相比，GRACE 在四个流行的数学推理基准测试中均表现出显著的改进。

May, 2023