本研究发现人类文本和机器生成文本的分布存在差异，在相同的神经语言模型下使用不同的解码策略可以显著影响文本质量，提出了一种基于动态核心采样的方法来提高生成文本的多样性和流畅性。

Apr, 2019

为了确保大型语言模型生成的文本符合预期格式，本论文提出了一种名为 DOMINO 的创新解码算法，能够以完全子词对齐的方式执行约束，同时利用预计算和推测解码来几乎不增加开销，有时甚至实现接近 2 倍的速度优化，从而在很大程度上胜过现有方法。

Feb, 2024

应用 NeuroLogic Decoding 算法可以实现满足复杂词汇约束条件下的流畅文本生成，其性能优于以往算法，特别是适用于无监督训练的模型。

Oct, 2020

我们引入了 “Generative Fusion Decoding”（GFD），这是一种新颖的浅层融合框架，用于将大型语言模型（LLMs）集成到自动语音识别（ASR）和光学字符识别（OCR）等多模态文本识别系统中。通过将文本令牌空间映射到字节令牌空间，我们推导出了启用 GFD 在不同模型的不匹配令牌空间上运行所需的公式，从而在解码过程中实现无缝融合。该框架是即插即用的，与各种自回归模型兼容，不需要重新训练以进行特征对齐，从而克服了以前融合技术的局限性。我们强调了 GFD 的三个主要优势：首先，通过简化对齐不同模型样本空间的复杂性，GFD 使 LLMs 能够与识别模型一起纠正错误，减少计算延迟。其次，GFD 充分利用了 LLMs 的上下文学习能力，增加了在长篇演讲识别和指令感知语音识别中的鲁棒性。第三，GFD 使得与 LLMs 广泛训练的、在中文识别方面存在不足的识别模型进行融合成为可能。我们的评估表明，GFD 在 ASR 和 OCR 任务中显著提高了性能，其中 ASR 在 NTUML2021 基准中达到了最先进水平。GFD 在模型集成方面迈出了重要的一步，提供了一种统一的解决方案，可以通过逐步融合来广泛适用于利用现有预训练模型。

May, 2024

本文提出一种新的解码方法 —— 动量解码，将生成开放式文本视为有向图中的探索过程，同时鼓励语言模型在当前图之外贪心地探索新节点，并允许其通过预定义的抵抗函数降低动量回到现有节点，本方法在三个基准测试中表现出与现有技术相当的性能，且具有明显提高的推理速度和计算 FLOPs。

Dec, 2022

提出了一个新的基于对比学习的方法 ——SimCTG，和一个解码方法 —— 对比搜索，用于提高文本生成质量。在两种语言的三个基准测试上，我们的方法在人类和自动评估指标方面均显著优于当前最先进的文本生成方法。

Feb, 2022

提出一种名为 Fast Graph Decoder (FGD) 的 softmax layer 近似算法，可快速识别给定上下文中最可能出现的 K 个单词，从而减少解码时间并保持接近全 softmax 基线准确率，在神经机器翻译和语言建模任务上证明了其有效性，同时也证明了其理论保证。

Jun, 2018

通过提出一种名为分级跳跃解码（HSD）的新型解码策略，我们可以减少计算工作量和分配计算资源，从而在效率和文本质量之间取得平衡，实验证明 HSD 在文本生成任务中具有优势。

Mar, 2024

利用 Fast and Slow Generating（FS-GEN）统一框架，研究了大型语言模型（LLMs）与小型语言模型（SLMs）之间的协同解码，包括投机解码、对比解码和仿真或代理微调等技术，并通过 FS-GEN 解析了 LLMs 和 SLMs 之间的不同知识能力，揭示了协同交互的比例需求和基于不确定性的有效合作位置。

Jun, 2024

本论文介绍了 SSD-LM - 一种扩散语言模型，它是半自回归的，可以迭代地生成文本块，在不适用 GPT-2 后，它在标准的质量和多样性指标上与 strong autoregressive 基线匹配或优于其性能

Oct, 2022