本文提出了通过改进灵活的 beam-search decoder 来加速神经机器翻译的方法，并测试表明，该方法可以提高速度，同时不影响翻译质量。

Feb, 2017

该论文旨在介绍一种新的机器翻译解码算法——词汇约束解码法，该算法能够快速而准确地在输出中包含预定的单词和短语，并探索模型与BLEU得分之间的关系，与此同时它还能够极大地优化计算复杂性。

Apr, 2018

通过 GPU 架构上的可变长度解码，我们提出了一个高效的批处理策略。相比固定宽度梁搜索和变宽度梁搜索，我们的方法降低了运行时长，同时匹配基准的 BLEU。此外，实验证明我们的方法可以加速其他领域的解码，如语义和句法分析。

Oct, 2020

在文本生成中使用 Beam Search，引入了 Patience Factor 可以提高强预训练模型在新闻文本摘要和机器翻译中的解码效果，并且只需修改一行代码即可。

Apr, 2022

该论文提出了一种解码过程，改进了现有的基于beam search的自动语音识别系统中的缺陷，特别是针对最近提出的自监督学习（SSL）模型中高度自信的预测所带来的问题，并且不需要额外的训练以及模型参数，并且在低资源场景中实现了一致的改进。

Dec, 2022

利用大型语言模型（LLM）的最新进展，我们提出了一种新颖的算法——分阶段投机性解码，以加速小批量、设备上的LLM推断。我们通过改进投机性解码的前期工作解决了小批量推断的低算术密度问题。首先，我们将投机性批量重新组织为一棵树，这降低了生成成本并增加了每批预期的标记数。其次，我们添加了第二阶段的投机性解码。综合而言，我们在完美地保留输出质量的同时，将单批解码延迟降低了3.16倍，使用了一个762M参数的GPT-2-L模型。

Aug, 2023

通过引入根据符合性预测的束搜索算法的两个新扩展，我们可以生成带有理论覆盖保证的序列集合。首个方法非常简单且建议动态大小的束搜索结果子集，但与典型的符合性预测过程不同，其可行保证取决于事后校准测量。我们的第二个算法将符合性集预测过程引入解码过程，产生一个适应当前不确定性的可变束宽度。尽管更加复杂，该程序可以实现预先选择的覆盖保证。我们为每种方法提供了边际覆盖保证，并在绘制自然语言处理和化学方面的多个任务的选择中对其进行了实证评估。

Sep, 2023

使用准确并行的预读解码算法加速大型语言模型的自回归解码，从而减少总解码步骤，提高解码速度并充分发挥现代加速器的并行处理能力。

Feb, 2024

提出一种新颖的并行提示解码方法，仅需$0.0002$%的可训练参数，在16小时内可在单个A100-40GB GPU上进行高效训练，大大提高多令牌生成的接受率以及未来时间步骤的输出生成速度。

May, 2024

本文探讨了大型语言模型推理过程中低效性的问题，提出了一种新的动态宽度推测性束解码（DSBD）方法，以应对推测解码与束采样融合中的诸多挑战。该方法通过优化束的数量和改进验证机制，提高了推理速度并保证了输出质量，具有重要的潜在应用价值。

Sep, 2024