Sequoia：可伸缩、稳健且硬件感知的推测解码

Feb, 2024

Sequoia：可伸缩、稳健且硬件感知的推测解码

Sequoia: Scalable, Robust, and Hardware-aware Speculative Decoding

Zhuoming Chen, Avner May, Ruslan Svirschevski, Yuhsun Huang, Max Ryabinin...

TL;DR这篇研究论文介绍了 Sequoia，一种可扩展、稳健且硬件感知的算法，用于大型语言模型的推理加速。通过引入动态规划算法来寻找被推测的标记的最佳树结构，通过采样和验证方法实现鲁棒的推测性能，以及通过自动选择给定硬件平台的标记树大小和深度来优化硬件感知的树优化器，Sequoia 提高了 Llama2-7B、Llama2-13B 和 Vicuna-33B 在 A100 上的解码速度，分别达到 4.04 倍、3.84 倍和 2.37 倍，并在 L40 上将 Llama2-70B 的卸载速度提高了 10.33 倍。

Abstract

As the usage of large language models (LLMs) grows, performing efficient inference with these models becomes increasingly important. While speculative decoding has recently emerged as a promising direction for speeding up inference, existing methods are limited in their ability to scal

large language models speculative decoding sequoia scalability hardware-aware algorithm

发现论文，激发创造

加速 LLM 推断的分阶段推测解码

利用大型语言模型（LLM）的最新进展，我们提出了一种新颖的算法 —— 分阶段投机性解码，以加速小批量、设备上的 LLM 推断。我们通过改进投机性解码的前期工作解决了小批量推断的低算术密度问题。首先，我们将投机性批量重新组织为一棵树，这降低了生成成本并增加了每批预期的标记数。其次，我们添加了第二阶段的投机性解码。综合而言，我们在完美地保留输出质量的同时，将单批解码延迟降低了 3.16 倍，使用了一个 762M 参数的 GPT-2-L 模型。

Aug, 2023

克洛弗：基于连续知识的逐渐式轻量级猜测解码

Clover 是一种新的推理解码算法，将顺序知识融入并行解码过程中，提高了预测准确率和整体效率。实验证明，Clover 在 Baichuan-Small 和 Baichuan-Large 上分别比基准结果提高了最多 91% 和 146%，与之前效果最好的方法 Medusa 相比，在 Baichuan-Small 和 Baichuan-Large 上分别提高了最多 37% 和 57%。

May, 2024

递归推测解码：通过无替换抽样加速 LLM 推理

递归推测解码是一种基于树的方法，利用抽样生成多样性的草稿令牌序列来加速大型语言模型，从而在固定的草稿序列长度和计算预算下取得了优越性能。

Feb, 2024

SpecExec: 消费设备上基于大规模并行推测解码的交互式 LLM 推理

使用 SpecExec 方法，在消费级 GPU 上以每秒 4-6 个令牌（4 位量化）或每秒 2-3 个令牌（16 位权重）的速度对包含 50 多亿参数的大语言模型进行了推理。

Jun, 2024

SEED: 通过计划的推测解码加速推理树构建

这篇论文介绍了 SeeD，一种新颖而高效的推理框架，以同时优化运行时速度和 GPU 内存管理。通过采用预定的推测执行，SeeD 能够高效处理思维生成和状态评估的多次迭代，利用一种按轮次预定的策略来管理草稿模型的调度。在三个推理数据集上进行的广泛实验评估表明，SeeD 具有卓越的加速性能，为训练无关的预测解码中的批量推理提供了可行的路径。

Jun, 2024

S2D：排序的推测解码，用于更高效部署嵌套大型语言模型

部署异步大型语言模型（LLMs）的代价高昂，为了减少成本，本文介绍了一种新的多目标场景的 Draft 模型部署方法，并提出了一种更高效的排序 Speculative Decoding 机制，该方法在多目标环境下优于基线模型。

Jul, 2024

S3D：一种用于低内存 GPU 的简单且具有成本效益的自我推测解码方案

Skippy Simultaneous Speculative Decoding (S3D) 是一种成本有效、基于同时多令牌解码和中间层跳跃的自我推测 SD 方法，与最近的有效开源 SD 系统相比，它在性能 - 内存比上取得了最佳表现，而且只需要最小的架构改变和训练数据。利用我们的内存效率，我们基于 Phi-3 创建了一个更小、更高效的 SD 模型，它比量化的 EAGLE 模型快 1.4 到 2 倍，使用半精度操作，同时使用更少的 VRAM。

May, 2024

关于多模态大型语言模型的推理解码

通过在 MLLMs 中应用推测解码，特别是 LLaVA 7B，我们展示了一个仅语言模型可以作为推测解码的优秀起草模型，绕过了起草模型中图像令牌和其相关处理组件的需求。我们的实验证明，推测解码可以在三个不同任务中实现高达 2.37 倍的内存速度提升，使用的是我们从头开始训练的 115M 参数语言模型。此外，我们还引入了一个紧凑的 LLaVA 起草模型，其中包含图像适配器，在图像字幕生成方面表现出边际性能增益，并在其他任务中保持可比较的结果。

Apr, 2024

大语言模型推理中的效率增强：专门解码的综合调查

通过提出实例、讨论关键方面，总结了 Speculative Decoding 的定义、技术、挑战和未来方向，以加速 LLM 推理过程。

Jan, 2024

利用 Goodput 优化为大型语言模型提供服务的概念解码

减少大型语言模型（LLM）的推理延迟至关重要，我们开发了 SmartSpec 动态框架，根据一个新的名为 goodput 的度量来动态确定每个请求的最佳推测长度，从而将平均请求延迟降低了多达 3.2 倍。

Jun, 2024