Medusa: 多解码头简单的 LLM 推理加速框架

Jan, 2024

Medusa: 多解码头简单的 LLM 推理加速框架

Medusa: Simple LLM Inference Acceleration Framework with Multiple Decoding Heads

Tianle Cai, Yuhong Li, Zhengyang Geng, Hongwu Peng, Jason D. Lee...

TL;DR在这篇论文中，我们介绍了一种名为 Medusa 的方法，通过增加额外的解码头来预测并行的多个后续标记，从而提高 LLM 推理的效率，并减少所需的解码步骤。通过两个级别的精细调整程序，Medusa 可以满足不同用例的需求。此外，我们还提出了几种扩展方法，包括自我蒸馏和典型接受方案，以提高 Medusa 的效用。我们的实验证明，Medusa-1 可以在不损害生成质量的情况下实现超过 2.2 倍的加速，而 Medusa-2 进一步提高了加速度，可达到 2.3-3.6 倍。

Abstract

The inference process in large language models (llms) is often limited due to the absence of parallelism in the auto-regressive decoding process, resulting in most operations being restricted by the memory bandwi

large language models llms medusa parallel decoding inference acceleration

发现论文，激发创造

大语言模型中的快速推测解码的循环生成器

通过引入改进的推测解码方法，本文旨在提高大型语言模型的效率。我们的方法结合了两种已有技术的优势：经典的双模型推测解码方法和较新的单模型方法 Medusa。借鉴 Medusa 的思想，我们的方法采用了单模型策略进行推测解码。然而，我们的方法通过采用一种轻量级的具有循环依赖设计的草稿头来区别自己，类似于经典推测解码中使用的小型草稿模型，但不涉及完整的 Transformer 架构的复杂性。由于循环依赖，我们可以使用波束搜索来迅速过滤掉草稿头中不需要的候选项。其结果是一种将单模型设计的简单性与在 Medusa 中仅用于推理的数据依赖树注意结构的需求结合起来的方法。我们通过对几种流行的开源语言模型进行了实证研究，以及对采用这种方法涉及的权衡的综合分析进行了验证。

Mar, 2024

Hydra: 针对 Medusa 解码的顺序依赖性起草头部

通过使用基于顺序依赖的 Hydra heads 作为 draft heads 的替代品，本文显著提高了推测准确性，并借此提高了推测解码速度。

Feb, 2024

Chimera：融合所有令牌的无损解码方法用于加速大规模语言模型推理

通过引入轻量级的草稿模型，Chimera 提出了一种用于投机采样的新型框架，以有效利用先前生成的令牌来预测后续单词，显著提高了大型语言模型在解码过程中的效率。

Feb, 2024

Amphista: 双向多草案头部非自回归风格加速 LLM 推理

基于非自回归解码范式和增加的并行性，我们的 Amphista 方法在推理过程中展示了较高的效率，相比自回归方法，其对于大型语言模型的解码速度进行了大幅提升。

Jun, 2024

通过隐藏传输进行并行解码以实现无损大型语言模型加速

大型语言模型的并行解码技术，包括隐藏状态传递、树状注意机制和加速技术等，提高了模型推理速度和生成准确性。

Apr, 2024

草案和验证：通过自我推理解码实现无损大语言模型的加速

我们提出了一种新颖的推理方案，自我推测解码，用于加速大型语言模型（LLMs），无需辅助模型。该方法通过两个阶段的过程来实现：草稿和验证。草稿阶段以稍低质量但更快的速度生成草稿标记，通过在草稿期间选择性跳过某些中间层来实现。然后，验证阶段使用原始 LLM 在一次前向传递中验证那些草稿输出标记。该过程确保最终输出与未经修改的 LLM 产生的输出完全相同，从而保持输出质量。所提出的方法不需要额外的神经网络训练和额外的内存占用，是一种即插即用和经济高效的推理加速解决方案。与 LLaMA-2 及其微调模型的基准测试表明，加速比最高可达 1.73 倍。

Sep, 2023

通过启用中间层解码加速 LLM 推理

我们的研究工作通过指令调整大型语言模型的推理过程，提升其效率同时保持生成质量，这是推广应用这类模型的重要一步。

Oct, 2023

加速 LLM 推断的分阶段推测解码

利用大型语言模型（LLM）的最新进展，我们提出了一种新颖的算法 —— 分阶段投机性解码，以加速小批量、设备上的 LLM 推断。我们通过改进投机性解码的前期工作解决了小批量推断的低算术密度问题。首先，我们将投机性批量重新组织为一棵树，这降低了生成成本并增加了每批预期的标记数。其次，我们添加了第二阶段的投机性解码。综合而言，我们在完美地保留输出质量的同时，将单批解码延迟降低了 3.16 倍，使用了一个 762M 参数的 GPT-2-L 模型。

Aug, 2023

高效译码的投机流水线执行

通过使用预测值，基于 Transformer 架构的生成式大型语言模型 (SPEED) 能够并行地执行当前令牌以及多个未来令牌，从而提高推理效率，减少延迟，并在保持模型准确性的同时实现支持参数共享的更深层次解码器的训练。

Oct, 2023

自动生成巨大，快速生成：快速自回归解码的 LLM-to-SLM

我们提出了一种混合方法，结合不同规模的语言模型以提高自回归解码的效率，同时保持高性能。该方法利用一个预先训练的冻结语言模型来编码所有提示标记，然后使用生成的表示来引导一个较小的语言模型来更高效地生成响应。与 LLM 相比，我们的方法在翻译和摘要任务中实现了高达 4 倍的速度提升，但只有 1-2% 的性能损失。

Feb, 2024