May, 2024

S3D：一种用于低内存 GPU 的简单且具有成本效益的自我推测解码方案

PDF
TL;DRSkippy Simultaneous Speculative Decoding (S3D) 是一种成本有效、基于同时多令牌解码和中间层跳跃的自我推测 SD 方法，与最近的有效开源 SD 系统相比，它在性能 - 内存比上取得了最佳表现，而且只需要最小的架构改变和训练数据。利用我们的内存效率，我们基于 Phi-3 创建了一个更小、更高效的 SD 模型，它比量化的 EAGLE 模型快 1.4 到 2 倍，使用半精度操作，同时使用更少的 VRAM。
发现论文，激发创造
  • 利用 Goodput 优化为大型语言模型提供服务的概念解码

    减少大型语言模型（LLM）的推理延迟至关重要，我们开发了 SmartSpec 动态框架，根据一个新的名为 goodput 的度量来动态确定每个请求的最佳推测长度，从而将平均请求延迟降低了多达 3.2 倍。

    Jun, 2024

  • 投机的对比解码

    通过对大型语言模型进行推测性对比解码，提高了生成质量的同时节省了计算资源。

    Nov, 2023

  • EMS-SD：高效的多样本猜测解码用于加速大型语言模型

    通过提出一种新方法，解决多样本推断速度提高中可变数量的 token 导致效率下降的问题，无需增加计算和内存开销，并且可以处理不一致的样本预测 token 的情况。

    May, 2024

  • 递归推测解码：通过无替换抽样加速 LLM 推理

    递归推测解码是一种基于树的方法，利用抽样生成多样性的草稿令牌序列来加速大型语言模型，从而在固定的草稿序列长度和计算预算下取得了优越性能。

    Feb, 2024

  • 加速动态猜测长度的猜测解码

    DISCO 是一种动态调整推断长度优化方法，通过使用分类器在每个迭代中动态调整推断长度，从而提供推断质量的同时实现平均 10.3% 的速度增益。

    May, 2024

  • SDSAT：通过语义自适应标记的推理进行推测解码的加速

    通过引入具有语义自适应能力的令牌，提出一种用于大型语言模型（LLM）的加速方案（SDSAT）。该方案通过细调模型和使用训练方法，以及使用新的生成策略，能够在不影响模型准确性的情况下，提高模型生成草稿令牌的准确性，并且在 CodeLlama-13B 和 7B 模型上实验，分别获得了超过 3.5X 和 3.0X 的加速效果。

    Mar, 2024

  • Sequoia：可伸缩、稳健且硬件感知的推测解码

    这篇研究论文介绍了 Sequoia，一种可扩展、稳健且硬件感知的算法，用于大型语言模型的推理加速。通过引入动态规划算法来寻找被推测的标记的最佳树结构，通过采样和验证方法实现鲁棒的推测性能，以及通过自动选择给定硬件平台的标记树大小和深度来优化硬件感知的树优化器，Sequoia 提高了 Llama2-7B、Llama2-13B 和 Vicuna-33B 在 A100 上的解码速度，分别达到 4.04 倍、3.84 倍和 2.37 倍，并在 L40 上将 Llama2-70B 的卸载速度提高了 10.33 倍。

    Feb, 2024

  • 探讨推测性解码

    使用分析模型来选择适合特定工作负载的合适草稿模型，以提高推理速度并设计适用于 LLaMA-65B 的新草稿模型，能够提供比现有草稿模型高 30% 的吞吐量。

    Feb, 2024

  • 加速 LLM 推断的分阶段推测解码

    利用大型语言模型（LLM）的最新进展，我们提出了一种新颖的算法 —— 分阶段投机性解码，以加速小批量、设备上的 LLM 推断。我们通过改进投机性解码的前期工作解决了小批量推断的低算术密度问题。首先，我们将投机性批量重新组织为一棵树，这降低了生成成本并增加了每批预期的标记数。其次，我们添加了第二阶段的投机性解码。综合而言，我们在完美地保留输出质量的同时，将单批解码延迟降低了 3.16 倍，使用了一个 762M 参数的 GPT-2-L 模型。

    Aug, 2023

  • 大语言模型推理中的效率增强：专门解码的综合调查

    通过提出实例、讨论关键方面，总结了 Speculative Decoding 的定义、技术、挑战和未来方向，以加速 LLM 推理过程。

    Jan, 2024