Aug, 2024

将垃圾变为宝藏：通过标记回收加速大型语言模型的推理

HTML
PDF
TL;DR本研究解决了大型语言模型推理延迟的问题，提出了一种新颖的标记回收方法。通过利用解码过程中生成的候选标记，构建了一个邻接矩阵，并采用广度优先搜索算法构建草稿树，从而有效提升推理速度。实验证明，此方法在各类大型语言模型上实现了约2倍的速度提升，并显著优于现有的无训练方法和训练方法。
发现论文，激发创造
  • 高效译码的投机流水线执行

    通过使用预测值，基于Transformer架构的生成式大型语言模型(SPEED)能够并行地执行当前令牌以及多个未来令牌，从而提高推理效率，减少延迟，并在保持模型准确性的同时实现支持参数共享的更深层次解码器的训练。

    Oct, 2023

  • 大语言模型推理中的效率增强：专门解码的综合调查

    通过提出实例、讨论关键方面，总结了Speculative Decoding的定义、技术、挑战和未来方向，以加速LLM推理过程。

    Jan, 2024

  • 投机式流处理: 高速LLM推理无需辅助模型

    Speculative Streaming是一种单一模型的推测解码方法，通过将起草融入目标模型，将微调目标从下一个标记预测改为未来n-gram预测的目标，以在总结、结构查询和语义表示等多个任务中提高1.8-3.1倍的解码速度，而不损失生成质量。此外，Speculative Streaming在参数效率方面表现出色，与Medusa-style架构相比，使用的额外参数较少，适用于资源受限的设备。

    Feb, 2024

  • 生成遇见验证：智能并行自动校正解码加速大型语言模型推理

    本研究旨在加快具有数十亿参数的大型语言模型的推理速度。我们提出了一个名为SPACE（Smart Parallel Auto-Correct decoding）的创新方法，用于实现LLMs的无损加速。通过集成半自回归推理和猜测解码功能，SPACE使得自回归LLMs能够并行生成和验证令牌。此外，一种自动纠正解码算法在单个模型调用中便利地实现了令牌序列的同时生成和验证。通过对多个LLMs进行广泛实验，SPACE在保持输出质量的同时，实现了2.7倍至4.0倍的推理加速。

    Feb, 2024

  • 递归推测解码：通过无替换抽样加速 LLM 推理

    递归推测解码是一种基于树的方法，利用抽样生成多样性的草稿令牌序列来加速大型语言模型，从而在固定的草稿序列长度和计算预算下取得了优越性能。

    Feb, 2024

  • Chimera：融合所有令牌的无损解码方法用于加速大规模语言模型推理

    通过引入轻量级的草稿模型，Chimera提出了一种用于投机采样的新型框架，以有效利用先前生成的令牌来预测后续单词，显著提高了大型语言模型在解码过程中的效率。

    Feb, 2024

  • SDSAT：通过语义自适应标记的推理进行推测解码的加速

    通过引入具有语义自适应能力的令牌，提出一种用于大型语言模型（LLM）的加速方案（SDSAT）。该方案通过细调模型和使用训练方法，以及使用新的生成策略，能够在不影响模型准确性的情况下，提高模型生成草稿令牌的准确性，并且在 CodeLlama-13B 和 7B 模型上实验，分别获得了超过 3.5X 和 3.0X 的加速效果。

    Mar, 2024

  • 超越投机游戏：大型语言模型中投机执行调查

    通过引入推测执行的概念，对大型语言模型进行推理加速，提升解码速度，该研究综述了当前推测执行在大型语言模型中的应用, 并提出了关键挑战和未来发展方向。

    Apr, 2024

  • 通过提前退出进行投机解码以加速LLM 推断，并采用汤普森抽样控制机制

    在大型语言模型中，我们提出了一种新的方法，即具有无损加速的早期退出推理（EESD），通过在前N层后引入早期退出结构，利用语言模型的一部分生成初步令牌，并通过自蒸馏方法提高初步令牌的质量。我们还引入了一种新的采样机制，利用汤普森采样调节生成过程，自动确定每一轮的初步令牌数量。实验结果表明，与先前的方法相比，我们的方法在解码令牌时具有明显的加速效果。

    Jun, 2024

  • 加速大型语言模型推理的多令牌联合预测解码

    改进了基于变压器的大语言模型的推理速度和效率，通过将多个标记关联起来并使用验证步骤进行加速和近似，从而实现更好的输出困惑度和效率。

    Jul, 2024