Jun, 2024

OPT-Tree：具有自适应草稿树结构的猜测解码

PDF
TL;DROPT-Tree 算法通过构建自适应和可扩展的缓冲树结构，实现了一步生成多个标记，从而解决了自回归语言模型中推理效率受限的问题。该算法优于现有的缓冲结构，与自回归解码相比，实现了最高 3.2 倍的加速比。
autoregressive language modelsinference efficiencyspeculative decodingopt-treeacceleration
发现论文，激发创造
  • SpecTr: 基于最优传输的快速推理解码

    通过将自回归抽样与猜测解码相结合，提出了一种理论上基于最优传输的规范解码方法，通过使用新的选择算法在保证解码质量的情况下获得解码速度的提升。

    Oct, 2023

  • 递归推测解码：通过无替换抽样加速 LLM 推理

    递归推测解码是一种基于树的方法，利用抽样生成多样性的草稿令牌序列来加速大型语言模型，从而在固定的草稿序列长度和计算预算下取得了优越性能。

    Feb, 2024

  • 用于加速推测解码的最佳块级草稿验证

    我们提出了一个更好的草稿验证算法，通过块级最优输送问题来实现，与令牌级别验证算法相比，在一系列任务和数据集中节约了墙钟速度。

    Mar, 2024

  • 多候选猜测解码

    大型语言模型在各种自然语言处理任务中展现出令人印象深刻的能力，但是自回归生成文本却非常耗时。提高速度的一个方法是进行猜测性解码，即由快速的草稿模型生成候选分段（一系列令牌），然后由目标模型并行验证。然而，候选标记的接受率受到模型、数据集和解码设置等多个因素的限制。本文提出了从草稿模型中采样多个候选分段，并将它们分批进行验证的方法。我们设计了高效的多候选验证算法，同时保持目标模型的分布。我们的方法在多个数据集和模型上都展现出显著的接受率改进，始终优于标准的猜测性解码。

    Jan, 2024

  • 探讨推测性解码

    使用分析模型来选择适合特定工作负载的合适草稿模型，以提高推理速度并设计适用于 LLaMA-65B 的新草稿模型，能够提供比现有草稿模型高 30% 的吞吐量。

    Feb, 2024

  • 级联推测草稿以提升 LLM 推理速度

    利用级联的投机式编码方法，以提高大型语言模型的效率，通过引入垂直级联和水平级联来消除自回归生成和提高草拟中的时间分配的效率，从而进一步提高了 72% 的加速度。

    Dec, 2023

  • 在线投机解码

    通过在线推理和训练预估模型，我们提出了一种在线推理预估解码技术，用于加速大型语言模型的推理过程，并减少延迟。

    Oct, 2023

  • 草案和验证：通过自我推理解码实现无损大语言模型的加速

    我们提出了一种新颖的推理方案，自我推测解码，用于加速大型语言模型（LLMs），无需辅助模型。该方法通过两个阶段的过程来实现：草稿和验证。草稿阶段以稍低质量但更快的速度生成草稿标记，通过在草稿期间选择性跳过某些中间层来实现。然后，验证阶段使用原始 LLM 在一次前向传递中验证那些草稿输出标记。该过程确保最终输出与未经修改的 LLM 产生的输出完全相同，从而保持输出质量。所提出的方法不需要额外的神经网络训练和额外的内存占用，是一种即插即用和经济高效的推理加速解决方案。与 LLaMA-2 及其微调模型的基准测试表明，加速比最高可达 1.73 倍。

    Sep, 2023

  • 通过推测解码从 Transformer 中实现快速推断

    本文提出了一种名为 “speculative decoding” 的算法，通过逐步并行地计算，采样自动回归模型可更快，同时采用了采样方法和一些新的技术，使得不改变分布的情况下，从大模型中精确解码变得更快，从而实现了不需要重新训练或架构更改即可支持现有模型的加速。在 T5-XXL 模型上的比较表明，该方法可以实现 2-3 倍的加速，而输出仍然与标准 T5X 实现相同。

    Nov, 2022

  • SDSAT：通过语义自适应标记的推理进行推测解码的加速

    通过引入具有语义自适应能力的令牌，提出一种用于大型语言模型（LLM）的加速方案（SDSAT）。该方案通过细调模型和使用训练方法，以及使用新的生成策略，能够在不影响模型准确性的情况下，提高模型生成草稿令牌的准确性，并且在 CodeLlama-13B 和 7B 模型上实验，分别获得了超过 3.5X 和 3.0X 的加速效果。

    Mar, 2024