ICMLJul, 2023

预测管道解码：实现精确 LLM 解码的运算延迟平衡

PDF
TL;DR本文提出了一种名为 “预测管线解码（PPD）” 的方法，该方法采用额外的计算资源来并行化当前令牌解码期间下一个令牌解码的启动，从而加快了大型语言模型的贪婪解码速度，并降低了解码延迟。
predictive pipelined decodinglarge language modelsdecoding latencytrade-offscomputational resources
发现论文，激发创造
  • 硬件感知并行提示解码用于 LLM 推理的内存高效加速

    提出一种新颖的并行提示解码方法，仅需 $0.0002$% 的可训练参数，在 16 小时内可在单个 A100-40GB GPU 上进行高效训练，大大提高多令牌生成的接受率以及未来时间步骤的输出生成速度。

    May, 2024

  • 高效译码的投机流水线执行

    通过使用预测值，基于 Transformer 架构的生成式大型语言模型 (SPEED) 能够并行地执行当前令牌以及多个未来令牌，从而提高推理效率，减少延迟，并在保持模型准确性的同时实现支持参数共享的更深层次解码器的训练。

    Oct, 2023

  • 加速 LLM 推断的分阶段推测解码

    利用大型语言模型（LLM）的最新进展，我们提出了一种新颖的算法 —— 分阶段投机性解码，以加速小批量、设备上的 LLM 推断。我们通过改进投机性解码的前期工作解决了小批量推断的低算术密度问题。首先，我们将投机性批量重新组织为一棵树，这降低了生成成本并增加了每批预期的标记数。其次，我们添加了第二阶段的投机性解码。综合而言，我们在完美地保留输出质量的同时，将单批解码延迟降低了 3.16 倍，使用了一个 762M 参数的 GPT-2-L 模型。

    Aug, 2023

  • 基于神经检验多面体投影的二进制线性码 PDD 解码器

    本文提出了基于惩罚对偶分解（PDD）框架的 PDD 算法，并将机器学习技术集成到 PDD 解码算法的最耗时部分 —— 检查多面体投影（CPP）中，提出了特别设计的神经 CPP（NCPP）算法来降低解码延迟。仿真结果表明，所提出的算法是有效的

    Jun, 2020

  • ProPD: 动态令牌树剪枝和生成用于 LLM 并行解码

    提出了一种基于动态标记树修剪和生成的高效的大型语言模型（LLM）并行解码框架 ProPD，它通过提高并行性和效率来改进解码的性能和上下文关系维护问题，并在各种批量大小、序列长度和任务等方面最大化整体效率。在各种数据集、LLM 和批量大小上验证 ProPD，并证明其性能始终优于现有的解码算法 1.1-3.2 倍。

    Feb, 2024

  • SkipDecode: 自回归跳过解码与批处理和缓存的高效 LLM 推理

    通过 SkipDecode 方法在批处理推理和 KV 缓存优化技术的直接兼容性下，实现大语言模型的速度提升 2 倍至 5 倍，同时保持很小的回归，解决了提前终止计算的先前工作中存在的限制。

    Jul, 2023

  • 探讨推测性解码

    使用分析模型来选择适合特定工作负载的合适草稿模型，以提高推理速度并设计适用于 LLaMA-65B 的新草稿模型，能够提供比现有草稿模型高 30% 的吞吐量。

    Feb, 2024

  • 利用前瞻解码打破 LLM 推断的顺序依赖性

    使用准确并行的预读解码算法加速大型语言模型的自回归解码，从而减少总解码步骤，提高解码速度并充分发挥现代加速器的并行处理能力。

    Feb, 2024

  • 大语言模型中的差分隐私解码

    本文提出了一种简单易行、计算轻量化的扰动机制，保证了模型的隐私性，在不影响模型实用性的情况下，可应用于所有 LLM 模型，解决了 LLM 在隐私保护与重新训练之间的折中问题。

    May, 2022

  • 以 LLM 为基础通过并行解码词汇单元实现思考速度解码

    通过引入词汇单元解码（LUD）方法，本文在不牺牲输出质量的情况下加速解码过程，有效减少生成速度而仍保持生成质量，并提出 LUD 可能为未来的语言模型定义一种新的解码范式，提升其应用的适用性。

    May, 2024