本文介绍了SpecInfer，一种使用预测推断和令牌树验证加速生成式大型语言模型推断的LLM服务系统，其使用多个小型语言模型共同预测LLM的输出，并使用一种新的基于树的并行解码机制验证所有候选的令牌序列的正确性。通过使用LLM作为令牌树验证器，而不是增量解码器，SpecInfer显着降低了用于服务LLM的端到端延迟和计算要求，同时确保保持模型质量。

May, 2023

利用大型语言模型（LLM）的最新进展，我们提出了一种新颖的算法——分阶段投机性解码，以加速小批量、设备上的LLM推断。我们通过改进投机性解码的前期工作解决了小批量推断的低算术密度问题。首先，我们将投机性批量重新组织为一棵树，这降低了生成成本并增加了每批预期的标记数。其次，我们添加了第二阶段的投机性解码。综合而言，我们在完美地保留输出质量的同时，将单批解码延迟降低了3.16倍，使用了一个762M参数的GPT-2-L模型。

Aug, 2023

SARATHI improves Large Language Model (LLM) inference performance by employing chunked-prefills and decode-maximal batching, resulting in significant throughput improvements and reduced pipeline bubbles when used with pipeline parallelism on GPUs.

Aug, 2023

通过使用预测值，基于Transformer架构的生成式大型语言模型(SPEED)能够并行地执行当前令牌以及多个未来令牌，从而提高推理效率，减少延迟，并在保持模型准确性的同时实现支持参数共享的更深层次解码器的训练。

Oct, 2023

本论文提出了一种有效的方法，可以更高效地部署大型语言模型，通过自动INT4纯权重量化流和设计具有高度优化内核的特殊LLM运行时，在CPU上加速LLM推理，展示了该方法对包括Llama2、Llama、GPT-NeoX等流行LLM的普适性，并显示了在CPU上的极高推理效率。

Nov, 2023

Speculative Streaming是一种单一模型的推测解码方法，通过将起草融入目标模型，将微调目标从下一个标记预测改为未来n-gram预测的目标，以在总结、结构查询和语义表示等多个任务中提高1.8-3.1倍的解码速度，而不损失生成质量。此外，Speculative Streaming在参数效率方面表现出色，与Medusa-style架构相比，使用的额外参数较少，适用于资源受限的设备。

Feb, 2024

通过引入推测执行的概念，对大型语言模型进行推理加速，提升解码速度，该研究综述了当前推测执行在大型语言模型中的应用, 并提出了关键挑战和未来发展方向。

Apr, 2024

该研究介绍了分布式推理和大型语言模型加速的方法，通过使用分布式推理算法（DSI）可以获得比传统方法更快的推理速度。

May, 2024

使用SpecExec方法，在消费级GPU上以每秒4-6个令牌（4位量化）或每秒2-3个令牌（16位权重）的速度对包含50多亿参数的大语言模型进行了推理。

Jun, 2024

该研究介绍了一种在CPU上加速大型语言模型的易于部署推理性能优化解决方案，并针对常用模型进行了定制优化。

Jul, 2024