TriForce：层次化猜测解码对长序列生成实现无损加速

Apr, 2024

TriForce：层次化猜测解码对长序列生成实现无损加速

TriForce: Lossless Acceleration of Long Sequence Generation with Hierarchical Speculative Decoding

Hanshi Sun, Zhuoming Chen, Xinyu Yang, Yuandong Tian, Beidi Chen

TL;DR通过介绍 TriForce，提供了一种可扩展到长序列生成的分层推断系统，该系统通过检索作为初稿模型使用的原始模型权重和动态稀疏键值缓存来降低起草延迟，并在层次结构中进一步被较小的模型推测，以实现卓越的加速和处理能力。

Abstract

With large language models (LLMs) widely deployed in long content generation recently, there has emerged an increasing demand for efficient long-sequence inference support. However, key-value (KV) cache, which is stored to avoid re-computation, has emerged as a critical bottleneck by g

large language models key-value cache triforce long sequence generation offloading setting

发现论文，激发创造

序列秘密揭示舍弃的内容

本文介绍了一种优化大语言模型中键值缓存的方法，通过动态保留重要的键值对来减少推理过程中键值缓存的内存使用量高达 70%，而不会引起性能明显下降。

Apr, 2024

模型指导的内容丢弃方法：用于大型语言模型的自适应 KV 缓存压缩

通过自适应 KV 缓存压缩的插拔式方法，我们引入了一种减少大型语言模型（LLM）生成推理内存占用的方法。通过有针对性的分析注意力模块的内在结构，我们构建自适应 KV 缓存：针对局部上下文的注意力头强调接触范围短的上下文，针对特殊标记的注意力头中心化的丢弃非特殊标记，只有广泛关注所有标记的注意力头才使用标准 KV 缓存。此外，通过轻量级的注意力分析引导自适应 KV 缓存的构建，FastGen 不需要资源密集的微调或重新训练。在各种场景的实验中，FastGen 在 GPU 内存消耗方面显著减少，同时几乎没有生成质量损失。我们将发布用于重现的代码和兼容的 CUDA 内核。

Oct, 2023

S$^{3}$：提高生成式推理的 GPU 利用率以实现更高的吞吐量

文中提出 S^3 模型，通过预测输出序列长度、调度并发任务、处理预测失误等手段，提高生成大型语言模型所需内存利用率，比那些假定最长输出序列的系统的吞吐量提高了 6.49 倍。

Jun, 2023

使用 KV 缓存压缩合成循环以实现高效的 LLM 推理

通过整合一个（几乎不消耗）常量大小的缓存与基于驱逐策略的缓存方法，提出了 LESS，以在过去的解码步骤中查询所有标记。它在时间上保留信息的能力可在多种任务中展现出优点，帮助降低性能差距和提高效率。

Feb, 2024

基于英特尔 GPU 的高效 LLM 推理解决方案

提议了一种高效的大型语言模型推理解决方案，通过简化模型结构、融合数据移动和逐元素操作、使用段落 KV 缓存策略等方法降低系统延迟并提高吞吐量，在 Intel GPU 上相对于标准 HuggingFace 实现，能够实现高达 7 倍的令牌延迟降低和 27 倍的吞吐量提升。

Dec, 2023

SubGen: 子线时间和内存中的令牌生成

本研究提出一种用于大型语言模型的有效压缩技术，通过在关键标记上进行在线聚类和在值上进行在线 l2 采样，实现了亚线性内存占用和亚线性时间复杂度，从而显著提高了性能和效率。

Feb, 2024

通过隐藏传输进行并行解码以实现无损大型语言模型加速

大型语言模型的并行解码技术，包括隐藏状态传递、树状注意机制和加速技术等，提高了模型推理速度和生成准确性。

Apr, 2024

Lookahead: 大型语言模型的推理加速框架，保持生成准确性

该研究论文介绍了一种加速检索和生成过程的通用框架，通过引入多分支策略和基于 Trie 的检索过程，实现了 Retrieval-Augmented Generation 系统的推理速度的显著提升。

Dec, 2023

高效译码的投机流水线执行

通过使用预测值，基于 Transformer 架构的生成式大型语言模型 (SPEED) 能够并行地执行当前令牌以及多个未来令牌，从而提高推理效率，减少延迟，并在保持模型准确性的同时实现支持参数共享的更深层次解码器的训练。

Oct, 2023

FastSeq: 使序列生成更快

本文介绍了基于 Transformer 的自然语言生成模型在解码过程中存在推理速度瓶颈，提出了 FastSeq 框架以加速序列生成，采用了注意力缓存优化、重复 n-gram 检测、并行 IO 等优化技术，有效提升了推理速度，并且可以适用于多种 Transformer-based 模型，其中代表性的 T5、GPT2 和 UniLM 等。

Jun, 2021