Jun, 2024

月饼：Kimi 的基于 KVCache 的 LLM 服务架构

PDF
TL;DRMooncake 是一种基于 KVCache 的分散架构，用于提供 Kimi 服务，通过利用 GPU 集群的未充分利用的 CPU、DRAM 和 SSD 资源来实现 KVCache 的分散缓存，并通过 KVCache 调度程序，平衡最大化整体有效吞吐量和满足延迟相关的服务级别目标（SLOs），从而在应对高度过载方案时提高了吞吐量，并且在真实工作负载下，其创新的架构使 Kimi 能够处理更多的请求。
发现论文，激发创造
  • 使用 Kcache 的高效 LLM 推断

    KCache 技术是一种用于提高大型语言模型推理过程中内存瓶颈问题的技术，通过缓存预先计算的 KV 状态，将热门 LLMs 的吞吐量提高 40%，同时保持准确性。

    Apr, 2024

  • SnapKV: LLM 在生成之前了解您要寻找的内容

    SnapKV 是一种创新且无需微调的方法，它通过选择每个注意力头的重要键值位置来高效地减小键值存储缓存的大小，从而在处理长输入序列时显著降低了计算开销和内存占用，同时保持了与基准模型相当的性能。

    Apr, 2024

  • MiniCache：大型语言模型的键值缓存深度维度压缩

    通过对大型语言模型的键 - 值缓存进行压缩，以降低内存占用，并提高高吞吐量和优化压缩比率。

    May, 2024

  • 金字塔推理：金字塔 KV 缓存压缩用于高吞吐率 LLM 推理

    通过压缩键值缓存并保留关键上下文，提出了一种名为 PyramidInfer 的方法，以提高大型语言模型在 GPU 内存使用和推理速度方面的可扩展性。实验结果显示 PyramidInfer 相比 Accelerate 方法，在增加 2.2 倍的吞吐量的同时减少了 54% 的 GPU 内存占用。

    May, 2024

  • KV-Runahead: 并行键值缓存生成的可扩展因果 LLM 推断

    在这项工作中，我们提出了一种高效的并行化方案 KV-Runahead，旨在加速大型语言模型的前置阶段。通过利用键值缓存（KV-cache），KV-Runahead 通过协调多个进程填充 KV-cache 以最小化时间到达第一个标记（TTFT）。我们进一步提出上下文级负载平衡来处理不均匀的 KV-cache 生成，并优化 TTFT。与现有的并行化方案相比，KV-Runahead 在 Llama 7B 和 Falcon 7B 上分别提供了 1.4 倍和 1.6 倍的加速。

    May, 2024

  • 序列秘密揭示舍弃的内容

    本文介绍了一种优化大语言模型中键值缓存的方法，通过动态保留重要的键值对来减少推理过程中键值缓存的内存使用量高达 70%，而不会引起性能明显下降。

    Apr, 2024

  • KIVI：一种用于 KV 缓存的无需调节的非对称 2 位量化

    通过深入研究大语言模型中关键 - 值缓存的元素分布，我们提出了一个调优无需任何参数的 2 位关键 - 值缓存量化算法，名为 KIVI。KIVI 可以使 Llama (Llama-2), Falcon, 和 Mistral 模型在几乎不减少质量的同时，使用 2.6 倍的峰值内存，从而实现高达 4 倍的批处理大小，进一步提高 2.35 到 3.47 倍的真实大语言模型推理负载吞吐量。

    Feb, 2024

  • QAQ: LLM KV 缓存的质量自适应量化

    提出了 QAQ，一种针对 KV 缓存的质量自适应量化方案，通过集成专用的异常值处理和改进的注意力感知方法，QAQ 在对模型性能几乎没有影响的情况下，实现了 KV 缓存大小最大 10 倍的压缩比，显著减少了部署 LLM 的实际困境，并为更长上下文应用开辟了新的可能性。

    Mar, 2024

  • LOOK-M: KV 缓存中的一次查找优化，用于高效的多模态长上下文推理

    LOOK-M 是一个节省多模态 KV 缓存大小的创新方法，其通过优化文本和图像特征的交互作用，使用新的文本优先方法来压缩 KV 缓存，以及使用 KV 对的合并来缓解图像上下文信息的退化，实现了高效的解码速度和在各种多模态长上下文任务中保持或增强性能。

    Jun, 2024

  • 模型指导的内容丢弃方法：用于大型语言模型的自适应 KV 缓存压缩

    通过自适应 KV 缓存压缩的插拔式方法，我们引入了一种减少大型语言模型（LLM）生成推理内存占用的方法。通过有针对性的分析注意力模块的内在结构，我们构建自适应 KV 缓存：针对局部上下文的注意力头强调接触范围短的上下文，针对特殊标记的注意力头中心化的丢弃非特殊标记，只有广泛关注所有标记的注意力头才使用标准 KV 缓存。此外，通过轻量级的注意力分析引导自适应 KV 缓存的构建，FastGen 不需要资源密集的微调或重新训练。在各种场景的实验中，FastGen 在 GPU 内存消耗方面显著减少，同时几乎没有生成质量损失。我们将发布用于重现的代码和兼容的 CUDA 内核。

    Oct, 2023