key-value cache | BriefGPT - AI 论文速递

关键词key-value cache

搜索结果 - 10

基于级联 KV 缓存的无需训练的滑动窗口上下文的指数扩展
在基于 transformer 的大型语言模型（LLMs）中，通过使用一个保存了初始 token 和固定大小的滑动窗口的键值（KV）缓存，以线性复杂度实现稳定的流式生成，并能够在总缓存大小不变的情况下存储更远过去的 token，取得了 5.
PDF10 days ago
基于 L2 范数的高效 KV 缓存压缩策略
基于对注意力分配模式和键嵌入进行分析，我们提出了一种基于键嵌入的压缩策略，证实可在不降低准确性的情况下，将关键值 (KV) 缓存大小减少 50%（在语言模型和针对性查询任务中）和 90%（在密码检索任务中）。
PDF17 days ago
LoCoCo：为了长上下文压缩而引入的卷积操作
本文介绍了一种用于大型语言模型中处理长上下文序列的新方法，名为 Dropping In Convolutions for Long Context Compression（LoCoCo）。LoCoCo 通过使用一个固定大小的键 - 值（KV
PDFa month ago
SKVQ：用于大语言模型的滑动窗口键值缓存量化
在这篇论文中，我们提出了一种称为 SKVQ 的策略，它通过滑动窗口的键值缓存量化来解决大型语言模型中低比特宽度的键值缓存量化问题，并实现高压缩比和高准确性。
PDF2 months ago
SnapKV: LLM 在生成之前了解您要寻找的内容
SnapKV 是一种创新且无需微调的方法，它通过选择每个注意力头的重要键值位置来高效地减小键值存储缓存的大小，从而在处理长输入序列时显著降低了计算开销和内存占用，同时保持了与基准模型相当的性能。
PDF2 months ago
TriForce：层次化猜测解码对长序列生成实现无损加速
通过介绍 TriForce，提供了一种可扩展到长序列生成的分层推断系统，该系统通过检索作为初稿模型使用的原始模型权重和动态稀疏键值缓存来降低起草延迟，并在层次结构中进一步被较小的模型推测，以实现卓越的加速和处理能力。
PDF3 months ago
SqueezeAttention: 通过分层最佳预算在 LLM 推理中对 KV-Cache 进行 2D 管理
通过确定关注层的重要性，我们提出了 SqueezeAttention 来精确优化动态分配关键值缓存的预算，并结合三种代表性的标记稀疏化算法来压缩每个层的关键值缓存。通过从序列和层两个维度进行优化，SqueezeAttention 在各种大型
PDF3 months ago
Keyformer: 通过关键词令牌选择减少键值缓存以提高生成推理的效率
Keyformer 利用新颖的评分函数，通过仅保留关键令牌来减少 Key-Value 缓存大小和内存带宽使用，从而降低推理延迟 2.1 倍，提高标记生成吞吐量 2.4 倍，并保持模型准确性。
PDF4 months ago
使用 KV 缓存压缩合成循环以实现高效的 LLM 推理
通过整合一个（几乎不消耗）常量大小的缓存与基于驱逐策略的缓存方法，提出了 LESS，以在过去的解码步骤中查询所有标记。它在时间上保留信息的能力可在多种任务中展现出优点，帮助降低性能差距和提高效率。
PDF5 months ago
KIVI：一种用于 KV 缓存的无需调节的非对称 2 位量化
通过深入研究大语言模型中关键 - 值缓存的元素分布，我们提出了一个调优无需任何参数的 2 位关键 - 值缓存量化算法，名为 KIVI。KIVI 可以使 Llama (Llama-2), Falcon, 和 Mistral 模型在几乎不减少质
PDF5 months ago