kv cache | BriefGPT - AI 论文速递

关键词kv cache

搜索结果 - 8

ICMLQuest: 查询感知稀疏性用于高效长上下文 LLM 推断
长上下文大语言模型的推理速度下降的问题可以通过使用查询感知的 KV 缓存选择算法来加速自注意力机制，该算法通过仅加载前 K 个关键 KV 缓存页面来显著提高自注意力的速度。
PDF18 days ago
ZipCache：准确高效的键值缓存量化与显著令牌识别
ZipCache 是一种用于 LLMs 的准确而高效的 KV 缓存量化方法，通过通道可分离的逐标记量化方案可显著减少量化参数的内存开销，并通过考虑注意力矩阵的下三角特性提出了规范化注意力分数作为识别重要标记的有效度量，以获得更高的压缩比，同
PDFa month ago
序列秘密揭示舍弃的内容
本文介绍了一种优化大语言模型中键值缓存的方法，通过动态保留重要的键值对来减少推理过程中键值缓存的内存使用量高达 70%，而不会引起性能明显下降。
PDF2 months ago
QAQ: LLM KV 缓存的质量自适应量化
提出了 QAQ，一种针对 KV 缓存的质量自适应量化方案，通过集成专用的异常值处理和改进的注意力感知方法，QAQ 在对模型性能几乎没有影响的情况下，实现了 KV 缓存大小最大 10 倍的压缩比，显著减少了部署 LLM 的实际困境，并为更长上
PDF4 months ago
无漏洞：通过重要性感知混合精度量化实现可靠的键值缓存压缩
通过实验证明，即使通过减少精度量化保存被清除的 KV 对中的一小部分信息，也能大大恢复引起的退化；同时，对于重要的 KV 对，必须保留较高的精度以确保生成质量。基于这些观察，我们提出了一种可靠的缓存压缩方法，即混合精度 KV 缓存（MiKV
PDF4 months ago
KIVI：一种用于 KV 缓存的无需调节的非对称 2 位量化
通过深入研究大语言模型中关键 - 值缓存的元素分布，我们提出了一个调优无需任何参数的 2 位关键 - 值缓存量化算法，名为 KIVI。KIVI 可以使 Llama (Llama-2), Falcon, 和 Mistral 模型在几乎不减少质
PDF5 months ago
H$_2$O: 大语言模型高效生成推理的重要串行预测器
介绍了一种利用 Heavy Hitters 实现 KV cache 的新方法，提高了 Large Language Models 在长序列生成任务中的运行性能。
PDFa year ago
利用重要性假设的持久性进行测试时 LLM KV 缓存压缩的剪刀手技术
Scissorhands 是一种用于大型语言模型的系统，通过存储关键的 token 来管理生成过程中的内存使用，从而实现将 KV Cache 内存使用量控制在固定的预算内，最高可以将其降低 5 倍。
PDFa year ago