key-value caching | BriefGPT

关键词key-value caching

搜索结果 - 6

MLKV：用于内存高效 Transformer 解码的多层键值头
通过多层键 - 值共享方式，将键值缓存扩展到变压器层，进一步降低内存使用量，提高变压器模型在大规模场景中的效率。
PDF21 days ago
MiniCache：大型语言模型的键值缓存深度维度压缩
通过对大型语言模型的键 - 值缓存进行压缩，以降低内存占用，并提高高吞吐量和优化压缩比率。
PDFa month ago
使用跨层注意力减小 Transformer 键 - 值缓存大小
使用交叉层注意力（CLA）设计可以进一步减小关键 - 值缓存的大小，而几乎保持与未修改 MQA 相同的准确性，在从头开始训练 1B 和 3B 参数模型的实验中证明 CLA 在内存 / 准确性权衡方面提供了帕累托改进，使得推断能处理比传统 M
PDFa month ago
基于矩阵分解的数据无关低位量化用于 KV 缓存压缩的解锁
通过基于张量分解的新型无数据量化技术 DecoQuant，我们成功压缩了大型语言模型中的 KV 缓存，提高了推理效率并保持相当的生成质量，并实现了高精度表示和低位量化的有机结合。
PDFa month ago
GEAR: 基于高效 KV 缓存压缩的近无损低长度模型生成推断算法
提出了 GEAR，一种高效的 KV 缓存压缩框架，实现了几乎无损的高压缩比。相比其他方法，GEAR 在减少峰值内存大小的同时，实现了高达 2.38 倍的吞吐量提升。
PDF4 months ago
无漏洞：通过重要性感知混合精度量化实现可靠的键值缓存压缩
通过实验证明，即使通过减少精度量化保存被清除的 KV 对中的一小部分信息，也能大大恢复引起的退化；同时，对于重要的 KV 对，必须保留较高的精度以确保生成质量。基于这些观察，我们提出了一种可靠的缓存压缩方法，即混合精度 KV 缓存（MiKV
PDF4 months ago