SimLayerKV：用于层级KV缓存减少的简单框架
通过整合一个（几乎不消耗）常量大小的缓存与基于驱逐策略的缓存方法，提出了LESS，以在过去的解码步骤中查询所有标记。它在时间上保留信息的能力可在多种任务中展现出优点，帮助降低性能差距和提高效率。
Feb, 2024
通过实验证明，即使通过减少精度量化保存被清除的KV对中的一小部分信息，也能大大恢复引起的退化；同时，对于重要的KV对，必须保留较高的精度以确保生成质量。基于这些观察，我们提出了一种可靠的缓存压缩方法，即混合精度KV缓存（MiKV），通过将被清除的KV对保留在低精度以保留上下文细节，并通过将重要的KV对保留在高精度来确保生成质量。与其他基准相比，我们的方法在多种基准和LLM骨干上提供了一个最先进的压缩比和性能的权衡。
Feb, 2024
通过确定关注层的重要性，我们提出了SqueezeAttention来精确优化动态分配关键值缓存的预算，并结合三种代表性的标记稀疏化算法来压缩每个层的关键值缓存。通过从序列和层两个维度进行优化，SqueezeAttention在各种大型语言模型和基准测试中实现了30%至70%的内存减少和最高2.2倍的吞吐量提升。
Apr, 2024
提出了一种新的方法，只计算和缓存少量层的键值以大幅节省内存消耗并提高推理吞吐量。在大型语言模型上的实验证明，该方法的推理吞吐量比标准Transformer高26倍，同时在语言建模和下游任务中具有竞争性能。此外，该方法与现有的Transformer节省内存技术正交，因此可以轻松将它们与我们的模型集成，进一步提高推理效率。
May, 2024
本研究针对大型语言模型在处理长文本时效率低下的问题，探讨了KV缓存的优化方法。通过分析不同的KV缓存压缩策略，本文提供了在预训练、部署和推理阶段的优化方案，从而为大型语言模型的未来发展提供了新的见解和方向。
Jul, 2024
本研究针对早退模型的推理效率问题，提出了一个高效的推理框架。关键创新在于提出了逐迭代的批量推理和KV缓存管理方案，显著提高了推理速度。实验结果表明，与原始的全层vLLM相比，该框架实现了最高1.25倍的速度提升。
Jul, 2024
本研究解决了大语言模型在长上下文任务中键值缓存带来的内存开销问题。提出的CSKV方法通过分析通道维度的冗余，采用低秩分解技术，并引入双分支键值缓存架构，以较低的训练成本实现缓存压缩。实验表明，该方法能将内存开销降低80%，而且能够与量化技术结合，实现高达95%的压缩率。
Sep, 2024
本研究解决了长上下文任务中关键值（KV）缓存带来的大内存开销问题。通过引入CSKV技术，利用通道维度的冗余性并进行低秩分解，从而实现KV缓存的压缩，同时引入双分支KV缓存以保持模型性能。研究结果表明，CSKV能够将KV缓存的内存开销减少80%，并在与量化结合时实现高达95%的压缩比。
Sep, 2024
本研究解决了大型语言模型长上下文推理中内存资源分配效率低下的问题。通过引入一种新区块的分页注意力框架KV-压缩，实现了按理论压缩率降低键值缓存的内存占用，从而显著提升了长上下文请求的并发处理能力。实验结果显示，该方法在多个基准测试中达到最先进的性能，并能够实现高达8倍的压缩率，而对模型性能影响微乎其微。
Sep, 2024