Jun, 2024

关键标记的重要性指标在 KV 缓存降低中，注意力分数不是唯一的所需：价值也很重要

PDF
TL;DR通过使用注意力得分和值向量的 L1 范数来评估令牌的重要性，我们提出了一种新的方法：Value-Aware Token Pruning (VATP)，它在 LLMs 中表现出卓越的性能。
scalinglarge language modelstoken pruningattention scoresvalue vectors
发现论文，激发创造
  • 基于 L2 范数的高效 KV 缓存压缩策略

    基于对注意力分配模式和键嵌入进行分析，我们提出了一种基于键嵌入的压缩策略，证实可在不降低准确性的情况下，将关键值 (KV) 缓存大小减少 50%（在语言模型和针对性查询任务中）和 90%（在密码检索任务中）。

    Jun, 2024

  • SqueezeAttention: 通过分层最佳预算在 LLM 推理中对 KV-Cache 进行 2D 管理

    通过确定关注层的重要性，我们提出了 SqueezeAttention 来精确优化动态分配关键值缓存的预算，并结合三种代表性的标记稀疏化算法来压缩每个层的关键值缓存。通过从序列和层两个维度进行优化，SqueezeAttention 在各种大型语言模型和基准测试中实现了 30% 至 70% 的内存减少和最高 2.2 倍的吞吐量提升。

    Apr, 2024

  • 利用重要性假设的持久性进行测试时 LLM KV 缓存压缩的剪刀手技术

    Scissorhands 是一种用于大型语言模型的系统，通过存储关键的 token 来管理生成过程中的内存使用，从而实现将 KV Cache 内存使用量控制在固定的预算内，最高可以将其降低 5 倍。

    May, 2023

  • 大规模语言模型服务的高效内存管理与 PagedAttention

    大规模语言模型的高吞吐量通过批处理大量请求实现，本研究提出了 PagedAttention 算法和 vLLM 系统，用于减少关键值缓存（KV cache）内存的浪费和冗余复制，改善系统的吞吐量和内存利用率。

    Sep, 2023

  • SnapKV: LLM 在生成之前了解您要寻找的内容

    SnapKV 是一种创新且无需微调的方法，它通过选择每个注意力头的重要键值位置来高效地减小键值存储缓存的大小，从而在处理长输入序列时显著降低了计算开销和内存占用，同时保持了与基准模型相当的性能。

    Apr, 2024

  • Quest: 查询感知稀疏性用于高效长上下文 LLM 推断

    长上下文大语言模型的推理速度下降的问题可以通过使用查询感知的 KV 缓存选择算法来加速自注意力机制，该算法通过仅加载前 K 个关键 KV 缓存页面来显著提高自注意力的速度。

    Jun, 2024

  • 超长词注意力近似的一遍流式算法在亚线性空间中

    部署大型语言模型在涉及长文本的流式应用中面临着内存消耗和时间复杂度的挑战。本文介绍了一种新的算法，通过节约存储空间并保持较低的错误率，在流式应用中高效地处理大型语言模型。

    Nov, 2023

  • Loki: 用于高效稀疏注意力的低秩键

    我们提出了一种基于低维空间计算注意力的稀疏注意力方法 Loki，该方法在推理阶段可以更好地保持模型的效力，并通过减少数据移动和计算成本来加快注意力计算。

    Jun, 2024

  • 不忘初心：大规模视觉语言模型的关注力视觉校准

    通过 Attentional Vision Calibration (AVC) 技术，针对 Large Vision Language Models (LVLMs) 中出现的盲目令牌（blind tokens）引发的视觉对象细节理解问题，通过动态调整逻辑回归预测以降低对盲目令牌的依赖，从而提高所有令牌的平衡考虑，有效地减少了 LVLMs 中的视觉对象幻觉。

    May, 2024

  • AttentionStore：大型语言模型服务中多轮会话中的经济高效注意力重用

    通过 AttentionStore，可以显著降低多轮对话中重复计算的开销，提高首个令牌的时间及预填充处理性能，减少端到端推理成本。

    Mar, 2024