Apr, 2024

超定基的大型语言模型的量化

PDF
TL;DR基于 Kashin 表示原理，我们引入了一种数据量化算法，通过将给定的向量、矩阵或张量分解为两个因子，其中第一个因子具有小的无穷范数，而第二个在乘以正交矩阵后也具有相似的限制范数。通过分解后的因子条目意外地集中在几个峰值附近，允许我们有效地通过相应的质心进行量化。我们研究了该方法的理论性质，并在下一个单词预测任务和一组文本分类的下游任务中对我们的压缩算法进行了严格评估。我们的研究结果表明，Kashin 量化在保证数据压缩的同时，实现了竞争性或更高的模型性能质量，标志着数据量化领域的重要进展。
algorithmdata quantizationkashin representationcompressionmodel performance
发现论文，激发创造
  • 基于矩阵分解的数据无关低位量化用于 KV 缓存压缩的解锁

    通过基于张量分解的新型无数据量化技术 DecoQuant，我们成功压缩了大型语言模型中的 KV 缓存，提高了推理效率并保持相当的生成质量，并实现了高精度表示和低位量化的有机结合。

    May, 2024

  • 不定性原理与向量量化

    根据不确定性原理，将框架表示转换为更强韧的 Kashin 表示法，其系数具有最小可能的动态范围，并且具有减少其系数误差的能力。

    Nov, 2006

  • 通过随机低秩和低精度因式分解实现矩阵压缩

    我们提出一种算法，利用矩阵的低秩结构来获得任意矩阵的低秩分解，通过向量量化和压缩技术实现了压缩比例和逼近精度之间的折衷。

    Oct, 2023

  • 大型语言模型的零数据压缩和降噪

    基于大型语言模型的权重分解以及压缩方法，通过新的无需语料库参与、保持正交性的数据无关联 Rank-k 近似方法，成功压缩了 80% 的参数并保留了原始性能的 93.43%。同时，对经过 Rank-k 近似的权重矩阵进行了深入研究以验证假设。

    Feb, 2024

  • 二值化知识图谱嵌入

    本文介绍了一种用于知识图谱补全的量化张量分解方法，通过在优化问题中引入量化函数，以二进制替换浮点值来减少模型大小，成功在保持任务性能的同时减少了一个数量级以上的模型大小。

    Feb, 2019

  • QuantEase: 基于优化的语言模型量化 -- 一种高效直观的算法

    本研究采用 Coordinate Descent（CD）技术，通过 QuantEase 分层量化框架对 Large Language Models（LLMs）进行后训练量化，包括离群值感知算法，以实现近乎 3 位量化并提高模型性能。

    Sep, 2023

  • 去量化压缩感知：过采样和非高斯约束相结合

    本研究提出了一类新的凸优化解码器 BPDQ$_p$ 来恢复从均匀量化测量中得到的稀疏信号，证明了在满足扩展的限制等距特性的矩阵中使用 BPDQ$_p$ 可以有效降低重构误差，同时在高斯随机矩阵和均匀量化测量下的表现超过传统的 BPDN 方案。

    Feb, 2009

  • WKVQuant：量化权重和键 / 值缓存以提升大型语言模型的性能

    该论文提出了一种针对大型语言模型的量化方法，即使用 WKVQuant 框架对权重和关键 / 值（KV）缓存进行量化，通过过去量化改进注意力计算，并引入二维量化策略处理 KV 缓存分布，结合跨块重构正则化进行参数优化，实验证明 WKVQuant 能够几乎实现与权重 - 激活量化相当的内存节省，并接近仅权重量化的性能。

    Feb, 2024

  • Bolt：快速向量压缩加速数据挖掘

    我们提出了一种能够以比现有技术快 12 倍以上的速度压缩矢量并加速近似向量操作的矢量量化算法，用于计算近似点积等操作的速度可提高 10 倍以上，可以加速最近邻搜索和最大内积搜索 100 倍以上，并且与现有的矢量量化算法相比误差竞争力强。

    Jun, 2017

  • LLM-QAT: 大型语言模型的无数据量化感知训练

    通过提出一种数据无关的蒸馏方法，利用预训练模型生成的结果来实现对语言模型低位量化，包括权重、激活值和 KV Cache，该方法比已有的基于训练后量化和无训练量化方法更适用于低精度位级下的大型语言模型。

    May, 2023