LCQ: 基于低秩码本的大语言模型量化

May, 2024

LCQ: 基于低秩码本的大语言模型量化

LCQ: Low-Rank Codebook based Quantization for Large Language Models

Wen-Pu Cai, Wu-Jun Li

TL;DR大型语言模型在许多任务中展现出有希望的性能，然而，高存储和计算成本成为部署大型语言模型的挑战。本文提出了一种新的称为基于低秩码簿的量化方法（LCQ）用于大型语言模型的权重量化，通过采用秩大于一的低秩码簿，LCQ 在基本不增加存储成本的情况下能够取得比现有方法更好的准确性。

Abstract

large language models~(LLMs) have recently demonstrated promising performance in many tasks. However, the high storage and computational cost of LLMs has become a challenge for deploying LLMs. weight quantization

large language models weight quantization model compression low-rank codebook accuracy

发现论文，激发创造

QLLM：用于大型语言模型的准确高效低比特量化

通过自适应通道重组技术，QLLM 提出了一种准确高效的低精度模型量化方法，实现了对大规模语言模型的低精度量化，并在 LLaMA-2 上相较于之前最先进的方法提高了 7.89% 的平均准确率。

Oct, 2023

大型语言模型的极端压缩：基于加性量化

该研究中，我们将经典的多码本量化方法应用于语言模型的压缩，实现了对开放式大规模语言模型的极端压缩，提高了在给定压缩预算下的准确性。

Jan, 2024

可学习的压缩量化技术用于精确低比特神经网络

本文提出了一种可学习的压缩量化方法 (LCQ), 该方法能够灵活地通过优化模型权重和可学习的压缩函数来控制权重和激活的压缩级别，从而优于传统的最先进方法，并缩小量化模型与全精度模型之间的差距。

Mar, 2021

大型语言模型的零数据压缩和降噪

基于大型语言模型的权重分解以及压缩方法，通过新的无需语料库参与、保持正交性的数据无关联 Rank-k 近似方法，成功压缩了 80% 的参数并保留了原始性能的 93.43%。同时，对经过 Rank-k 近似的权重矩阵进行了深入研究以验证假设。

Feb, 2024

SDQ：稀疏分解量化用于 LLM 推断

借助 SDQ 的结构稀疏性和量化方法，可以实现高计算和内存效率，并且在性能上只有不到 1% 的质量损失。

Jun, 2024

基于特征的大型语言模型通过贝叶斯优化的低秩压缩

近年来，大型语言模型（LLMs）在自然语言处理方面取得了重要进展，但其规模的增大增加了计算负担，需要在效率和性能之间取得平衡。为了解决 LLMs 中低秩压缩的挑战，我们对大模型的低秩特性进行了实证研究，并提出了一种适用于 LLMs 的低秩压缩方法，该方法通过汇总协方差矩阵的特征分布精确估计和贝叶斯优化策略来分配低秩维度。我们在 LLaMA-2 模型上的实验表明，我们的方法在相同的压缩比下比现有的强结构剪枝和低秩压缩技术表现更佳，能够保持模型的性能。

May, 2024

LLM 的低秩量化感知训练

大型语言模型经常遇到计算和存储需求增加的挑战，为此我们提出了一种名为 LR-QAT 的轻量级、存储高效的量化感知训练算法，通过使用低秩辅助权重、固定点或双包整数的强制转换运算符以及检查点等组件，我们可以在不牺牲预测性能的情况下节省内存，该方法可应用于多种量化设置并与多种 PTQ 技术无缝结合，有效提升模型性能并在内存使用上达到与全模型 QAT 相当的水平。

Jun, 2024

CLAQ：推动 LLM 的低比特后训练量化极限

该论文介绍了一种基于列级适应性权重量化（CLAQ）框架的参数量化方法，通过引入三种不同的自适应策略，可以在大规模语言模型中减少内存占用和提高计算效率。实验结果表明，在不同比特设置下，尤其是在极低比特情况下，该方法能够取得最先进的结果。

May, 2024

SpQR: 一种稀疏量化表示法，用于近无损 LLM 重量压缩

通过 Sparse-Quantized Representation（SpQR）压缩 LLMs，提出全新的压缩格式和量化技术，通过将所有其他权重压缩到 3-4 位并将异常权重以高精度存储以解决精度问题，既能保存模型的准确性，又能达到先前方法相似的压缩水平，该方法的运行速度要比 16 位基线快，并实现超过 4 倍的内存压缩收益。

Jun, 2023

LQER: 低秩量化误差重建法用于 LLMs

本研究提出了一种通过低秩近似和量化相结合的方法，使用激活引起的比例矩阵将量化误差的奇异值分布调整到理想值，实现了在各种大型语言模型和相关任务上几乎无失真的 W4A8 量化，而无需知识蒸馏、网格搜索或基于梯度的迭代优化，并且与现有方法相比，计算模式中的 LQER 消除了从不规则内存位置收集高精度权重所需的专用 Scatter 和 Gather 过程，从而在六个热门任务上实现了接近无失真性能，同时使用的硬件资源比领先的最先进方法少 1.36 倍。

Feb, 2024