通过自适应通道重组技术，QLLM提出了一种准确高效的低精度模型量化方法，实现了对大规模语言模型的低精度量化，并在LLaMA-2上相较于之前最先进的方法提高了7.89%的平均准确率。

Oct, 2023

我们提出了一种简单的方法来对预训练语言模型进行内存高效的适应。我们的方法使用迭代算法将每个预训练矩阵分解成高精度低秩部分和内存高效的量化部分。在微调过程中，量化部分保持固定，只有低秩部分被更新。我们提出了量化部分的整数线性规划形式，可以在总体存储器预算的情况下动态配置量化参数（例如，位宽，块大小）给每个矩阵。我们进一步探索了数据感知版本的算法，该算法使用Fisher信息矩阵的近似来加权矩阵分解过程中的重构目标。在适应RoBERTa和LLaMA-2（7B和70B）的实验中，我们的低秩加量化矩阵分解方法（LQ-LoRA）优于QLoRA和GPTQ-LoRA基准，并且能实现更激进的量化。例如，在OpenAssistant基准测试中，LQ-LoRA能够学习一个2.5位的LLaMA-2模型，与使用4位QLoRA微调的模型竞争。在语言建模校准数据集上微调时，LQ-LoRA还可以用于模型压缩；在这种情况下，我们的2.75位LLaMA-2-70B模型（考虑了低秩部分的平均位数，并且需要27GB的GPU内存）与原始模型在全精度上竞争。

Nov, 2023

对大型语言模型的量化技术进行研究，发现4位量化的语言模型可以在大部分基准测试中保持与非量化模型相当的性能，并且困惑度可以作为量化语言模型的代理度量。然而，量化也会影响推断速度，因此在优化解码速度和内存消耗方面需要进行大量工程努力和硬件支持。

Feb, 2024

本研究提出了EasyQuant，这是一种训练免费且独立于数据的权重量化算法，旨在实现对大型语言模型（LLMs）的几乎无损量化性能，且算法运行速度比依赖于数据的方法快10倍以上。

Mar, 2024

通过 quantization 技术，结合 SmoothQuant 和 GPTQ 两种 post-training 技术，将模型量化为 MX 格式，能够显著减小优化型模型大小至多 4 倍，提高 LLaMA 模型大小至多 3 倍，同时仅仅增加 1-3% 的困惑度。

May, 2024

大型语言模型在许多任务中展现出有希望的性能，然而，高存储和计算成本成为部署大型语言模型的挑战。本文提出了一种新的称为基于低秩码簿的量化方法（LCQ）用于大型语言模型的权重量化，通过采用秩大于一的低秩码簿，LCQ在基本不增加存储成本的情况下能够取得比现有方法更好的准确性。

May, 2024

大型语言模型经常遇到计算和存储需求增加的挑战，为此我们提出了一种名为LR-QAT的轻量级、存储高效的量化感知训练算法，通过使用低秩辅助权重、固定点或双包整数的强制转换运算符以及检查点等组件，我们可以在不牺牲预测性能的情况下节省内存，该方法可应用于多种量化设置并与多种PTQ技术无缝结合，有效提升模型性能并在内存使用上达到与全模型QAT相当的水平。

Jun, 2024

通过使用低秩权重缩放矩阵代替常规的全权重缩放矩阵，我们提出了一种低秩量化方法（LRQ），可以在大规模语言模型中取得更高的压缩性能和推断效率，提高量化语言模型的泛化能力。

Jul, 2024

本研究解决了后训练量化过程中大规模语言模型（LLM）激活量化后的准确性保持挑战。通过引入“量化内核”概念，研究发现减少量化内核比例有助于提高量化LLM的精度，特别是CrossQuant方法在压缩过程中显著降低了量化内核，为OPT和LLaMA模型达到更优的准确性和模型压缩效果。

Oct, 2024

本研究解决了大型语言模型（LLM）量化中有效低位量化的挑战，提出了一种新颖的ASER算法，通过强化量化后的误差重建和激活平滑来改善模型性能。实验结果表明，ASER在保持准确性的同时，能够将典型的LLM量化为低位模型，并在最先进的量化算法中表现出竞争力。

Nov, 2024