我们提出了一种简单的方法来对预训练语言模型进行内存高效的适应。我们的方法使用迭代算法将每个预训练矩阵分解成高精度低秩部分和内存高效的量化部分。在微调过程中，量化部分保持固定，只有低秩部分被更新。我们提出了量化部分的整数线性规划形式，可以在总体存储器预算的情况下动态配置量化参数（例如，位宽，块大小）给每个矩阵。我们进一步探索了数据感知版本的算法，该算法使用 Fisher 信息矩阵的近似来加权矩阵分解过程中的重构目标。在适应 RoBERTa 和 LLaMA-2（7B 和 70B）的实验中，我们的低秩加量化矩阵分解方法（LQ-LoRA）优于 QLoRA 和 GPTQ-LoRA 基准，并且能实现更激进的量化。例如，在 OpenAssistant 基准测试中，LQ-LoRA 能够学习一个 2.5 位的 LLaMA-2 模型，与使用 4 位 QLoRA 微调的模型竞争。在语言建模校准数据集上微调时，LQ-LoRA 还可以用于模型压缩；在这种情况下，我们的 2.75 位 LLaMA-2-70B 模型（考虑了低秩部分的平均位数，并且需要 27GB 的 GPU 内存）与原始模型在全精度上竞争。

Nov, 2023

大规模语言模型的压缩方法如量化和参数修剪在减小模型的内存占用和流量上进行了积极探索，本研究通过对低秩分解方法，特别是 Tucker 分解，在近期语言模型上的研究，包括一个开源的语言模型 Llama 2，详细分析和评估了准确性和效率之间的平衡，结果表明在模型减小 9% 的情况下，最小的准确率下降为 4% 到 10%，此研究表明低秩分解可以成为大规模语言模型应用的有前途的方向。

May, 2024

通过降阶建模和重参数化，本文提出了一种创新的大规模语言模型压缩方法，可在对内存和时间有严格限制的条件下，以逐层方式对十亿级模型进行压缩，与当前流行的结构化修剪方法相比，展现出卓越的效果。

Dec, 2023

通过优化秩和顺序冻结分解层，本文提出的两种技术能够在保持准确度不变的前提下，提高模型的训练和推理速度达到 60% 和 37%。

Sep, 2023

通过低秩分解方法，我们可以削减大型语言模型的冗余组件，压缩模型大小并保持与最先进压缩技术相当的准确性。

May, 2024

CALDERA 是一种新的后训练 LLM 压缩算法，通过近似低秩、低精度分解的权重矩阵近似表达模型，研究了压缩比和模型性能的权衡以及在小于 2.5 比特每参数的情况下相比现有的压缩技术的优越性。

May, 2024

本文介绍了一种新颖的渐进低秩分解（PLRD）方法，特别适用于大型语言模型的压缩。我们的方法利用预训练模型，然后通过逐步降低秩来将其解压缩为更小的尺寸。这种方法减少了计算开销和能源消耗，因为后续模型是基于原始模型而不需要重新训练。我们详细介绍了 PLRD 的实现方式，策略性地降低了张量秩，从而在模型性能和资源使用之间优化了权衡。通过大量实验展示了 PLRD 的有效性，表明使用 PLRD 方法仅使用 1B 标记训练的模型在性能上与传统训练的模型相当，同时只使用了 0.1％的标记。PLRD 的多功能性通过能够从单个基础模型生成多个模型尺寸，以适应不同的计算和内存预算。我们的研究结果表明，PLRD 可能为 LLM 的高效扩展设定了新的标准，从而在各种平台上使先进的人工智能更加可行。

Jun, 2024

近年来，大型语言模型（LLMs）在自然语言处理方面取得了重要进展，但其规模的增大增加了计算负担，需要在效率和性能之间取得平衡。为了解决 LLMs 中低秩压缩的挑战，我们对大模型的低秩特性进行了实证研究，并提出了一种适用于 LLMs 的低秩压缩方法，该方法通过汇总协方差矩阵的特征分布精确估计和贝叶斯优化策略来分配低秩维度。我们在 LLaMA-2 模型上的实验表明，我们的方法在相同的压缩比下比现有的强结构剪枝和低秩压缩技术表现更佳，能够保持模型的性能。

May, 2024

借助 SDQ 的结构稀疏性和量化方法，可以实现高计算和内存效率，并且在性能上只有不到 1% 的质量损失。

Jun, 2024

大型语言模型在许多任务中展现出有希望的性能，然而，高存储和计算成本成为部署大型语言模型的挑战。本文提出了一种新的称为基于低秩码簿的量化方法（LCQ）用于大型语言模型的权重量化，通过采用秩大于一的低秩码簿，LCQ 在基本不增加存储成本的情况下能够取得比现有方法更好的准确性。

May, 2024