LoRA-FA采用低内存量的权重更新方式，用于大型语言模型的微调，具有接近完整参数微调的准确性，降低了内存使用，技术优化了LoRA。

Aug, 2023

我们提出了一种量化感知的低秩自适应算法（QA-LoRA），通过使用分组运算符，增加量化的自由度，减少自适应的自由度，将大型语言模型（LLMs）权重量化以减少时间和内存使用，并将LLM和辅助权重自然地集成到一个量化模型中，而不损失准确性。我们应用QA-LoRA算法于LLaMA和LLaMA2模型系列，并在不同的微调数据集和下游场景中验证了其有效性。

Sep, 2023

提出了一种名为QFT的新型量化全参数调优框架，可以实现内存高效调优而不损害性能。该框架采用高效的Lion优化器和整数值量化的模型状态存储方法，并提供了梯度流和参数更新方案。结果表明，QFT将模型状态内存减少到标准解决方案的21%，同时达到可比较的性能，例如，调优LLaMA-7B模型仅需30GB内存，一张A6000 GPU即可满足。

Oct, 2023

我们提出了LoftQ，这是一个新的量化框架，旨在同时量化LLM并为LoRA fine-tuning找到适当的低秩初始化，以改善量化和全精度模型之间的差异，并显著提高下游任务的泛化性能。

Oct, 2023

我们提出了一种简单的方法来对预训练语言模型进行内存高效的适应。我们的方法使用迭代算法将每个预训练矩阵分解成高精度低秩部分和内存高效的量化部分。在微调过程中，量化部分保持固定，只有低秩部分被更新。我们提出了量化部分的整数线性规划形式，可以在总体存储器预算的情况下动态配置量化参数（例如，位宽，块大小）给每个矩阵。我们进一步探索了数据感知版本的算法，该算法使用Fisher信息矩阵的近似来加权矩阵分解过程中的重构目标。在适应RoBERTa和LLaMA-2（7B和70B）的实验中，我们的低秩加量化矩阵分解方法（LQ-LoRA）优于QLoRA和GPTQ-LoRA基准，并且能实现更激进的量化。例如，在OpenAssistant基准测试中，LQ-LoRA能够学习一个2.5位的LLaMA-2模型，与使用4位QLoRA微调的模型竞争。在语言建模校准数据集上微调时，LQ-LoRA还可以用于模型压缩；在这种情况下，我们的2.75位LLaMA-2-70B模型（考虑了低秩部分的平均位数，并且需要27GB的GPU内存）与原始模型在全精度上竞争。

Nov, 2023

通过使用量化、分离网络和低秩适配器等方法，Quantized Side Tuning (QST)能够实现大型语言模型（LLMs）的内存高效、快速的微调，并在减少内存占用的同时达到与最先进方法相媲美的性能，可将总内存占用减少最多7倍。

Jan, 2024

本研究提出了一种通过低秩近似和量化相结合的方法，使用激活引起的比例矩阵将量化误差的奇异值分布调整到理想值，实现了在各种大型语言模型和相关任务上几乎无失真的W4A8量化，而无需知识蒸馏、网格搜索或基于梯度的迭代优化，并且与现有方法相比，计算模式中的LQER消除了从不规则内存位置收集高精度权重所需的专用Scatter和Gather过程，从而在六个热门任务上实现了接近无失真性能，同时使用的硬件资源比领先的最先进方法少1.36倍。

Feb, 2024

通过引入一种名为ApiQ的新型量化框架，本文解决了在大型语言模型中进行内存高效微调时，量化过程对预训练模型的知识损失以及错误传播所造成的问题，从而实现了在各种量化位宽下始终取得卓越的微调结果。

Feb, 2024

对大型语言模型的量化技术进行研究，发现4位量化的语言模型可以在大部分基准测试中保持与非量化模型相当的性能，并且困惑度可以作为量化语言模型的代理度量。然而，量化也会影响推断速度，因此在优化解码速度和内存消耗方面需要进行大量工程努力和硬件支持。

Feb, 2024

本研究解决了在复杂下游任务中，单一尺度更新参数可能不是最佳选择的问题。通过扩展低秩适应方法（LoRA）到多尺度，提出了LoRA$^2$，并结合正交投影理论和改进的重要性评分算法，显著减少了训练参数数量，提升了适应性和性能。研究结果表明，LoRA$^2$在微调中仅需0.72%的参数，仍能实现与基线相当的性能，展现了其高效性和潜在影响。

Aug, 2024