稀疏低秩的预训练语言模型适应

EMNLPNov, 2023

Sparse Low-rank Adaptation of Pre-trained Language Models

Ning Ding, Xingtai Lv, Qiaosen Wang, Yulin Chen, Bowen Zhou...

TL;DR在对大规模预训练语言模型进行提升调优的过程中，我们通过引入稀疏低秩适应性的创新方法（SoRA），使得适应过程中能够动态地调整内在秩，从而提高 LoRA 的表现能力，同时通过更新稀疏方式高效地控制参数数量。实验结果表明，SoRA 在保留 70% 参数和训练时间的情况下，能够胜过其他基准模型。

Abstract

fine-tuning pre-trained large language models in a parameter-efficient manner is widely studied for its effectiveness and efficiency. The

fine-tuning pre-trained large language models low-rank adaptation sparse low-rank adaptation parameter-efficient

发现论文，激发创造

SiRA：稀疏低秩适应混合

稀疏混合专家 (SiRA) 是一种重要的参数高效调整方法，通过利用稀疏计算和一种新颖的专家放弃技术，SiRA 在不同的单任务和多任务设置中都优于 LoRA 和其他混合专家方法。

Nov, 2023

低秩适应的表达能力

使用低秩适应（LoRA）参数有效的微调方法，通过分析其表达能力和近似误差，证明了 LoRA 方法能够将预训练模型适应到较小目标模型，并适用于全连接神经网络和 Transformer 网络。

Oct, 2023

LoRA: 大型语言模型的低秩适应

本文提出了一种低秩适应方法（Low-Rank Adaptation，简称 LoRA），通过将可训练秩分解矩阵注入变压器结构的每个层中，极大地减少了下游任务中的可训练参数，并且性能与微调相当或更好，同时具有更高的训练吞吐量和没有额外推理延迟，这解决了大规模预训练模型对于微调参数和 GPU 内存占用过高的问题。

Jun, 2021

DyLoRA: 使用动态无搜索低秩适应进行参数高效微调预训练模型

本文提出了一种名为 Dynamic Low-Rank Adaptation 的技术，旨在通过训练预训练模型的适配器模块，为多个秩数建立动态搜索免费的模型，并证明该方法可以显著加快训练速度并在 GLUE 基准测试中取得一致的优秀表现。

Oct, 2022

S-LoRA：为数千个并发的 LoRA 适配器提供服务

通过使用 S-LoRA 系统，可以在单个 GPU 上或多个 GPU 上以较小的开销提高吞吐量并使 LoRA 适配器的数量成倍增加，从而实现可伸缩的运行多个 Fine-tuned 模型的服务。

Nov, 2023

IncreLoRA：增量参数分配方法用于参数高效微调

提出了一种增量参数分配方法 IncreLoRA，通过根据每个模块的重要性得分，在训练期间自适应地添加可训练参数，以应对有限训练条件下参数剪枝的限制，实现更高的参数效率，并在低资源设置下显著优于基准方法。

Aug, 2023

用于细调的 Rank 稳定化缩放因子及其 LoRA 方法

通过修改 Low-Rank Adapters 方法中的缩放因子，我们提出了一种称为 rank-stabilized LoRA (rsLoRA) 的方法，可以在训练期间用更多的计算资源来换取更好的 fine-tuning 性能，并且在推理计算成本不变的情况下实现了 fine-tuning 计算性能的折中。

Nov, 2023

大规模语言模型重整的低秩适应对于参数高效语音识别

提出了一种基于低秩适应（LoRA）的神经语言建模系统，用于语音识别输出的再评分。通过低秩分解的方法，使用仅占预训练参数 0.08% 的插入矩阵进行训练和领域适应，实现了 Rescore-BERT（LoRB）架构，并在 LibriSpeech 和内部数据集上减少了 5.4 至 3.6 倍的训练时间。

Sep, 2023

LoRA-FA: 内存高效的大语言模型低秩适应微调

LoRA-FA 采用低内存量的权重更新方式，用于大型语言模型的微调，具有接近完整参数微调的准确性，降低了内存使用，技术优化了 LoRA。

Aug, 2023

大规模语言模型指令调优的超参数优化

研究采用黑盒优化技术通过 LoRA 方法调优大型语言模型的超参数选择，以提高性能和人工对齐。

Dec, 2023