隐私保护联邦学习中 LoRA 的改进

ICLRMar, 2024

Improving LoRA in Privacy-preserving Federated Learning

Youbang Sun, Zitao Li, Yaliang Li, Bolin Ding

TL;DR在隐私保护联邦学习中，本文提出了一种高效且有效的低秩适应方法 FFA-LoRA，通过固定非零矩阵并仅微调零矩阵，缓解了数据异构性、差分隐私增强噪声放大以及超参数敏感性等挑战，同时将通信成本减半，并在各种联邦学习任务中展现了更一致的性能和更好的计算效率。

Abstract

low-rank adaptation (LoRA) is one of the most popular task-specific parameter-efficient fine-tuning (PEFT) methods on pre-trained language models for its good performance and computational efficiency. LoRA injects a product of two trainable rank decomposition matrices over the top of e

low-rank adaptation task-specific parameter-efficient fine-tuning privacy-preserving federated learning differential privacy federated freeze a lora

发现论文，激发创造

差分隐私低秩适应大型语言模型的联邦学习

通过使用 DP-LoRA，这篇文章介绍了一种针对大型语言模型的新的联邦学习算法，旨在确保数据隐私并优化通信效率，以实现严格的隐私约束条件。

Dec, 2023

基于批处理低秩方法的基础模型适应

通过引入名为 Fast LoRA（FLoRA）的框架，我们可以有效地对多样化和全球用户群体的实时请求进行批处理，通过将每个输入示例与其独特的低秩适应权重关联起来，实现个性化的任务特定适应，从而缓解了 Low-Rank Adaptation (LoRA) 在处理多个任务特定适配器时的性能瓶颈。我们在包括 8 种语言的 MultiPL-E 代码生成基准和 6 种语言的多语种语音识别任务上，通过实证展示了 FLoRA 保持 LoRA 性能优点的竞争结果。

Dec, 2023

PeriodicLoRA: 打破 LoRA 优化中的低秩瓶颈

本研究探讨了一种改进的 LoRA 优化方法，称为 PeriodicLoRA（PLoRA），通过多次积累低秩更新矩阵来提高更新秩，并引入一种基于动量的卸载策略以减轻训练不稳定性。实验结果表明，PLoRA 具有更强的学习能力，最高可达到 LoRA 学习能力的 1.8 倍，但不增加内存使用。

Feb, 2024

面向异构通信的联邦低秩自适应

通过提出一种新的基于复制的填充策略来解决传统的联邦低秩适应方法中的稳定性问题，以实现在联邦细调过程中更好地利用高质量数据集，加速收敛速度并提高全局模型的预测质量。

Jun, 2024

FLoCoRA：具有低秩适应性的联邦学习压缩

在此研究中，我们展示了 Low-Rank Adaptation 方法在从头开始训练小尺寸视觉模型的联邦学习中的应用，通过提出一种聚合不可知方法 FLoCoRA，我们证明该方法能够减少通信成本 4.8 倍，并且对于具有 ResNet-8 模型的 CIFAR-10 分类任务的准确度损失小于 1%。同时，我们还展示了通过引入仿射量化方案扩展该方法，将通信成本缩减 18.6 倍，与标准方法相比，对于 ResNet-18 模型的测试仍然保持不到 1% 的准确度损失。我们的研究在消息大小减小方面提供了一个强有力的基准，甚至与传统的模型压缩方法相比，同时还减少了由于低秩适应所需的训练内存。

Jun, 2024

LoRA-FA: 内存高效的大语言模型低秩适应微调

LoRA-FA 采用低内存量的权重更新方式，用于大型语言模型的微调，具有接近完整参数微调的准确性，降低了内存使用，技术优化了 LoRA。

Aug, 2023

带有稀疏通信的联合 LoRA

在联邦学习中，通过应用稀疏性来提高 Low-rank adaptation (LoRA) 的通信效率，而不影响其性能，并且相对于现有方法具有更好的异质性和隐私保护。

Jun, 2024

IncreLoRA：增量参数分配方法用于参数高效微调

提出了一种增量参数分配方法 IncreLoRA，通过根据每个模块的重要性得分，在训练期间自适应地添加可训练参数，以应对有限训练条件下参数剪枝的限制，实现更高的参数效率，并在低资源设置下显著优于基准方法。

Aug, 2023

SA-FedLora: 针对 LoRA 调节的高效联邦学习自适应参数分配

通过减少可训练参数，我们提出了一种基于模拟退火的联邦学习与低秩适应（SA-FedLoRA）方法，旨在在大规模预训练模型的微调中实现更高的收敛性和通信效率。实验结果表明，SA-FedLoRA 在联邦学习中是一种高效的方法，相比 FedAvg，可以达到更好的性能，通信参数减少高达 93.62％。

May, 2024

贝叶斯 - LoRA：使用最佳量化水平和等级值通过可微分贝叶斯门进行参数高效微调的基于 LoRA 的方法

在这项研究中，我们提出了一种基于贝叶斯角度的矩阵分解和量化方法，名为 B-LoRA，通过对学习到的低秩矩阵的量化级别和秩值引入先验分布，使其能够在特定任务上对预训练模型进行精细调节，找到每个低秩矩阵的最佳秩值和量化级别。通过在 GLUE 基准上对预训练的 DeBERTaV3 模型进行验证，并将其与相关基准进行比较，我们展示了该方法如何学习到最优秩的量化矩阵，相比基线方法，B-LoRA 在性能上与基线相当或更好，并且减少了大约 70% 的总比特操作量。

Jun, 2024