本研究通过探索在语言任务中不同联邦学习设置中应用参数高效微调（PEFT）方法的机会和挑战，提出了一种名为SLoRA的方法，通过一种新颖的数据驱动初始化技术来克服在高异构数据环境中LoRA的关键限制，实现与全面微调可比的性能，并以大约1%的密度实现显著稀疏更新，同时将训练时间减少高达90%。

Aug, 2023

在联邦学习设置中，本文讨论了联邦微调语言模型 (LLMs) 的挑战，并引入了我们的FS-LLM软件包作为主要贡献，该软件包提供了全面的联邦参数高效微调算法实现和通用的编程接口，以实现低通信和计算成本的联邦学习场景。同时，本文进行了大量实验证明了FS-LLM的有效性，并为研究社区提供了有关联邦微调语言模型的宝贵见解。

Sep, 2023

使用零阶优化技术以及一组随机种子，FedKSeed提出了一种新颖的方法来在设备上直接对十亿级别的预训练大型语言模型进行联邦全参数调整，从而显著减少了服务器和客户端之间的传输需求，并通过策略评估ZOO扰动的显著性，提升模型准确度，我们的实验证明该方法在通信效率和新任务泛化方面优于已有的联邦预训练大型语言模型调整方法。

Dec, 2023

通过使用DP-LoRA，这篇文章介绍了一种针对大型语言模型的新的联邦学习算法，旨在确保数据隐私并优化通信效率，以实现严格的隐私约束条件。

Dec, 2023

FlexLoRA是一种用于LLM fine-tuning的聚合方案，通过动态调整本地LoRA等级并使用奇异值分解（SVD）进行权重重新分配，充分利用了异构客户端资源。在涉及超过1,600个客户端执行多样化的自然语言处理（NLP）任务的实验中，证实了FlexLoRA的有效性，联邦全局模型在下游NLP任务性能方面平均提高了3.1%。FlexLoRA的实用性进一步强调了其与现有的基于LoRA的联邦学习方法的无缝集成和理论分析，提供了一种可扩展的、隐私保护的LLM联邦调整路径。

Feb, 2024

通过使用自动联邦化管道（FedPipe），我们设计和实现了一种在最小化训练成本的同时不增加推理延迟的联邦学习方法来对大语言模型进行微调，从而加速模型训练并获得比最先进基准更高的准确性。

Apr, 2024

该论文提出了一种融合Federated Learning和parameter-efficient adapters (LoRA)的方法，以训练视觉语言模型(VLMs)，该方法通过在分散的数据源上训练模型来保护数据隐私，并通过LoRA的参数高效微调来确保模型的适应性和效率。该方法加快了训练速度，比全面微调节省了2.47倍的内存使用。

Apr, 2024

基于预训练语言模型(PLMs)的联邦学习(federated learning)中，引入参数高效微调(PEFT)方法，通过奇异值分解(SVD)初始化适配器模块的FeDeRA，在多个任务和数据集上实验，与全参数微调(FT)方法相比，FeDeRA表现出色，训练时间显著缩短。

Apr, 2024

通过一系列实验，我们发现了两个关键的见解，揭示了LoRA的训练和参数效率问题，基于这些见解，我们开发了HydraLoRA，这是一个具有不对称结构的LoRA框架，消除了对领域专业知识的需求，我们的实验表明，HydraLoRA优于其他PEFT方法，即使在训练和推断阶段依赖领域知识的情况下。

Apr, 2024

在联邦学习中，我们提出了一种资源高效的大型语言模型细调方法，通过引入压缩模型和适配器的概念，在减少资源消耗的同时实现与全模型可比的性能水平。

Jun, 2024