本文旨在探讨如何在隐私保护的前提下，同时减少通信开销和本地模型适应成本，在联邦学习范式下提高微调预训练语言模型效率和性能，为此我们引入了多种参数节约的微调方法（PETuning），并提供了适用于各种实验条件的实证研究和联邦微调框架 FedPETuning。
Dec, 2022
本文提出了一种任务不可知的生成稀疏掩码的方法，仅使用预训练参数的振幅信息，可以显著提高性能和存储效率，并引入了一种新颖的适配器技术，可以直接应用于预训练参数，与全细调速度相同。
May, 2023
在联邦学习设置中，本文讨论了联邦微调语言模型 (LLMs) 的挑战，并引入了我们的FS-LLM软件包作为主要贡献，该软件包提供了全面的联邦参数高效微调算法实现和通用的编程接口，以实现低通信和计算成本的联邦学习场景。同时，本文进行了大量实验证明了FS-LLM的有效性，并为研究社区提供了有关联邦微调语言模型的宝贵见解。
Sep, 2023
FedPepTAO是一种参数高效的提示调优方法，采用自适应优化来实现高效且有效的大语言模型的联邦学习，通过改进性能和效率的同时解决设备和服务器端的客户漂移问题。
Oct, 2023
使用零阶优化技术以及一组随机种子，FedKSeed提出了一种新颖的方法来在设备上直接对十亿级别的预训练大型语言模型进行联邦全参数调整，从而显著减少了服务器和客户端之间的传输需求，并通过策略评估ZOO扰动的显著性，提升模型准确度，我们的实验证明该方法在通信效率和新任务泛化方面优于已有的联邦预训练大型语言模型调整方法。
Dec, 2023
FlexLoRA是一种用于LLM fine-tuning的聚合方案，通过动态调整本地LoRA等级并使用奇异值分解（SVD）进行权重重新分配，充分利用了异构客户端资源。在涉及超过1,600个客户端执行多样化的自然语言处理（NLP）任务的实验中，证实了FlexLoRA的有效性，联邦全局模型在下游NLP任务性能方面平均提高了3.1%。FlexLoRA的实用性进一步强调了其与现有的基于LoRA的联邦学习方法的无缝集成和理论分析，提供了一种可扩展的、隐私保护的LLM联邦调整路径。
Feb, 2024
通过使用自动联邦化管道（FedPipe），我们设计和实现了一种在最小化训练成本的同时不增加推理延迟的联邦学习方法来对大语言模型进行微调，从而加速模型训练并获得比最先进基准更高的准确性。
Apr, 2024
基于预训练语言模型(PLMs)的联邦学习(federated learning)中，引入参数高效微调(PEFT)方法，通过奇异值分解(SVD)初始化适配器模块的FeDeRA，在多个任务和数据集上实验，与全参数微调(FT)方法相比，FeDeRA表现出色，训练时间显著缩短。
本研究提出了用于大型语言模型的分割学习框架SplitLoRA，综合了联邦学习和分割学习的优势，显著提高了训练效率，并通过广泛的模拟验证表明SplitLoRA比最先进的模型微调框架在更短的时间内实现了目标精度，展示了SplitLoRA的卓越训练性能。
Jul, 2024
本研究解决了在资源受限的联邦学习环境中进行大语言模型微调时的数学错误和异构适配问题。提出了FLORA方法，通过一种新颖的堆叠聚合方法，实现了无噪声的联邦微调，能够有效支持异构低秩适配器。实验证明，FLORA在同质和异质环境中表现优越，超越了现有的最先进方法，具有重要的隐私保护和效率提升潜力。
Sep, 2024