FwdLLM 是一种创新的 FL 协议，通过无需执行误差反向传播训练方法的方式，在手机设备上实现了更好的内存效率和时间效率，具有比传统方法更快的收敛速度和更小的内存占用。

Aug, 2023

SpaFL 提出了一个通信高效的联邦学习框架，优化了稀疏模型结构来避免大规模通信和计算资源消耗，通过定义可训练的阈值来剪枝连接参数以实现结构化稀疏性，只通过服务器和客户端之间的阈值通信来学习如何剪枝，利用全局阈值提取聚合参数重要性来更新模型参数，并通过推导 SpaFL 的泛化界限，证明了稀疏性与性能之间的关系，实验结果表明 SpaFL 在准确性方面改进的同时相比稀疏基准需要更少的通信和计算资源。

Jun, 2024

FlexLoRA 是一种用于 LLM fine-tuning 的聚合方案，通过动态调整本地 LoRA 等级并使用奇异值分解（SVD）进行权重重新分配，充分利用了异构客户端资源。在涉及超过 1,600 个客户端执行多样化的自然语言处理（NLP）任务的实验中，证实了 FlexLoRA 的有效性，联邦全局模型在下游 NLP 任务性能方面平均提高了 3.1%。FlexLoRA 的实用性进一步强调了其与现有的基于 LoRA 的联邦学习方法的无缝集成和理论分析，提供了一种可扩展的、隐私保护的 LLM 联邦调整路径。

Feb, 2024

使用零阶优化技术以及一组随机种子，FedKSeed 提出了一种新颖的方法来在设备上直接对十亿级别的预训练大型语言模型进行联邦全参数调整，从而显著减少了服务器和客户端之间的传输需求，并通过策略评估 ZOO 扰动的显著性，提升模型准确度，我们的实验证明该方法在通信效率和新任务泛化方面优于已有的联邦预训练大型语言模型调整方法。

Dec, 2023

通过硬件为中心的方法，本研究探讨了如何将大型语言模型 (LLMs) 应用于现代边缘计算系统，并使用联邦学习 (FL) 对 FLAN-T5 模型家族进行微调，以进行文本摘要任务。通过与数据中心 GPU 的比较，我们评估了边缘计算系统的当前能力以及它们在 LLM FL 工作负载方面的潜力，并展示了在边缘端实现更大计算效率的潜力与下一步的发展方向。

Oct, 2023

本文旨在探讨如何在隐私保护的前提下，同时减少通信开销和本地模型适应成本，在联邦学习范式下提高微调预训练语言模型效率和性能，为此我们引入了多种参数节约的微调方法（PETuning），并提供了适用于各种实验条件的实证研究和联邦微调框架 FedPETuning。

Dec, 2022

联邦学习和大型语言模型的交汇为隐私保护自然语言处理开启了新时代，提出了一种将内存高效的零阶优化与联邦设置相结合的方法 FedMeZO，以加快收敛速度和减少 GPU 内存使用。

Feb, 2024

该研究引入了一种名为 FedCyBGD 的新方法，利用 Cycle Block Gradient Descent 来高效地在联邦学习中训练和微调大语言模型，从而减少资源消耗，并取得了最先进的 FL LLM 训练表现。

Jun, 2024

大型语言模型 (Large Language Models) 在指令或人类反馈方面很难进行全面的微调，但参数高效稀疏微调 (sparse fine-tuning) 的方法已经在性能上取得了一定的成果，本文将稀疏微调方法扩展到像 LLaMA 2 7B 和 13B 这样的最先进的 LLMs，实验证明对指令调整进行稀疏微调通常比流行的参数高效微调方法如 LoRA 表现更好，并且在运行时间上可比较。

Jan, 2024

我们研究了大型语言模型的精确稀疏微调问题，通过引入稀疏权重在专门的任务上微调预训练的语言模型。我们提出了一种称为 SquareHead 的基于 L2 范数的蒸馏方法，能够在高稀疏率下实现准确恢复，并展示了稀疏语言模型在 CPU 和 GPU 执行中的速度提升。

Oct, 2023