FlexLoRA 是一种用于 LLM fine-tuning 的聚合方案，通过动态调整本地 LoRA 等级并使用奇异值分解（SVD）进行权重重新分配，充分利用了异构客户端资源。在涉及超过 1,600 个客户端执行多样化的自然语言处理（NLP）任务的实验中，证实了 FlexLoRA 的有效性，联邦全局模型在下游 NLP 任务性能方面平均提高了 3.1%。FlexLoRA 的实用性进一步强调了其与现有的基于 LoRA 的联邦学习方法的无缝集成和理论分析，提供了一种可扩展的、隐私保护的 LLM 联邦调整路径。

Feb, 2024

基于 LoRA 调优的计算和通信高效的模型异构个性化联邦学习框架（FedLoRA）为每个联邦学习客户端设计了一个同质化小适配器，从而使得客户端可以在不产生高计算和通信成本的情况下训练异构化的本地模型。FedLoRA 在两个真实数据集上的实验表明，它在测试准确性方面比六种最先进的基准方法表现更好，准确性提高了 1.35%，计算开销减少了 11.81 倍，通信成本降低了 7.41 倍。

Oct, 2023

在分布式机器学习技术中，联邦学习（FL）要求客户端在边缘服务器上协同训练共享模型，而不泄露其本地数据。本文引入了一种基于原型的正则化策略来解决数据分布的异质性，并通过实验结果表明，在 MNIST 和 Fashion-MNIST 上与最流行的基准 FedAvg 相比，我们的方法分别取得了 3.3% 和 8.9% 的平均测试准确率提升，而且在异质设置下具有快速收敛速度。

Jul, 2023

该研究提出了一种新的算法，为参与联邦学习训练的客户分配自适应聚合权重，识别出最有利于特定学习目标的数据分布，实验证明通过该算法引导的合作在传统的联邦学习方法上取得了更好的表现，强调了客户选择的重要性。

Feb, 2024

本文提出了一种轻量级框架，使客户端通过融合多个预训练模型生成的表示而不是从头开始训练大规模模型来共同学习；我们设计了一种基于原型的对比学习（FedPCL）方法，以原型为共享信息进行知识传递，从而提高各个客户端利用现有模型的能力并保持通信效率。

Sep, 2022

本文介绍了一种名为 SEFL 的安全高效联邦学习框架，它消除了训练所需的可信实体，提高了模型准确性，又能适应客户端退出等问题。通过 NLP 任务的实验研究表明，SEFL 与现有的 FL 方案具有可比性，且提出的剪枝技术可以提高运行时性能高达 13.7 倍。

Jan, 2022

为了保护隐私并满足法规要求，提出了一种个性化的联邦语音转文本框架，通过引入轻量级的客户端调试和服务器交互模块，以减小通信开销；并通过使用全局模型配备的 k 最近邻分类器来捕捉客户端特定的分布偏移以实现个性化，并克服数据异质性。实验证明，该方法在所有语音转文本任务中显著减少通信开销，并有效地个性化全局模型以克服数据异质性。

Jan, 2024

本文提出了第一个针对不同客户的异构和相关可用性的 FedAvg 类 FL 算法的收敛分析，发现相关性如何不利地影响算法的收敛速率，并且介绍了一种新的算法 CA-Fed，在最大化收敛速度和最小化模型偏差之间寻求平衡，同时忽略了可用性低和相关性大的客户。实验结果表明，CA-Fed 在合成数据集和实际数据集上比 AdaFed 和 F3AST 等现有算法具有更高的时间平均准确性和更低的标准差。

Jan, 2023

该论文提出了一种基于原型的联邦学习框架，通过在典型的联邦学习进程的最后全局迭代中进行少量更改就能够实现更好的推理性能，从而在两个基准数据集上实现了更高的准确性和相对高效的通信。

Mar, 2023

本文详细阐述了联邦学习的体系结构、应用问题、算法设计原则和安全问题，提出了一种更加通用的算法设计框架、攻击场景和防御方法，致力于将联邦学习与真实世界应用相集成并实现高性能、隐私保护和安全性。

Feb, 2023