基于 LoRA 调优的计算和通信高效的模型异构个性化联邦学习框架（FedLoRA）为每个联邦学习客户端设计了一个同质化小适配器，从而使得客户端可以在不产生高计算和通信成本的情况下训练异构化的本地模型。FedLoRA 在两个真实数据集上的实验表明，它在测试准确性方面比六种最先进的基准方法表现更好，准确性提高了 1.35%，计算开销减少了 11.81 倍，通信成本降低了 7.41 倍。

Oct, 2023

通过引入部分旋转增强的低秩适应机制 (PR0LoRA)，本文在大型语言模型 (Large Language Models) 领域提出了一种参数效率更高、适用范围更广的新方法，实验证明 PRoLoRA 在特定参数预算和性能目标场景下具有明显更高的参数效率，并且扩展性更强。希望 PRoLoRA 能作为一种资源友好的替代方法来使用，优于 LoRA 方法。

Feb, 2024

通过使用 DP-LoRA，这篇文章介绍了一种针对大型语言模型的新的联邦学习算法，旨在确保数据隐私并优化通信效率，以实现严格的隐私约束条件。

Dec, 2023

提出了一种个性化的 LoRA（PLoRA）方法，采用插拔框架，通过个性化的适应、自适应的 dropout 和最大化互信息的策略，解决了个性化应用中用户标记数量多、语义模糊等问题，从而更好地适应于冷启动情况，并在人文化文本理解任务的全面 / 少量 / 零样本学习场景中超越了现有方法。

Mar, 2024

在隐私保护联邦学习中，本文提出了一种高效且有效的低秩适应方法 FFA-LoRA，通过固定非零矩阵并仅微调零矩阵，缓解了数据异构性、差分隐私增强噪声放大以及超参数敏感性等挑战，同时将通信成本减半，并在各种联邦学习任务中展现了更一致的性能和更好的计算效率。

Mar, 2024

提出了 MultiLoRA，通过减少 LoRA 中观察到的顶层奇异向量的主导性，通过水平扩展 LoRA 模块和改变适应矩阵的参数初始化来减少参数依赖性，从而产生更平衡的单元子空间，从而实现更好的多任务适应性。MultiLoRA 在多个基准和模型规模上优于单个 LoRA 对应项和微调，仅需额外 2.5％的参数。对 MultiLoRA 的权重更新矩阵进行进一步研究表明，其对顶层奇异向量的依赖性减小，单元变换贡献更加均衡。

Nov, 2023

在联邦学习中，通过应用稀疏性来提高 Low-rank adaptation (LoRA) 的通信效率，而不影响其性能，并且相对于现有方法具有更好的异质性和隐私保护。

Jun, 2024

本研究通过探索在语言任务中不同联邦学习设置中应用参数高效微调（PEFT）方法的机会和挑战，提出了一种名为 SLoRA 的方法，通过一种新颖的数据驱动初始化技术来克服在高异构数据环境中 LoRA 的关键限制，实现与全面微调可比的性能，并以大约 1% 的密度实现显著稀疏更新，同时将训练时间减少高达 90%。

Aug, 2023

通过提出一种新的基于复制的填充策略来解决传统的联邦低秩适应方法中的稳定性问题，以实现在联邦细调过程中更好地利用高质量数据集，加速收敛速度并提高全局模型的预测质量。

Jun, 2024

在联邦学习的背景下，我们引入一种方法来保护数据和模型的隐私，只需在训练过程中分发模型参数的量化版本。该方法结合了量化策略和 LoRA，显著降低了联邦学习中的通信成本，并且确保了数据和模型的隐私保护，同时提高了中央模型的泛化能力和资源利用效率。

Jun, 2024