在联邦学习的背景下，我们引入一种方法来保护数据和模型的隐私，只需在训练过程中分发模型参数的量化版本。该方法结合了量化策略和 LoRA，显著降低了联邦学习中的通信成本，并且确保了数据和模型的隐私保护，同时提高了中央模型的泛化能力和资源利用效率。

Jun, 2024

在隐私保护联邦学习中，本文提出了一种高效且有效的低秩适应方法 FFA-LoRA，通过固定非零矩阵并仅微调零矩阵，缓解了数据异构性、差分隐私增强噪声放大以及超参数敏感性等挑战，同时将通信成本减半，并在各种联邦学习任务中展现了更一致的性能和更好的计算效率。

Mar, 2024

该研究评估了差分隐私对于联邦学习系统中使用大规模本地化 Transformer 模型进行精调的实用性，发现全精调普遍会导致性能严重下降，但通过参数高效的精调方法能够缓解这一问题，而 DP-DyLoRA 方法在现有的 DP-PEFT 方法中表现出色。

May, 2024

FlexLoRA 是一种用于 LLM fine-tuning 的聚合方案，通过动态调整本地 LoRA 等级并使用奇异值分解（SVD）进行权重重新分配，充分利用了异构客户端资源。在涉及超过 1,600 个客户端执行多样化的自然语言处理（NLP）任务的实验中，证实了 FlexLoRA 的有效性，联邦全局模型在下游 NLP 任务性能方面平均提高了 3.1%。FlexLoRA 的实用性进一步强调了其与现有的基于 LoRA 的联邦学习方法的无缝集成和理论分析，提供了一种可扩展的、隐私保护的 LLM 联邦调整路径。

Feb, 2024

我们的研究对联邦学习在训练大规模语言模型时的隐私分析进行了广泛的研究，从理论和实践角度设计了两种具有理论成功率的主动成员推断攻击，揭示了包括 BERT、RoBERTa、DistilBERT 和 OpenAI 的 GPT 在多个真实世界的语言数据集中存在的重大隐私漏洞，并评估了这些模型在采用最先进的差分隐私机制保护数据时的隐私泄漏情况。

Mar, 2024

基于大型语言模型的联邦学习方法，在无线网络中解决了隐私和安全保护机制不足的问题，并通过两种个性化无线联邦微调方法实现了低通信开销。

Apr, 2024

本文研究基于联邦学习的隐私保护问题，提出了一种局部差分隐私机制，以解决当前机制存在的噪声数据接近原始值、估计平均数的方差过大和深度学习模型权重维数高导致隐私预算过大的问题。实验结果表明，该机制不仅具有优异的深度学习性能，而且能够提供强大的隐私保证。

Jul, 2020

基于 LoRA 调优的计算和通信高效的模型异构个性化联邦学习框架（FedLoRA）为每个联邦学习客户端设计了一个同质化小适配器，从而使得客户端可以在不产生高计算和通信成本的情况下训练异构化的本地模型。FedLoRA 在两个真实数据集上的实验表明，它在测试准确性方面比六种最先进的基准方法表现更好，准确性提高了 1.35%，计算开销减少了 11.81 倍，通信成本降低了 7.41 倍。

Oct, 2023

我们提出了一种用于大型语言模型的联邦学习框架 FL-GLM，通过在本地客户端放置输入块和输出块以防止来自服务器的嵌入梯度攻击，使用密钥加密来防止来自对端客户端的逆向工程攻击，并采用客户端批处理或服务器分层等优化方法来提高训练效率。通过在 NLU 和生成任务上的实验结果，证明了 FL-GLM 与集中式 chatGLM 模型具有可比较的指标，验证了我们的联邦学习框架的有效性。

Jun, 2024

提出了联邦式大规模语言模型（LLM）的概念，并讨论了其三个关键组成部分：联邦式 LLM 预训练、联邦式 LLM 微调和联邦式 LLM 提示工程。还探讨了联邦学习和大规模语言模型整合所带来的新挑战，并分析了现有解决方案和潜在障碍。

Jul, 2023