联邦基础模型：大型模型的隐私保护和协同学习
本文提出了一种基于联邦学习的机器学习分布式范例，可以在保护隐私的前提下进行多方联合重新训练共享模型，并通过用户级领域自适应来提高模型精度，实验结果表明在为FL模型强制实施差分隐私界限时，该技术可以更大程度地提升模型的准确性。
Dec, 2019
介绍了一种用于联合学习的隐私保护方法—— FreD，该方法使用分布式的差分隐私均值和协方差估计器计算大型语言模型在中央（公共）数据集和联合私人客户数据上生成嵌入的 Fréchet 距离，以可靠和私密的方式评估 Prefinetuning 数据集的质量。使用 FreD，通过以下步骤，演示了一种新的私人 FL 训练方法的概念证明：（1）定制 Prefinetuning 数据集以更好地匹配用户数据（2）Prefinetuning（3）执行 FL-finetuning。
Feb, 2023
本文详细阐述了联邦学习的体系结构、应用问题、算法设计原则和安全问题，提出了一种更加通用的算法设计框架、攻击场景和防御方法，致力于将联邦学习与真实世界应用相集成并实现高性能、隐私保护和安全性。
Feb, 2023
本文探讨了基础模型和联邦学习之间的相互作用，旨在深化其协同作用的理解并挖掘这两个领域的潜力，鼓励未来的研究方向，以进一步提高隐私保护和可伸缩性的人工智能系统的发展。
Jun, 2023
提出了联邦式大规模语言模型（LLM）的概念，并讨论了其三个关键组成部分：联邦式LLM预训练、联邦式LLM微调和联邦式LLM提示工程。还探讨了联邦学习和大规模语言模型整合所带来的新挑战，并分析了现有解决方案和潜在障碍。
Jul, 2023
通过从新的角度，即什么在联邦学习中共享，以模型效用、隐私泄露和通信效率为重点，系统调查了联邦学习方法的新分类、隐私攻击的脆弱性以及不同共享方法的性能与隐私保护的效力，并讨论了当前方法存在的潜在缺陷和未来改进的方向。
Jul, 2023
Federated Learning (FL)的研究论文主要讨论了在隐私保护的协作训练中应用小型深度学习模型的新方法以及在FL应用中操作基于transformer模型的必要性，介绍了一种专注于FL应用中计算和通信效率方法的新的分类法，并探讨了当前广泛使用的FL框架的现状以及基于现有FL研究方法的未来研究潜力。
Jan, 2024
通过联邦学习的方式，利用分布式私有数据进行协作和隐私保护的大型语言模型（LLM）培训，相较于传统的本地培训方式，取得了明显的性能提升。
Feb, 2024
我们的研究对联邦学习在训练大规模语言模型时的隐私分析进行了广泛的研究，从理论和实践角度设计了两种具有理论成功率的主动成员推断攻击，揭示了包括BERT、RoBERTa、DistilBERT和OpenAI的GPT在多个真实世界的语言数据集中存在的重大隐私漏洞，并评估了这些模型在采用最先进的差分隐私机制保护数据时的隐私泄漏情况。
Mar, 2024