提出了联邦式大规模语言模型（LLM）的概念，并讨论了其三个关键组成部分：联邦式 LLM 预训练、联邦式 LLM 微调和联邦式 LLM 提示工程。还探讨了联邦学习和大规模语言模型整合所带来的新挑战，并分析了现有解决方案和潜在障碍。
Jul, 2023
通过联邦学习的方式，利用分布式私有数据进行协作和隐私保护的大型语言模型（LLM）培训，相较于传统的本地培训方式，取得了明显的性能提升。
Feb, 2024
通过硬件为中心的方法，本研究探讨了如何将大型语言模型 (LLMs) 应用于现代边缘计算系统，并使用联邦学习 (FL) 对 FLAN-T5 模型家族进行微调，以进行文本摘要任务。通过与数据中心 GPU 的比较，我们评估了边缘计算系统的当前能力以及它们在 LLM FL 工作负载方面的潜力，并展示了在边缘端实现更大计算效率的潜力与下一步的发展方向。
Oct, 2023
调查了联邦学习大型语言模型的最新进展，重点关注了机器遗忘这一关键方面，以符合数据隐私和被遗忘权等隐私法规；通过探索各种策略，如扰动技术、模型分解和增量学习等，而无需从头重新训练，实现从联邦学习的大型语言模型中安全有效地删除个别数据贡献，强调它们对于维持模型性能和数据隐私的意义；此外，通过案例研究和实验结果，评估这些方法在实际场景中的有效性和效率；调查揭示了在人工智能伦理和分布式机器学习技术交叉领域中发展更强大和可扩展的联邦遗忘方法的日益关注，也为未来研究提供了重要领域。
Jun, 2024
通过联邦学习，在全球范围内构建联邦的语言模型训练系统 (WorldLM)，以解决大规模语言模型训练所面临的法律、安全、隐私等挑战，并通过局部模型本地化、残差层嵌入等方法，提升性能并保护隐私。
May, 2024
FwdLLM 是一种创新的 FL 协议，通过无需执行误差反向传播训练方法的方式，在手机设备上实现了更好的内存效率和时间效率，具有比传统方法更快的收敛速度和更小的内存占用。
Aug, 2023
该论文介绍了一个针对医学实体标注等下游任务的大规模多语言模型的联邦学习系统，它能够跨越高度异质化的数据提供者进行训练，并通过本地训练步骤进一步提高全局模型的性能。
Nov, 2022
通过联邦学习方法，本文提出了第一个高效、有效的联邦法律大型语言模型（FedJudge）框架，用于在保护数据隐私的前提下，实现对法律大型语言模型的本地调优。
Sep, 2023
基于联邦学习与基础模型的潜力和挑战以及核心技术、未来方向和应用的综述。
本文介绍了一种结合了联邦学习和基础模型的隐私保存方法，即联邦基础模型，其中涉及该方法的不同方面和任务，以及与传统基础模型的比较和实验。
May, 2023