通过联邦学习的方式，利用分布式私有数据进行协作和隐私保护的大型语言模型（LLM）培训，相较于传统的本地培训方式，取得了明显的性能提升。

Feb, 2024

提出了联邦式大规模语言模型（LLM）的概念，并讨论了其三个关键组成部分：联邦式 LLM 预训练、联邦式 LLM 微调和联邦式 LLM 提示工程。还探讨了联邦学习和大规模语言模型整合所带来的新挑战，并分析了现有解决方案和潜在障碍。

Jul, 2023

本文提出了两个新的框架，证明在联合学习的情况下传输模型权重也可能会泄露客户端的本地数据，同时介绍了两种对抗措施和评估其保护效果。

Jun, 2022

本文详细阐述了联邦学习的体系结构、应用问题、算法设计原则和安全问题，提出了一种更加通用的算法设计框架、攻击场景和防御方法，致力于将联邦学习与真实世界应用相集成并实现高性能、隐私保护和安全性。

Feb, 2023

通过模拟结果，本文分析了联邦学习中的隐私和安全问题并提出了保护数据隐私的挑战。

Sep, 2019

调查了联邦学习大型语言模型的最新进展，重点关注了机器遗忘这一关键方面，以符合数据隐私和被遗忘权等隐私法规；通过探索各种策略，如扰动技术、模型分解和增量学习等，而无需从头重新训练，实现从联邦学习的大型语言模型中安全有效地删除个别数据贡献，强调它们对于维持模型性能和数据隐私的意义；此外，通过案例研究和实验结果，评估这些方法在实际场景中的有效性和效率；调查揭示了在人工智能伦理和分布式机器学习技术交叉领域中发展更强大和可扩展的联邦遗忘方法的日益关注，也为未来研究提供了重要领域。

Jun, 2024

在机器学习系统中，通过联邦学习作为一个安全的分布式机器学习方法，有效提升隐私安全；它利用区块链技术将机器学习模型转移到边缘服务器，通过这种机制保证了集中式和分散式系统的高效处理和数据存储需求，强调可伸缩性、隐私考虑和成本有效的通信。本文对最近的联邦学习应用进行了分析和比较，以评估其效率、准确性和隐私保护。然而，鉴于联邦学习复杂且不断演化的特点，明确需要进一步研究来解决知识间的差距并有效应对该领域面临的挑战。在本文中，我们将最近的文献分为以下几个类别：隐私保护、资源分配、案例研究分析和应用，此外，在每个章节的末尾，我们还对参考文献中提出的开放领域和未来方向进行了总结，为研究人员提供了领域演进的深入视角。

Oct, 2023

通过对 $2$ 个生物医学自然语言处理任务使用 $6$ 个语言模型评估联邦学习在医学领域的应用，结果显示：1）联邦学习模型在总体表现上优于单个客户数据训练的语言模型，有时甚至与整合数据训练的模型持平；2）当数据总量固定时，使用更多客户训练的语言模型表现较差，但基于预训练模型的转换器表现更加强劲；3）联邦学习训练的语言模型在客户数据独立同分布的情况下与整合数据训练的模型表现接近，但在非独立同分布数据下有明显差距。

Jul, 2023

分布式学习中的联邦学习存在安全和隐私挑战，本研究针对各类机器学习模型，包括大型语言模型，提出了安全和隐私挑战的综合分类，重点关注聚合器和参与者的攻击，包括投毒攻击、后门攻击、成员推断攻击、生成对抗网络攻击和差分隐私攻击，同时提出了未来研究的新方向，旨在强化联邦学习系统以应对新兴安全风险并保护分布式学习环境中的敏感数据隐私。

Jul, 2023

图形联邦学习在多种场景中都有广泛的应用，需要更多的数据隐私保护。这篇研究论文提出了一种基于去中心化框架以及节点间数据相似性的图形联邦学习方法，通过线性加权聚合节点的梯度信息，实验证明该方法的有效性优于其他方法。

Jul, 2023