FedMKT：大型和小型语言模型的联邦互助知识传输

Jun, 2024

FedMKT：大型和小型语言模型的联邦互助知识传输

FedMKT: Federated Mutual Knowledge Transfer for Large and Small Language Models

Tao Fan, Guoqiang Ma, Yan Kang, Hanlin Gu, Lixin Fan...

TL;DRFedMKT 是一个参数高效的联邦互相知识转移框架，旨在同时改进服务器端和客户端的大型和小型语言模型，并通过最小编辑距离实现令牌对齐和选择性的互相知识转移，在各种 NLP 文本生成任务中显著提高客户端的小型语言模型性能，并通过 FedMKT 优化的大型语言模型实现了与基于客户端数据直接微调相当的性能，凸显了 FedMKT 的效果和适应性。

Abstract

Recent research in federated large language models (LLMs) has primarily focused on enabling clients to fine-tune their locally deployed homogeneous LLMs collaboratively or on transferring knowledge from server-based LLMs to small language models (SLMs) at downstream clients. However, a

federated large language models knowledge transfer mutual enhancement token alignment nlp text generation

发现论文，激发创造

大型语言模型上基于联邦领域专用知识迁移的合成数据使用

通过差分隐私，利用大型语言模型在私有领域数据上合成样本，并将其用于改进小型语言模型，通过联邦领域特定知识迁移框架 (FDKT) 在保护客户数据隐私的同时，提高小型语言模型的任务性能，实验结果表明与本地私有数据训练相比，在隐私预算小于 10 的情况下，SLMs 的任务性能平均提升约 5%。

May, 2024

联邦大型语言模型：一篇立场论文

提出了联邦式大规模语言模型（LLM）的概念，并讨论了其三个关键组成部分：联邦式 LLM 预训练、联邦式 LLM 微调和联邦式 LLM 提示工程。还探讨了联邦学习和大规模语言模型整合所带来的新挑战，并分析了现有解决方案和潜在障碍。

Jul, 2023

FedMEKT: 基于蒸馏的多模态联邦学习嵌入式知识传递

通过引入半监督学习方法和知识迁移机制，我们提出了一种新颖的多模态联邦学习框架 FedMEKT，该框架在多个客户端之间协作训练一个广义全局模型，克服了单模态数据和标记数据约束的问题，并且较其他基准方法具有更高的全局编码器性能、保证了用户数据和模型参数的隐私，并且通信成本较低。

Jul, 2023

大型和小型语言模型的相互增强与跨系统知识转移

提出了一种利用小规模语言模型与大规模语言模型相互提升的方法，通过小规模语言模型生成特定任务的高质量数据，从而显著提高客户端的小规模语言模型和云服务器的大规模语言模型的特定任务性能，同时保持大规模语言模型的泛化能力。

Dec, 2023

面向多语言神经机器翻译的适配器通信高效联邦学习

本文提出了一种新的联邦式多语言神经机器翻译框架。相比中心化训练，该框架通过模型同步，只传输轻量化的适配器模块，降低了模型同步的通信代价。作者同时探索了各种聚类策略来减少冲突，并在适配器模块上进行了修剪，成功地提出了通信效率。实验结果表明，该框架在实现相当甚至更好的性能的同时，可以将通信代价降低 98% 以上。

May, 2023

FedBiOT: LLM 局部微调的联邦学习无需完整模型

在联邦学习中，我们提出了一种资源高效的大型语言模型细调方法，通过引入压缩模型和适配器的概念，在减少资源消耗的同时实现与全模型可比的性能水平。

Jun, 2024

FederatedScope-LLM: 用于联邦学习中大型语言模型微调的综合套件

在联邦学习设置中，本文讨论了联邦微调语言模型 (LLMs) 的挑战，并引入了我们的 FS-LLM 软件包作为主要贡献，该软件包提供了全面的联邦参数高效微调算法实现和通用的编程接口，以实现低通信和计算成本的联邦学习场景。同时，本文进行了大量实验证明了 FS-LLM 的有效性，并为研究社区提供了有关联邦微调语言模型的宝贵见解。

Sep, 2023

FedJudge: 联合法律大型语言模型

通过联邦学习方法，本文提出了第一个高效、有效的联邦法律大型语言模型（FedJudge）框架，用于在保护数据隐私的前提下，实现对法律大型语言模型的本地调优。

Sep, 2023

FedEval-LLM：基於集體智慧的對下游任務進行大型語言模型的聯邦評估

提出了一种名为 FedEval-LLM 的大型语言模型联邦评估框架，通过利用参与者提供的个性化语言模型，提供了一种可靠的大型语言模型在下游任务中的性能测量方式，确保了强大的隐私保护能力，解决了传统评估方法和对外部服务的依赖性的限制，是协作训练场景中语言模型评估的一种有前景的框架。

Apr, 2024

FATE-LLM：用于大型语言模型的工业级联邦学习框架

FATE-LLM 是用于大型语言模型的工业级联合学习框架，通过联合学习促进大型语言模型的高效训练、采用参数高效微调方法、保护知识产权、通过隐私保护机制在训练和推理过程中保护数据隐私。

Oct, 2023