FATE-LLM：用于大型语言模型的工业级联邦学习框架

Oct, 2023

FATE-LLM：用于大型语言模型的工业级联邦学习框架

FATE-LLM: A Industrial Grade Federated Learning Framework for Large Language Models

Tao Fan, Yan Kang, Guoqiang Ma, Weijing Chen, Wenbin Wei...

TL;DRFATE-LLM 是用于大型语言模型的工业级联合学习框架，通过联合学习促进大型语言模型的高效训练、采用参数高效微调方法、保护知识产权、通过隐私保护机制在训练和推理过程中保护数据隐私。

Abstract

large language models (LLMs), such as ChatGPT, LLaMA, GLM, and PaLM, have exhibited remarkable performances across various tasks in recent years. However, LLMs face two main challenges in real-world applications. One challenge is that training LLMs consumes vast computing resources, pr

large language models fate-llm federated learning parameter-efficient fine-tuning methods data privacy

发现论文，激发创造

联邦大型语言模型：一篇立场论文

提出了联邦式大规模语言模型（LLM）的概念，并讨论了其三个关键组成部分：联邦式 LLM 预训练、联邦式 LLM 微调和联邦式 LLM 提示工程。还探讨了联邦学习和大规模语言模型整合所带来的新挑战，并分析了现有解决方案和潜在障碍。

Jul, 2023

OpenFedLLM: 基于联邦学习在去中心化私有数据上训练大型语言模型

通过联邦学习的方式，利用分布式私有数据进行协作和隐私保护的大型语言模型（LLM）培训，相较于传统的本地培训方式，取得了明显的性能提升。

Feb, 2024

在最边缘上的 LLM 联邦微调：好，坏，丑陋

通过硬件为中心的方法，本研究探讨了如何将大型语言模型 (LLMs) 应用于现代边缘计算系统，并使用联邦学习 (FL) 对 FLAN-T5 模型家族进行微调，以进行文本摘要任务。通过与数据中心 GPU 的比较，我们评估了边缘计算系统的当前能力以及它们在 LLM FL 工作负载方面的潜力，并展示了在边缘端实现更大计算效率的潜力与下一步的发展方向。

Oct, 2023

FedJudge: 联合法律大型语言模型

通过联邦学习方法，本文提出了第一个高效、有效的联邦法律大型语言模型（FedJudge）框架，用于在保护数据隐私的前提下，实现对法律大型语言模型的本地调优。

Sep, 2023

FederatedScope-LLM: 用于联邦学习中大型语言模型微调的综合套件

在联邦学习设置中，本文讨论了联邦微调语言模型 (LLMs) 的挑战，并引入了我们的 FS-LLM 软件包作为主要贡献，该软件包提供了全面的联邦参数高效微调算法实现和通用的编程接口，以实现低通信和计算成本的联邦学习场景。同时，本文进行了大量实验证明了 FS-LLM 的有效性，并为研究社区提供了有关联邦微调语言模型的宝贵见解。

Sep, 2023

大型语言模型预训练的未来是联邦式的

利用联邦学习的灵活性和适应性，实现大规模的合作，以培训大型语言模型（LLM），并展示联邦训练的有效性与模型规模的关系，以及用有限资源训练十亿级联邦 LLM 的方法。

May, 2024

FedEval-LLM：基於集體智慧的對下游任務進行大型語言模型的聯邦評估

提出了一种名为 FedEval-LLM 的大型语言模型联邦评估框架，通过利用参与者提供的个性化语言模型，提供了一种可靠的大型语言模型在下游任务中的性能测量方式，确保了强大的隐私保护能力，解决了传统评估方法和对外部服务的依赖性的限制，是协作训练场景中语言模型评估的一种有前景的框架。

Apr, 2024

大型语言模型的个性化无线联邦学习

基于大型语言模型的联邦学习方法，在无线网络中解决了隐私和安全保护机制不足的问题，并通过两种个性化无线联邦微调方法实现了低通信开销。

Apr, 2024

跨移动设备进行百亿规模语言模型的联邦微调

FwdLLM 是一种创新的 FL 协议，通过无需执行误差反向传播训练方法的方式，在手机设备上实现了更好的内存效率和时间效率，具有比传统方法更快的收敛速度和更小的内存占用。

Aug, 2023

FedLLM-Bench：面向大型语言模型的联邦学习实验基准

基于 FedLLM-Bench 数据集，我们在多个数据集上进行了实验，对现有的 FL 方法进行了基准测试，在多语言协作等方面提供了实证见解。

Jun, 2024