跨移动设备进行百亿规模语言模型的联邦微调

Aug, 2023

跨移动设备进行百亿规模语言模型的联邦微调

Federated Fine-tuning of Billion-Sized Language Models across Mobile Devices

Mengwei Xu, Yaozong Wu, Dongqi Cai, Xiang Li, Shangguang Wang

TL;DRFwdLLM 是一种创新的 FL 协议，通过无需执行误差反向传播训练方法的方式，在手机设备上实现了更好的内存效率和时间效率，具有比传统方法更快的收敛速度和更小的内存占用。

Abstract

large language models (LLMs) are transforming the landscape of mobile intelligence. federated learning (FL), a method to preserve user data privacy, is often employed in fine-tuning LLMs to downstream mobile task

large language models federated learning fedllm fwdllm mobile devices

发现论文，激发创造

在最边缘上的 LLM 联邦微调：好，坏，丑陋

通过硬件为中心的方法，本研究探讨了如何将大型语言模型 (LLMs) 应用于现代边缘计算系统，并使用联邦学习 (FL) 对 FLAN-T5 模型家族进行微调，以进行文本摘要任务。通过与数据中心 GPU 的比较，我们评估了边缘计算系统的当前能力以及它们在 LLM FL 工作负载方面的潜力，并展示了在边缘端实现更大计算效率的潜力与下一步的发展方向。

Oct, 2023

联邦大型语言模型：一篇立场论文

提出了联邦式大规模语言模型（LLM）的概念，并讨论了其三个关键组成部分：联邦式 LLM 预训练、联邦式 LLM 微调和联邦式 LLM 提示工程。还探讨了联邦学习和大规模语言模型整合所带来的新挑战，并分析了现有解决方案和潜在障碍。

Jul, 2023

大型语言模型的个性化无线联邦学习

基于大型语言模型的联邦学习方法，在无线网络中解决了隐私和安全保护机制不足的问题，并通过两种个性化无线联邦微调方法实现了低通信开销。

Apr, 2024

FederatedScope-LLM: 用于联邦学习中大型语言模型微调的综合套件

在联邦学习设置中，本文讨论了联邦微调语言模型 (LLMs) 的挑战，并引入了我们的 FS-LLM 软件包作为主要贡献，该软件包提供了全面的联邦参数高效微调算法实现和通用的编程接口，以实现低通信和计算成本的联邦学习场景。同时，本文进行了大量实验证明了 FS-LLM 的有效性，并为研究社区提供了有关联邦微调语言模型的宝贵见解。

Sep, 2023

大型语言模型预训练的未来是联邦式的

利用联邦学习的灵活性和适应性，实现大规模的合作，以培训大型语言模型（LLM），并展示联邦训练的有效性与模型规模的关系，以及用有限资源训练十亿级联邦 LLM 的方法。

May, 2024

OpenFedLLM: 基于联邦学习在去中心化私有数据上训练大型语言模型

通过联邦学习的方式，利用分布式私有数据进行协作和隐私保护的大型语言模型（LLM）培训，相较于传统的本地培训方式，取得了明显的性能提升。

Feb, 2024

FedBiOT: LLM 局部微调的联邦学习无需完整模型

在联邦学习中，我们提出了一种资源高效的大型语言模型细调方法，通过引入压缩模型和适配器的概念，在减少资源消耗的同时实现与全模型可比的性能水平。

Jun, 2024

以通信成本不超过 18 千字节的方式对数十亿级语言模型进行联邦全参数调整

使用零阶优化技术以及一组随机种子，FedKSeed 提出了一种新颖的方法来在设备上直接对十亿级别的预训练大型语言模型进行联邦全参数调整，从而显著减少了服务器和客户端之间的传输需求，并通过策略评估 ZOO 扰动的显著性，提升模型准确度，我们的实验证明该方法在通信效率和新任务泛化方面优于已有的联邦预训练大型语言模型调整方法。

Dec, 2023

FedJudge: 联合法律大型语言模型

通过联邦学习方法，本文提出了第一个高效、有效的联邦法律大型语言模型（FedJudge）框架，用于在保护数据隐私的前提下，实现对法律大型语言模型的本地调优。

Sep, 2023

FedEval-LLM：基於集體智慧的對下游任務進行大型語言模型的聯邦評估

提出了一种名为 FedEval-LLM 的大型语言模型联邦评估框架，通过利用参与者提供的个性化语言模型，提供了一种可靠的大型语言模型在下游任务中的性能测量方式，确保了强大的隐私保护能力，解决了传统评估方法和对外部服务的依赖性的限制，是协作训练场景中语言模型评估的一种有前景的框架。

Apr, 2024