Jul, 2023

联邦大型语言模型：一篇立场论文

PDF
TL;DR提出了联邦式大规模语言模型（LLM）的概念，并讨论了其三个关键组成部分：联邦式 LLM 预训练、联邦式 LLM 微调和联邦式 LLM 提示工程。还探讨了联邦学习和大规模语言模型整合所带来的新挑战，并分析了现有解决方案和潜在障碍。
large scale language modelsfederated learningdata privacypre-trainingfine-tuning
发现论文，激发创造
  • 大型语言模型预训练的未来是联邦式的

    利用联邦学习的灵活性和适应性，实现大规模的合作，以培训大型语言模型（LLM），并展示联邦训练的有效性与模型规模的关系，以及用有限资源训练十亿级联邦 LLM 的方法。

    May, 2024

  • OpenFedLLM: 基于联邦学习在去中心化私有数据上训练大型语言模型

    通过联邦学习的方式，利用分布式私有数据进行协作和隐私保护的大型语言模型（LLM）培训，相较于传统的本地培训方式，取得了明显的性能提升。

    Feb, 2024

  • FedJudge: 联合法律大型语言模型

    通过联邦学习方法，本文提出了第一个高效、有效的联邦法律大型语言模型（FedJudge）框架，用于在保护数据隐私的前提下，实现对法律大型语言模型的本地调优。

    Sep, 2023

  • 在最边缘上的 LLM 联邦微调：好，坏，丑陋

    通过硬件为中心的方法，本研究探讨了如何将大型语言模型 (LLMs) 应用于现代边缘计算系统，并使用联邦学习 (FL) 对 FLAN-T5 模型家族进行微调，以进行文本摘要任务。通过与数据中心 GPU 的比较，我们评估了边缘计算系统的当前能力以及它们在 LLM FL 工作负载方面的潜力，并展示了在边缘端实现更大计算效率的潜力与下一步的发展方向。

    Oct, 2023

  • FederatedScope-LLM: 用于联邦学习中大型语言模型微调的综合套件

    在联邦学习设置中，本文讨论了联邦微调语言模型 (LLMs) 的挑战，并引入了我们的 FS-LLM 软件包作为主要贡献，该软件包提供了全面的联邦参数高效微调算法实现和通用的编程接口，以实现低通信和计算成本的联邦学习场景。同时，本文进行了大量实验证明了 FS-LLM 的有效性，并为研究社区提供了有关联邦微调语言模型的宝贵见解。

    Sep, 2023

  • 驱动群体智能的联邦学习大语言模型：调查报告

    调查了联邦学习大型语言模型的最新进展，重点关注了机器遗忘这一关键方面，以符合数据隐私和被遗忘权等隐私法规；通过探索各种策略，如扰动技术、模型分解和增量学习等，而无需从头重新训练，实现从联邦学习的大型语言模型中安全有效地删除个别数据贡献，强调它们对于维持模型性能和数据隐私的意义；此外，通过案例研究和实验结果，评估这些方法在实际场景中的有效性和效率；调查揭示了在人工智能伦理和分布式机器学习技术交叉领域中发展更强大和可扩展的联邦遗忘方法的日益关注，也为未来研究提供了重要领域。

    Jun, 2024

  • 安全地使用私有数据：大规模语言模型的联邦学习框架

    我们提出了一种用于大型语言模型的联邦学习框架 FL-GLM，通过在本地客户端放置输入块和输出块以防止来自服务器的嵌入梯度攻击，使用密钥加密来防止来自对端客户端的逆向工程攻击，并采用客户端批处理或服务器分层等优化方法来提高训练效率。通过在 NLU 和生成任务上的实验结果，证明了 FL-GLM 与集中式 chatGLM 模型具有可比较的指标，验证了我们的联邦学习框架的有效性。

    Jun, 2024

  • 大型语言模型的个性化无线联邦学习

    基于大型语言模型的联邦学习方法，在无线网络中解决了隐私和安全保护机制不足的问题，并通过两种个性化无线联邦微调方法实现了低通信开销。

    Apr, 2024

  • 全球联合训练语言模型

    通过联邦学习，在全球范围内构建联邦的语言模型训练系统 (WorldLM)，以解决大规模语言模型训练所面临的法律、安全、隐私等挑战，并通过局部模型本地化、残差层嵌入等方法，提升性能并保护隐私。

    May, 2024

  • 跨移动设备进行百亿规模语言模型的联邦微调

    FwdLLM 是一种创新的 FL 协议，通过无需执行误差反向传播训练方法的方式，在手机设备上实现了更好的内存效率和时间效率，具有比传统方法更快的收敛速度和更小的内存占用。

    Aug, 2023