大型语言模型上基于联邦领域专用知识迁移的合成数据使用

May, 2024

大型语言模型上基于联邦领域专用知识迁移的合成数据使用

Federated Domain-Specific Knowledge Transfer on Large Language Models Using Synthetic Data

Haoran Li, Xinyuan Zhao, Dadi Guo, Hanlin Gu, Ziqian Zeng...

TL;DR通过差分隐私，利用大型语言模型在私有领域数据上合成样本，并将其用于改进小型语言模型，通过联邦领域特定知识迁移框架 (FDKT) 在保护客户数据隐私的同时，提高小型语言模型的任务性能，实验结果表明与本地私有数据训练相比，在隐私预算小于 10 的情况下，SLMs 的任务性能平均提升约 5%。

Abstract

As large language models (LLMs) demonstrate unparalleled performance and generalization ability, LLMs are widely used and integrated into various applications. When it comes to sensitive domains, as commonly described in →

large language models federated learning data privacy domain-specific knowledge transfer small language models

发现论文，激发创造

FedMKT：大型和小型语言模型的联邦互助知识传输

FedMKT 是一个参数高效的联邦互相知识转移框架，旨在同时改进服务器端和客户端的大型和小型语言模型，并通过最小编辑距离实现令牌对齐和选择性的互相知识转移，在各种 NLP 文本生成任务中显著提高客户端的小型语言模型性能，并通过 FedMKT 优化的大型语言模型实现了与基于客户端数据直接微调相当的性能，凸显了 FedMKT 的效果和适应性。

Jun, 2024

联邦大型语言模型：一篇立场论文

提出了联邦式大规模语言模型（LLM）的概念，并讨论了其三个关键组成部分：联邦式 LLM 预训练、联邦式 LLM 微调和联邦式 LLM 提示工程。还探讨了联邦学习和大规模语言模型整合所带来的新挑战，并分析了现有解决方案和潜在障碍。

Jul, 2023

OpenFedLLM: 基于联邦学习在去中心化私有数据上训练大型语言模型

通过联邦学习的方式，利用分布式私有数据进行协作和隐私保护的大型语言模型（LLM）培训，相较于传统的本地培训方式，取得了明显的性能提升。

Feb, 2024

安全地使用私有数据：大规模语言模型的联邦学习框架

我们提出了一种用于大型语言模型的联邦学习框架 FL-GLM，通过在本地客户端放置输入块和输出块以防止来自服务器的嵌入梯度攻击，使用密钥加密来防止来自对端客户端的逆向工程攻击，并采用客户端批处理或服务器分层等优化方法来提高训练效率。通过在 NLU 和生成任务上的实验结果，证明了 FL-GLM 与集中式 chatGLM 模型具有可比较的指标，验证了我们的联邦学习框架的有效性。

Jun, 2024

安全联邦迁移学习

本文介绍了一种新的技术和框架，称为联邦迁移学习（FTL），它可以在数据联邦下提高统计模型的性能。该联邦允许共享知识而不会危及用户隐私，并可在网络中传输补充知识，从而使目标域方能够利用源域方的丰富标签构建更加灵活和强大的模型。同时，为了在联邦下保护 FTL 的性能，还提出了一种安全的跨验证方法。该框架需要对现有模型结构进行最小的修改，并提供与非隐私保护方法同样水平的准确性。该框架非常灵活，可有效适应各种安全多方机器学习任务。

Dec, 2018

通过合成文本生成实现差分隐私知识蒸馏

利用差分隐私的知识蒸馏算法，通过利用合成数据和教师模型的输出分布，成功地在压缩自回归型大型语言模型的同时保护训练数据的隐私。

Mar, 2024

大型和小型语言模型的相互增强与跨系统知识转移

提出了一种利用小规模语言模型与大规模语言模型相互提升的方法，通过小规模语言模型生成特定任务的高质量数据，从而显著提高客户端的小规模语言模型和云服务器的大规模语言模型的特定任务性能，同时保持大规模语言模型的泛化能力。

Dec, 2023

知识插件：为领域特定推荐增强大型语言模型

本文提出了一种通过域特定知识来增强 LLMs（large language models）在实际应用中性能的方法，即 DOKE。通过一个域知识提取器，将提取的知识以 LLM 可理解的方式整合到模型中，实验证明 DOKE 能够显著提高 LLM 在特定领域中的性能。

Nov, 2023

全球联合训练语言模型

通过联邦学习，在全球范围内构建联邦的语言模型训练系统 (WorldLM)，以解决大规模语言模型训练所面临的法律、安全、隐私等挑战，并通过局部模型本地化、残差层嵌入等方法，提升性能并保护隐私。

May, 2024

通过监督微调向大规模语言模型注入新知识

研究了在最新的体育事件领域中，通过具有监督的微调方法对大规模语言模型进行知识注入的有效性，并比较了基于令牌和基于事实缩放的不同数据集生成策略，发现基于事实缩放提供了更为系统的方法来确保对所有事实的均匀覆盖。通过 SFT 进行更有效的知识吸收，从而显著提高了与领域外知识相关的问答任务的性能，为领域适应性和提高大规模语言模型响应准确性的潜力做出了贡献。

Mar, 2024