Jun, 2024
安全地使用私有数据：大规模语言模型的联邦学习框架
Safely Learning with Private Data: A Federated Learning Framework for
Large Language Model
TL;DR我们提出了一种用于大型语言模型的联邦学习框架FL-GLM，通过在本地客户端放置输入块和输出块以防止来自服务器的嵌入梯度攻击，使用密钥加密来防止来自对端客户端的逆向工程攻击，并采用客户端批处理或服务器分层等优化方法来提高训练效率。通过在NLU和生成任务上的实验结果，证明了FL-GLM与集中式chatGLM模型具有可比较的指标，验证了我们的联邦学习框架的有效性。