May, 2024
CG-FedLLM：用于大规模语言模型的联邦微调中梯度压缩方法
CG-FedLLM: How to Compress Gradients in Federated Fune-tuning for Large Language Models
Huiwen Wu, Xiaohan Li, Deyi Zhang, Xiaogang Xu, Jiafei Wu...
TL;DR本研究提出了一种创新方法来压缩梯度以提高大型语言模型联邦学习中的通信效率，通过在客户端增加编码器以获取压缩的梯度特征，以及在服务器端增加解码器来重构梯度。通过使用特征筛选和保护关键特征的方式，我们的方法降低了通信成本并提高了性能，在隐私保护框架内进行了一系列实验分析，为开发更高效和安全的大型语言模型提供了洞见。