Jan, 2024
基于高效联邦学习方法的基础模型训练调研
A Survey on Efficient Federated Learning Methods for Foundation Model Training
Herbert Woisetschläger, Alexander Isenko, Shiqiang Wang, Ruben Mayer, Hans-Arno Jacobsen
TL;DRFederated Learning (FL) 的研究论文主要讨论了在隐私保护的协作训练中应用小型深度学习模型的新方法以及在 FL 应用中操作基于 transformer 模型的必要性，介绍了一种专注于 FL 应用中计算和通信效率方法的新的分类法，并探讨了当前广泛使用的 FL 框架的现状以及基于现有 FL 研究方法的未来研究潜力。