Jun, 2023
Fed-ZERO: 基于联邦专家混合的零样学习个性化方案
Fed-ZERO: Efficient Zero-shot Personalization with Federated Mixture of Experts
Chen Dun, Mirian Hipolito Garcia, Guoqing Zheng, Ahmed Hassan Awadallah, Robert Sim...
TL;DR本文提出了一种在 Federated Learning 框架下使用混合专家（Mixture-of-Experts）框架来实现零 - shot 个性化的方法。使用此方法时，我们的模型在保持零 - shot 表现的同时，可以在端到端过程中加入预训练模型的知识以增强其路由决策，并在常见的 FL 基准测试中使性能提高 18%。