Nov, 2024
通过一次性联邦学习视角看任务算术
Task Arithmetic Through The Lens Of One-Shot Federated Learning
TL;DR本研究解决了任务算术在多任务学习中效果不佳的问题,通过将其视作一次性联邦学习问题进行分析。本文发现任务算术与联邦学习的常用算法联邦平均(FedAvg)在数学上是等价的,提出了数据异质性和训练异质性对其性能影响的两个关键因素,并通过引入联邦学习的算法来提升任务算术的有效性。实验结果表明,所提出的方法显著提升了合并模型的性能。