Aug, 2023
FedDAT: 一种多模式异构联邦学习中基础模型微调的方法
FedDAT: An Approach for Foundation Model Finetuning in Multi-Modal Heterogeneous Federated Learning
Haokun Chen, Yao Zhang, Denis Krompass, Jindong Gu, Volker Tresp
TL;DR最近，基础模型在多模态学习方面取得了显著进展。为了解决不同隐私法规导致的数据集中化困难，联邦学习（FL）成为一种有希望的解决方案，可以使多个客户端在不集中本地数据的情况下协同训练神经网络。为了减轻客户端的计算负担和通信开销，之前的工作采用了参数高效调优（PEFT）方法进行 FL。然而，大多数之前的工作都集中在单模态上，并忽视了一种常见现象，即客户端之间存在数据异质性。因此，在本文中，我们提出了一种针对异构多模态 FL 的调优框架，称为 Federated Dual-Adapter Teacher（FedDAT）。具体而言，我们的方法利用了 Dual-Adapter Teacher（DAT）来处理数据异质性，通过正则化客户端本地更新并应用互相知识蒸馏（MKD）实现高效的知识传递。FedDAT 是首个使得基础模型多种异构视觉语言任务能进行有效的分布式调优的方法。为了证明其有效性，我们在四个具有不同数据异质性的多模态 FL 基准上进行了大量实验，结果显示 FedDAT 显著优于现有适用于 FL 的集中 PEFT 方法。