异构集成知识迁移用于联邦学习中的大模型训练

IJCAIApr, 2022

异构集成知识迁移用于联邦学习中的大模型训练

Heterogeneous Ensemble Knowledge Transfer for Training Large Models in Federated Learning

Yae Jee Cho, Andre Manoel, Gauri Joshi, Robert Sim, Dimitrios Dimitriadis

TL;DR本研究提出了一种新的合奏知识转移方法 Fed-ET，采用了加权一致性蒸馏方案，通过利用各服务器的高度异构数据来提取可靠的共识，同时通过利用合奏中的多样性来改善泛化能力，并在图像和语言任务中显示出在通信参数较少的情况下，Fed-ET 明显优于其他最先进的 FL 算法，并且对于高数据异构性也是强健的。

Abstract

federated learning (FL) enables edge-devices to collaboratively learn a model without disclosing their private data to a central aggregating server. Most existing FL algorithms require models of identical architecture to be deployed across the clients and server, making it infeasible t

federated learning ensemble knowledge transfer consensus distillation diversity regularization data-heterogeneity

发现论文，激发创造

联邦学习中强化模型合并的集合蒸馏

本篇论文研究了 FL 领域中不同于普通平均策略的模型聚合方法 ——ensemble distillation，证明其能够在保证数据隐私性和节约算力的同时，更灵活地聚合异构模型，并在各种 CV/NLP 数据集和场景下优于现有的 FL 算法。

Jun, 2020

面向异构客户的个性化联邦学习与聚类知识迁移

本研究提出了一种适用于高度数据和系统异构的个性化联邦学习框架 PerFed-CKT，可使用不同的模型架构，通过簇内共同训练和知识传输来降低通信成本并在测试中获得高精度。

Sep, 2021

无一落后：异构设备上的包容性联邦学习

该研究提出了一种名为 InclusiveFL 的客户端包含的联邦学习方法，解决异构设备下的全局模型训练问题，并通过在不同大小的本地模型之间共享知识和动量知识蒸馏方法来实现客户端之间的模型学习和知识迁移，实验表明该方法在联邦学习框架下从客户异构设备中学习准确模型方面具有很好的效果。

Feb, 2022

FedET：一个基于增强 Transformer 的通信有效联邦类增量学习框架

本文提出了一种名为 FedET 的框架，它使用预训练 Transformers 并结合 Enhancer，通过增强新知识来实现低通信成本和高精度，同时引入 Enhancer 蒸馏方法解决新任务新类别和不同本地客户端之间的非 i.i.d 类别不平衡问题，实验结果表明，与现有方法相比，FedET 在代表性基准数据集上的平均准确率提高了 14.1％，通信成本节省了 90％。

Jun, 2023

FedTrans: 异质客户端之间的高效联合学习通过模型转换

FedTrans 是一个多模型联邦学习训练框架，可以自动为大规模异构客户端生成和训练高准确性、硬件兼容的模型，显著提高了个体客户端模型的准确性并降低了训练成本。

Apr, 2024

个性化生成网络的异构联邦学习

通过减少客户端之间的异质性，本研究提出了一种传递知识的方法，利用客户端专用生成器为每个客户端生成样本，以减少与其他客户端模型的冲突，从而构建出具有良好泛化能力的全局模型。

Aug, 2023

FedGEMS: 通过选择性知识融合进行较大服务器模型的联合学习

研究围绕联邦学习，提出使用强大的服务器模型帮助边缘设备解决模型容量问题，通过选择性地从多个客户端和自己进行学习，开发了深度知识并返回给客户端，取得了在图像分类任务中的优秀性能。

Oct, 2021

HeteroFL：用于异构客户端的计算与通信高效联邦学习

本文提出名为 HeteroFL 的新型联邦学习框架，旨在解决具有非常不同计算和通信能力的异构客户端的问题，并通过几种策略增强 FL 训练。通过在三个数据集上进行五个计算复杂性级别的三种模型架构的广泛实证评估，通过自适应分配子网络来提高 FL 训练的计算和通信效率。

Oct, 2020

面向个性化联邦学习的参数化知识传递

提出了一个基于个性化模型的联邦学习框架来应对异构模型的限制，并使用参数化群体知识转移训练算法来使客户端间自适应强化协作，从而实现个性化模型训练，并与现有方法进行比较得到显著的性能提升。

Nov, 2021

Fed-ensemble：在联邦学习中通过模型集成来提高泛化能力

本文提出 Fed-ensemble: 一种将模型集成应用于联邦学习的简单方法，其通过随机排列更新一组 K 个模型，然后通过模型平均获得预测结果，证明了在神经切线核环境下新数据的预测来自所有 K 个模型的相同预测后验分布，并通过实验证明其在联邦学习算法中具有出色的性能，特别是在常见的异构设置中表现突出。

Jul, 2021