面向实例自适应的联邦学习推理

Aug, 2023

Towards Instance-adaptive Inference for Federated Learning

Chun-Mei Feng, Kai Yu, Nian Liu, Xinxing Xu, Salman Khan...

TL;DR该论文提出了一种新颖的 FL 算法（FedIns）来处理 FL 框架中的内部客户数据异质性，并通过在 FL 框架中实现实例自适应推理来减少内部客户和跨客户之间的异质性，实验证明 FedIns 在 Tiny-ImageNet 上比现有 FL 算法表现更好（多于 6.64% 的性能提升，且通信成本不到 15%），代码和模型将在公开发布。

Abstract

federated learning (FL) is a distributed learning paradigm that enables multiple clients to learn a powerful global model by aggregating local training. However, the performance of the global model is often hampered by non-i.i.d. distribution among the clients, requiring extensive effo

federated learning fl algorithm intra-client heterogeneity instance-adaptive inference communication cost

发现论文，激发创造

无一落后：异构设备上的包容性联邦学习

该研究提出了一种名为 InclusiveFL 的客户端包含的联邦学习方法，解决异构设备下的全局模型训练问题，并通过在不同大小的本地模型之间共享知识和动量知识蒸馏方法来实现客户端之间的模型学习和知识迁移，实验表明该方法在联邦学习框架下从客户异构设备中学习准确模型方面具有很好的效果。

Feb, 2022

原型有助于联邦学习：朝着更快的收敛方向

该论文提出了一种基于原型的联邦学习框架，通过在典型的联邦学习进程的最后全局迭代中进行少量更改就能够实现更好的推理性能，从而在两个基准数据集上实现了更高的准确性和相对高效的通信。

Mar, 2023

FedImpro: 度量与提升联邦学习中的客户端更新

通过生成改进的本地模型来减轻分布不同的客户机之间的客户漂移，并增强模型的泛化性能。

Feb, 2024

FedIN: 模型异构的联合中间层学习

提出了一种新的联邦学习方法 FedIN，支持异构模型和 IN 训练，并通过凸优化问题解决了梯度分歧问题。实验结果表明，在异构模型环境下，FedIN 相比目前先进的算法表现最佳。

Apr, 2023

FedADMM-InSa：一种联邦学习的非精确自适应 ADMM 方法

通过设计 FedADMM-InSa 算法中的近似准则和自适应方案，本研究旨在解决联邦学习中性能恶化和参数调优的问题，实验证明该算法能够显著减少本地计算负载并加速学习过程。

Feb, 2024

带自适应调参客户端的联邦学习

提出了一种名为 Delta-SGD 的算法用于优化联邦学习模型中的超参数，该算法能够在各个客户端之间自适应优化不同的参数，实验结果表明，该算法可以在不需要额外调整的情况下，在 73% 的实验中达到 TOP-1 准确度，在 100% 的实验中达到 TOP-2 准确度。

Jun, 2023

自适应自蒸馏下的异构数据联邦学习

提出了一种新的自适应自蒸馏（ASD）正则化技术，针对联邦学习（FL）中不同客户端观察到的本地数据分布的异质性问题，在客户端上进行训练模型并适应性地调整以接近全局模型，此技术可用于现有的状态 - of-the-art FL 算法中，显著提高算法的性能。

May, 2023

异构数据感知联邦学习

本研究提出一种新方法来解决联邦学习中的问题，并在本文所述的公开基准数据集（如 Femnist）以及自己收集的数据集（即流量分类）上验证了该方法的有效性，结果表明这种方法在极端情况下具有显著的优势。

Nov, 2020

客户监督的联邦学习：朝着通用个性化模型

通过提出一种新的联邦学习框架，使得个性化联邦学习可以学习一个强健的全局模型，以在联邦学习系统中对未知的 / 测试客户端达到与个性化模型相当的性能。

Mar, 2024

基于稀疏模型自适应的高效个性化联邦学习

提出一种名为 pFedGate 的方法，通过自适应和高效地学习稀疏本地模型来实现高效个性化联邦学习，并通过轻量级可训练的门控层使客户端生成不同的稀疏模型，同时考虑到异构的数据分布和资源限制，实现了计算和通信的效率提高，理论上的收敛性和泛化误差更优越，实验证明该方法相对于同类方法能够同时实现更高的全局准确性、个体准确性和效率，并能够适应不同的数据分布。

May, 2023