重新思考联邦学习中的客户漂移:逻辑回归视角
本文提出了一种叫做FedAlign的基于局部学习广泛性而非接近约束的数据异构性联邦学习解决方案,其可在不引入大量计算和内存开销的情况下实现与最先进的FL方法相当的精度。
Nov, 2021
通过结合全局对齐和局部普遍性的概念,我们提出了名为FedSoL的联邦稳定学习方法,该方法在寻求抵御邻近扰动的参数区域时,既可维持原始局部目标进行参数更新,又能在局部学习中引入一种隐式的邻近限制效果。进行了一系列实验表明,FedSoL在各种场景下始终保持最先进的性能。
Aug, 2023
FedSiKD是一种相似性基于联邦学习框架,利用知识蒸馏技术解决非独立同分布数据和设备约束等问题,提高优化效率、加速学习过程并有效地在教师和学生模型之间传递知识。对HAR和MNIST数据集,FedSiKD相较于现有算法具有更高的准确性,并在前五轮迭代中分别提升了17%和20%的准确率,展现了其早期学习的能力。代码已公开并托管在GitHub上。
Feb, 2024
FedDistill是一个增强全局模型与本地模型之间知识传输的框架,专注于解决非均衡类分布的问题,通过群体蒸馏并将全局模型分解为特征提取器和分类器,确保本地模型不会忘记低频类别,而是更擅长准确识别和分类,通过全面实验验证了FedDistill在准确度和收敛速度上超越了现有基线模型。
Apr, 2024
基于Prompt调优和Logit蒸馏的参数高效统一的异构联邦学习框架FedHPL能够有效应对异构挑战,改善模型性能和加速训练,在多种数据集和模型设置下,性能优于当前最先进的联邦学习方法。
May, 2024
FedDr+是一种新的算法,通过使用点回归损失进行本地模型对齐,冻结分类器以实现特征对齐,并采用特征蒸馏机制保留有关未见/缺失类别的信息,从而有效地整合个体客户端的知识,提高全局和个性化联邦学习的性能。
Jun, 2024