Fed2:特征对齐联邦学习
本文提出了一种新颖的联邦学习框架,通过设计特征定向调节方法 (ψ-Net) 来确保显式特征信息在不同的神经网络结构中的分配,并应用于协作模型中,在通常分散和混乱的信息环境下,通过协定的时序,信息的有序分配及结构匹配,提高了联邦学习的适用性,同时提供了优秀的收敛速度、精度和计算/通信效率。
Aug, 2020
本文提出了一种名为FedRDN的数据增强方法,通过将来自整个联邦系统的数据集统计注入到客户端数据中来有效改善特征分布倾斜FL的泛化,从而缓解了不同本地数据集的基础分布所导致的特征漂移问题。
Jun, 2023
利用全局特征知识进行本地表示学习的显式本地-全局特征对齐,以及针对每个客户端量化分类器组合的优点,导出一个优化问题来估计最优权重,有效地处理异构数据场景。
Jun, 2023
通过结合全局对齐和局部普遍性的概念,我们提出了名为FedSoL的联邦稳定学习方法,该方法在寻求抵御邻近扰动的参数区域时,既可维持原始局部目标进行参数更新,又能在局部学习中引入一种隐式的邻近限制效果。进行了一系列实验表明,FedSoL在各种场景下始终保持最先进的性能。
Aug, 2023
通过提出一种被称为联邦特征蒸馏(FedFed)的新方法,本研究肯定了通过共享部分数据特征来解决数据异质性,并在全球范围内共享性能敏感的特征以减轻数据异质性的可能性。
Oct, 2023
在联邦学习领域,解决非独立同分布的数据问题一直是提高全局模型性能的一个重要挑战。本文提出了特征范数正则化联邦学习(FNR-FL)算法,通过独特地结合类平均特征范数来增强在非独立同分布场景下的模型准确性和收敛性。我们的综合分析发现,相比其他现代联邦学习算法,FNR-FL不仅加快了收敛速度,而且在特征分布不均衡的情况下显著提高了测试准确率。FNR-FL的新颖模块化设计使其能与现有的联邦学习框架无缝集成,增强了其适应性和广泛应用的潜力。我们通过严格的实证评估确证了我们的论述,展示了FNR-FL在各种不均衡数据分布下的出色性能。相较于FedAvg,FNR-FL的准确率提升了66.24%,训练时间显著减少了11.40%,凸显了其提高效果和效率的优势。
Dec, 2023
我们提出了Fed-CO2,这是一个统一的联邦学习框架,用于处理标签分布倾斜和特征倾斜,通过在线和离线模型之间的合作机制来增强模型合作,同时设计了内部客户知识传递机制和客户间知识传递机制来增强模型之间的领域泛化能力。在处理标签分布倾斜和特征倾斜方面,我们的Fed-CO2在个体和整体上均优于现有的个性化联邦学习算法。
Dec, 2023
本研究提出了一种名为FedLoGe的方法,通过在神经坍塌框架中集成表示学习和分类器对齐,提高了本地和通用模型的性能,从而加强了分布式长尾学习中全局模型和本地模型的表现。
Jan, 2024
FedDr+是一种新的算法,通过使用点回归损失进行本地模型对齐,冻结分类器以实现特征对齐,并采用特征蒸馏机制保留有关未见/缺失类别的信息,从而有效地整合个体客户端的知识,提高全局和个性化联邦学习的性能。
Jun, 2024