本地注意力的个性化联邦学习
本研究讨论了联邦学习中的数据异质性问题,并提出了一种个性化的联邦学习方法,名为 pFedPM,通过特征上传来减少通信成本和允许异构客户端模型,实验证明该方法在 MNIST、FEMNIST 和 CRIFAR10 数据集上的通信效率优于其他联邦学习方法。
Jun, 2024
本文介绍了一个名为 pFedBreD 的基于贝叶斯学习方法的个性化联合学习框架,该框架针对异构数据问题进行建模,并应用 Bregman 散度约束来解决该问题。实验结果表明,在高斯先验和均值选择的一阶策略的前提下,pFedBreD 显著优于其他个性化联合学习算法。
Nov, 2022
本论文提出了一种自我感知的个性化联邦学习方法,通过采用贝叶斯分层模型,利用不确定性量化来平衡本地模型改进和全局模型调整,使用不确定性驱动的本地训练步骤和聚合规则来实现。通过实验研究,该方法显著提高了个性化性能。
Apr, 2022
该论文研究了联邦学习(FL)的个性化策略问题,并介绍了一种通过元网络(meta-nets)在 FL 网络中学习个性化策略的框架,该框架通过学习元网络的批量归一化和学习率参数来为每个客户端生成定制的个性化策略。实证结果表明,该框架在标签偏移和特征偏移情况下优于多种标准的手工个性化基线方法。
Oct, 2023
本文提出了一种改进的联邦学习方法 ——FedALA,通过 Adaptive Local Aggregation (ALA) 模块,适应性地聚合下载的全局模型和本地模型,初始化每个客户端上的本地模型,并进行训练,实验结果表明,FedALA 在计算机视觉和自然语言处理等五个基准数据集上超过了 11 种现有技术的 baselines,提高了最高达 3.27%的测试准确性,同时我们还将 ALA 模块应用于其他联邦学习方法,实现了最高达 24.19%的测试准确性提高。
Dec, 2022
本文提出了一个利用未标记公共数据进行单向离线知识蒸馏的隐私保护联邦学习框架。通过集成注重蒸馏,利用本地知识训练中央模型。我们的技术采用分散和异构的本地数据,显著降低了隐私泄漏的风险。通过图像分类、分割和重构任务的大量实验,证明我们的方法在具有更强的隐私保护的同时实现了非常有竞争力的性能。
Oct, 2022
提出一种名为 pFedGate 的方法,通过自适应和高效地学习稀疏本地模型来实现高效个性化联邦学习,并通过轻量级可训练的门控层使客户端生成不同的稀疏模型,同时考虑到异构的数据分布和资源限制,实现了计算和通信的效率提高,理论上的收敛性和泛化误差更优越,实验证明该方法相对于同类方法能够同时实现更高的全局准确性、个体准确性和效率,并能够适应不同的数据分布。
May, 2023
Federated Modular Network (FedMN) is a novel Personalized Federated Learning approach that adapts to the joint distribution among local clients and produces personalized module block selection with a light-weighted routing hypernetwork, resulting in more effective and efficient learning compared to existing methods
Oct, 2022
个性化联邦学习方法 (FedACS) 关注非独立同分布数据与数据稀缺问题,通过引入注意力机制提高具有相似数据分布的客户之间的协作,优化资源分配,表现出与众不同的优势,从而推动个性化联邦学习领域的进步。
Dec, 2023
针对联邦学习中参与者局部利益与数据准确度不匹配的问题,本文提出并比较了三种本地适应技术,并指出差分隐私和鲁棒聚合恶化了联邦模型的准确性。这三种技术分别为:微调、多任务学习和知识蒸馏。我们的实验结果表明,所有参与者都从本地适应中受益,并且本地模型表现不佳的参与者通过传统联邦方式得到了大幅提升。
Feb, 2020