该论文提出了一种基于原型的联邦学习框架,通过在典型的联邦学习进程的最后全局迭代中进行少量更改就能够实现更好的推理性能,从而在两个基准数据集上实现了更高的准确性和相对高效的通信。
Mar, 2023
该论文提出了一种新的联邦原型学习 (FedProto) 框架,借助全局原型而不是梯度来弥补跨客户端的异质性,从而提高局部模型的性能。
May, 2021
提出一种新的联邦学习方法,利用预训练模型作为本地模型的骨架,使用完全连接的层组成头部来解决客户端数据分布和计算资源不同的问题,在客户端之间共享类别的嵌入向量,采用加噪声的隐私保护混合方法来保护隐私,最后在自建车辆数据集上进行全面评估。
Jan, 2023
本文提出了一种名为 FedNH 的新方法,通过组合类原型的均匀性和语义来改善在分类设置中的数据不均衡问题。实验证明了该方法对于局部模型的个性化和概括性都有显著的提高。
Dec, 2022
异构联邦学习领域中,关键挑战是在具有不同数据分布、模型结构、任务目标、计算能力和通信资源的多个客户端之间高效协作训练模型。本文首先概述了异构联邦学习的基本概念,并从数据、模型、任务、设备和通信五个方面总结了在联邦学习中的研究挑战。此外,我们探讨了现有最先进的方法如何应对异构联邦学习的异质性,并将这些方法在数据级别、模型级别和架构级别进行分类和回顾。随后,本文详细讨论了在异构联邦学习环境中的隐私保护策略。最后,本文讨论了目前存在的开放问题和未来研究方向,旨在推动异构联邦学习的进一步发展。
May, 2024
在分布式机器学习技术中,联邦学习(FL)要求客户端在边缘服务器上协同训练共享模型,而不泄露其本地数据。本文引入了一种基于原型的正则化策略来解决数据分布的异质性,并通过实验结果表明,在 MNIST 和 Fashion-MNIST 上与最流行的基准 FedAvg 相比,我们的方法分别取得了 3.3% 和 8.9% 的平均测试准确率提升,而且在异质设置下具有快速收敛速度。
Jul, 2023
本研究探讨基于数据异构和移动性的分层联邦学习,通过分析其性能并利用移动性改善数据异构,结果表明移动性可以提高 15.1%的模型准确性。
Jun, 2023
通过在分散式联邦学习中创建协作图,选择适合的合作方,从而解决数据异构性和通信限制带来的挑战。我们的方法通过一种新颖的、通信高效的策略来解决这些问题,提高资源效率。与传统方法不同,我们的方法通过考虑客户的组合关系在粒度级别上识别合作伙伴,增强个性化同时最小化通信开销。我们通过使用约束贪婪算法的双层优化框架实现这一目标,从而为个性化学习提供资源高效的协作图。通过在各种基准数据集上进行大规模评估,我们证明了我们的方法 DPFL 在处理实际数据异构性、最小化通信开销、提高资源效率以及在分散式联邦学习场景中构建个性化模型方面的优越性。
Jun, 2024
联邦学习的普及与人工智能应用中对数据隐私的关注日益增长。联邦学习促进了多方合作的模型学习,同时确保了数据保密性。然而,由于不同客户数据分布导致的统计异质性问题,会带来一些挑战,例如不足的个性化和收敛速度慢。为了解决上述问题,本文简要总结了个性化联邦学习领域的当前研究进展,概述了个性化联邦学习的概念,审视了相关技术,并强调了当前的努力。此外,本文还讨论了个性化联邦学习的潜在进一步研究和障碍。
Feb, 2024
通过减少客户端之间的异质性,本研究提出了一种传递知识的方法,利用客户端专用生成器为每个客户端生成样本,以减少与其他客户端模型的冲突,从而构建出具有良好泛化能力的全局模型。
Aug, 2023