本文提出了一种轻量级框架,使客户端通过融合多个预训练模型生成的表示而不是从头开始训练大规模模型来共同学习;我们设计了一种基于原型的对比学习(FedPCL)方法,以原型为共享信息进行知识传递,从而提高各个客户端利用现有模型的能力并保持通信效率。
Sep, 2022
联邦学习(FL)是一种新颖的分布式机器学习范式,通过消除数据共享要求,使参与者能够协同训练中央模型并保护隐私。联邦学习涉及多个参与者,并要求第三方汇总全局信息以指导目标参与者的更新。为解决此问题,联邦迁移学习(FTL)吸引了众多研究者的关注。本综述聚焦于对当前联邦迁移学习进展的分类和综述,并概述相关解决方案和应用。
Mar, 2024
本文详细阐述了联邦学习的体系结构、应用问题、算法设计原则和安全问题,提出了一种更加通用的算法设计框架、攻击场景和防御方法,致力于将联邦学习与真实世界应用相集成并实现高性能、隐私保护和安全性。
Feb, 2023
嵌套联邦学习(NeFL)是一种通用的框架,通过深层次和宽度缩放有效地将模型划分为子模型,解决分布式学习中迟滞者对训练时间和性能的影响。此框架将模型解释为求解普通微分方程(ODEs)的方式,并通过解耦少量参数来解决训练多个具有不同架构的子模型时出现的不一致性。通过一系列实验,我们证明了 NeFL 可以显著提高性能,并且与联邦学习领域的最新研究相一致。
Aug, 2023
本文讨论联邦学习的最新进展和挑战,并提出了一系列开放性问题和挑战。
Dec, 2019
该论文提出了一种基于原型的联邦学习框架,通过在典型的联邦学习进程的最后全局迭代中进行少量更改就能够实现更好的推理性能,从而在两个基准数据集上实现了更高的准确性和相对高效的通信。
Mar, 2023
在研究中,发现当将现有的联邦学习框架应用于更深的神经网络时,性能会显著下降,主要原因是由于在层间反向传播过程中不同客户端模型之间的不一致性逐步积累,称为 “发散累积”,提出了减少发散的技术指南,如使用更宽的模型和减少接受场,这些方法可以大大提高联邦学习在更深层次上的准确性。
Jun, 2023
该研究提出了一种通过使用可学习的提示来约束增量和联邦偏差的方法,从而提高全局模型的预测准确性,并在平均准确率上提供了 7.9% 的增加。
Jun, 2024
本文提出了基于本地持续训练策略的联邦学习算法,通过评估一小部分代理数据集上的重要性权重并将其用于约束本地训练,从而减少了权重分歧并不断将不同本地客户端的知识整合到全局模型中,显著提高了联邦模型的初始性能。
May, 2020
本文提供了关于联邦学习的概述,并重点关注医疗保健领域。通过中央协调器服务器共享全局深度学习模型,解决了隐私保护需求并探讨了联邦学习遇到的挑战和未来发展方向,其中使用多方计算、同态加密、差分隐私和随机梯度下降等多种隐私方法。
May, 2022