提出了一个新的标准联邦学习 (FL) 框架,该框架通过采用图形超网络进行参数共享,适应了异构客户端架构的需求,并在标准基准测试中表现显着优于现有解决方案。
Jan, 2022
联邦学习是一种有前途的研究范式,可以在各方之间进行机器学习模型的协作训练,而无需进行敏感信息交换。本研究对应用于视觉识别的联邦学习进行了广泛的回顾,强调深思熟虑的架构设计选择在实现最佳性能方面的重要作用。通过对各种先进架构的深入分析,我们实验证明了架构选择可以显著提高联邦学习系统的性能,尤其是在处理异构数据时。同时,我们研究了来自五个不同架构系列的 19 个视觉识别模型在四个具有挑战性的联邦学习数据集上的性能,重新调查了卷积架构在联邦学习环境中的劣势表现,并分析了规范化层对联邦学习性能的影响。我们的研究结果强调了在实际场景中的计算机视觉任务中架构设计的重要性,有效地缩小了联邦学习和集中学习之间的性能差距。
Oct, 2023
FedAF 是一种不需要数据聚合的联邦学习算法,通过协作学习来减少数据异质性导致的客户端漂移问题,提高全局模型准确性和收敛速度
Apr, 2024
本文详细阐述了联邦学习的体系结构、应用问题、算法设计原则和安全问题,提出了一种更加通用的算法设计框架、攻击场景和防御方法,致力于将联邦学习与真实世界应用相集成并实现高性能、隐私保护和安全性。
Feb, 2023
提出了一种名为 ScalableFL 的有效的联邦学习方法,根据客户端的输入图像大小和输出类别的数量调整本地模型的深度和宽度,并提供了联邦学习的推广差距的新的界限。在几个异构客户端设置下,通过图像分类和目标检测任务展示了 ScalableFL 的有效性。
Nov, 2023
提出了一种全新的异步架构的多服务器联邦学习系统,解决了同步通信导致的服务器空闲时间和单服务器成为瓶颈的问题,与之前的基线方法相比,收敛速度更快且在地理分布环境中所需时间减少了 61%。
Jun, 2024
本文提出了一种更高效的混合联邦与集中学习(HFCL)方法来解决客户端计算资源不足的情况,该方法可以将数据集分别发送给有足够计算资源的客户端和参数服务器,从而在减少通信开销和提高学习准确率方面都具有更好的性能表现。
May, 2021
嵌套联邦学习(NeFL)是一种通用的框架,通过深层次和宽度缩放有效地将模型划分为子模型,解决分布式学习中迟滞者对训练时间和性能的影响。此框架将模型解释为求解普通微分方程(ODEs)的方式,并通过解耦少量参数来解决训练多个具有不同架构的子模型时出现的不一致性。通过一系列实验,我们证明了 NeFL 可以显著提高性能,并且与联邦学习领域的最新研究相一致。
Aug, 2023
本文提出了一种轻量级框架,使客户端通过融合多个预训练模型生成的表示而不是从头开始训练大规模模型来共同学习;我们设计了一种基于原型的对比学习(FedPCL)方法,以原型为共享信息进行知识传递,从而提高各个客户端利用现有模型的能力并保持通信效率。
Sep, 2022
本文提出了一种自适应训练算法 AdaFL,该算法通过注意力机制和动态分数方法来平衡性能稳定性和通信效率,实验结果表明相对于 FedAvg 算法,AdaFL 算法在模型精度、性能稳定性和通信效率三个方面都有很大的提高。
Aug, 2021