联邦学习是一种机器学习方法,可以在持有本地数据样本的多个分散边缘设备之间进行协作模型训练,而无需交换这些样本。本报告探讨了非独立非同分布的数据与异构数据带来的问题,并探索了目前设计用于解决这些挑战的算法。
Jan, 2024
随着越来越多的物联网设备在现场部署,将神经网络的训练卸载到中央服务器变得越来越不可行,本文调查了联合学习在克服异构性挑战方面的应用和益处。
Jul, 2023
本文提出名为 HeteroFL 的新型联邦学习框架,旨在解决具有非常不同计算和通信能力的异构客户端的问题,并通过几种策略增强 FL 训练。通过在三个数据集上进行五个计算复杂性级别的三种模型架构的广泛实证评估,通过自适应分配子网络来提高 FL 训练的计算和通信效率。
Oct, 2020
本文提出了一种新的联邦学习范例,名为联邦互助学习(FML),以处理三种不同类型的异质性,允许客户在共同设计通用模型的同时独立设计个性化并为不同场景和任务的个性化定制模型。
Jun, 2020
机器学习的未来在于边缘计算,用于数据收集和训练,联邦学习是实现这一目标的一种方法。本文提出了一种新的聚合框架,用于解决联邦优化中的计算异构性问题,包括异构数据和本地更新,并从理论和实验的角度进行了广泛的分析。
联邦学习的普及与人工智能应用中对数据隐私的关注日益增长。联邦学习促进了多方合作的模型学习,同时确保了数据保密性。然而,由于不同客户数据分布导致的统计异质性问题,会带来一些挑战,例如不足的个性化和收敛速度慢。为了解决上述问题,本文简要总结了个性化联邦学习领域的当前研究进展,概述了个性化联邦学习的概念,审视了相关技术,并强调了当前的努力。此外,本文还讨论了个性化联邦学习的潜在进一步研究和障碍。
Feb, 2024
本文提出了一种叫做 FedAlign 的基于局部学习广泛性而非接近约束的数据异构性联邦学习解决方案,其可在不引入大量计算和内存开销的情况下实现与最先进的 FL 方法相当的精度。
Nov, 2021
该论文提出了 FedH2L 方法,通过相互蒸馏和分散学习的方式来实现联邦学习中不同参与者拥有不同网络结构和数据分布的情况下训练一个强而全面的全局模型。
Jan, 2021
通过减少客户端之间的异质性,本研究提出了一种传递知识的方法,利用客户端专用生成器为每个客户端生成样本,以减少与其他客户端模型的冲突,从而构建出具有良好泛化能力的全局模型。
Aug, 2023
该研究基于一项新的分类机制,综合分析和总结了现有各种异步 FL 范式,包括异构设备上的设备异构性、数据异构性、隐私和安全性,以及异构设备上的应用。该研究揭示了该领域面临的挑战并提出了潜在的研究方向。
Sep, 2021