面向时间演变异构数据的联邦学习
本文提出了一种个性化的联邦学习(CFL)系统,通过特殊设计的全局模型为每个客户定制个性化模型,采用在线训练的模型搜索辅助器和新型聚合算法,解决 FL 在多个维度上的异质性问题。实验证明,CFL 在 FL 训练和边缘推断方面具有全栈优势,并显著改进了模型准确性(在非异构环境中高达 7.2%,在异构环境中高达 21.8%)、效率和公平性。
Feb, 2023
机器学习的未来在于边缘计算,用于数据收集和训练,联邦学习是实现这一目标的一种方法。本文提出了一种新的聚合框架,用于解决联邦优化中的计算异构性问题,包括异构数据和本地更新,并从理论和实验的角度进行了广泛的分析。
Jul, 2023
本文提出名为 HeteroFL 的新型联邦学习框架,旨在解决具有非常不同计算和通信能力的异构客户端的问题,并通过几种策略增强 FL 训练。通过在三个数据集上进行五个计算复杂性级别的三种模型架构的广泛实证评估,通过自适应分配子网络来提高 FL 训练的计算和通信效率。
Oct, 2020
TimelyFL 是一个异步的 FL 框架,它具有自适应的部分训练能力,用于处理异构设备之间的差异和连接不可靠性。实验表明,与现有同类方法相比,它提高了参与率 21.13%,收敛率 1.28-2.89 倍,测试精度提高了 6.25%。
Apr, 2023
本文针对数据异构性与无线资源分配相结合的无线联邦学习问题,提出了性能分析与优化的方法,在考虑数据异构性的同时,优化客户端调度、资源分配和本地训练轮数,通过实验验证了该算法在学习准确性和能量消耗方面的优势。
Aug, 2023
联邦学习的普及与人工智能应用中对数据隐私的关注日益增长。联邦学习促进了多方合作的模型学习,同时确保了数据保密性。然而,由于不同客户数据分布导致的统计异质性问题,会带来一些挑战,例如不足的个性化和收敛速度慢。为了解决上述问题,本文简要总结了个性化联邦学习领域的当前研究进展,概述了个性化联邦学习的概念,审视了相关技术,并强调了当前的努力。此外,本文还讨论了个性化联邦学习的潜在进一步研究和障碍。
Feb, 2024
动态分层联邦学习系统可以通过利用分层学习的概念,将全局模型的不同部分分配给不同层次的客户端,并通过基于本地损失的训练使每个客户端可以并行更新模型,从而减少资源受限设备上计算和通信的需求,缓解迟到问题,从而显著减少训练时间并保持模型准确性。
Dec, 2023
本研究提出一种新方法来解决联邦学习中的问题,并在本文所述的公开基准数据集(如 Femnist)以及自己收集的数据集(即流量分类)上验证了该方法的有效性,结果表明这种方法在极端情况下具有显著的优势。
Nov, 2020
本文提出了一种叫做 FedAlign 的基于局部学习广泛性而非接近约束的数据异构性联邦学习解决方案,其可在不引入大量计算和内存开销的情况下实现与最先进的 FL 方法相当的精度。
Nov, 2021
本文针对连续联邦学习中广泛存在、但鲜有研究的 “灾难性遗忘” 和数据异质性问题,提出一种基于提示的、轻量级的生成与蒸馏方案实现客户端模型同步,此方案仅需要发送提示和分类器头,不需要存储任何数据,实验结果表明在 CIFAR-100、ImageNet-R、DomainNet 等数据集上同时显著提升了性能并极大地减少了通信和客户端计算成本。
Jun, 2023