解决数据异构的无聚合联邦学习
在非同步聯邦學習 (AFL) 的部署中,我們提出一種動態全球模型聚合方法,以應對異質設備和在客戶端之間非相同分佈的數據所帶來的性能挑戰。我們的聚合方法基於客戶端的上傳頻率對其模型更新的權重進行評分和調整,以適應設備能力的差異。此外,我們在客戶端上傳本地模型後立即提供更新的全球模型,以減少閒置時間並提高訓練效率。我們在由 10 個模擬客戶端組成的 AFL 部署中評估了我們的方法,這些客戶端具有異質的計算限制和非相同分佈的數據。使用 FashionMNIST 數據集的模擬結果顯示,與最先進的方法 PAPAYA 和 FedAsync 相比,全球模型的準確性分別提高了 10% 和 19%。我們的動態聚合方法即使在限制的客戶資源和統計數據異質性下也可以實現可靠的全球模型訓練,從而提高了現實世界的 FL 部署的韌性和可擴展性。
Jan, 2024
机器学习的未来在于边缘计算,用于数据收集和训练,联邦学习是实现这一目标的一种方法。本文提出了一种新的聚合框架,用于解决联邦优化中的计算异构性问题,包括异构数据和本地更新,并从理论和实验的角度进行了广泛的分析。
Jul, 2023
本文提出了一种改进的联邦学习方法 ——FedALA,通过 Adaptive Local Aggregation (ALA) 模块,适应性地聚合下载的全局模型和本地模型,初始化每个客户端上的本地模型,并进行训练,实验结果表明,FedALA 在计算机视觉和自然语言处理等五个基准数据集上超过了 11 种现有技术的 baselines,提高了最高达 3.27%的测试准确性,同时我们还将 ALA 模块应用于其他联邦学习方法,实现了最高达 24.19%的测试准确性提高。
Dec, 2022
本研究提出一种新方法来解决联邦学习中的问题,并在本文所述的公开基准数据集(如 Femnist)以及自己收集的数据集(即流量分类)上验证了该方法的有效性,结果表明这种方法在极端情况下具有显著的优势。
Nov, 2020
该研究提出了一种新的算法,为参与联邦学习训练的客户分配自适应聚合权重,识别出最有利于特定学习目标的数据分布,实验证明通过该算法引导的合作在传统的联邦学习方法上取得了更好的表现,强调了客户选择的重要性。
Feb, 2024
我们提出了一种高效的异步联邦学习(AFL)框架,称为延迟联邦平均(DeFedAvg),通过在自己的速度上使用不同陈旧的全局模型,DeFedAvg 可以达到与 FedAvg 相当的渐近收敛速率,同时也是第一个具有可证明的良好线性加速特性的 AFL 算法,从而表明其高可扩展性。
Feb, 2024
本文提出了第一个针对不同客户的异构和相关可用性的 FedAvg 类 FL 算法的收敛分析,发现相关性如何不利地影响算法的收敛速率,并且介绍了一种新的算法 CA-Fed,在最大化收敛速度和最小化模型偏差之间寻求平衡,同时忽略了可用性低和相关性大的客户。实验结果表明,CA-Fed 在合成数据集和实际数据集上比 AdaFed 和 F3AST 等现有算法具有更高的时间平均准确性和更低的标准差。
Jan, 2023
本文提出了一种叫做 FedAlign 的基于局部学习广泛性而非接近约束的数据异构性联邦学习解决方案,其可在不引入大量计算和内存开销的情况下实现与最先进的 FL 方法相当的精度。
Nov, 2021
该论文提出了一种名为 Dynafed 的解决方案,通过收集和利用全局模型轨迹的动态知识来帮助聚合偏斜客户端数据,从而解决了 Federated Learning 在异构数据上局部最优的问题,同时不会影响数据隐私。
Nov, 2022
提出了一种新的自适应自蒸馏(ASD)正则化技术,针对联邦学习(FL)中不同客户端观察到的本地数据分布的异质性问题,在客户端上进行训练模型并适应性地调整以接近全局模型,此技术可用于现有的状态 - of-the-art FL 算法中,显著提高算法的性能。
May, 2023