移动性提高异步联邦学习的收敛性
通过联邦学习解决异步模式下的执行阻塞问题,提出利用概率选择客户端和带宽分配来优化异步联邦学习的收敛速度和移动能源消耗的问题,并通过实验验证了该方法的优越性。
Nov, 2023
联邦学习是一种高效的分布式机器学习方法,通过用户端的迭代本地模型训练和中央服务器端的全局模型聚合,保护用户的隐私。然而,现有的工作只研究了静态场景或用户位置的随机初始化,未能捕捉到真实网络中的用户移动。为了解决这个问题,在联邦学习中引入了用户的移动模型,并开发了一种用户调度和资源分配方法,以减小由于通信资源有限而带来的训练延迟。模拟结果表明,所提出的算法相比最先进的基线算法具有更好的性能,一定程度的用户移动可以提高训练性能。
Jul, 2023
本文提出了一种基于移动传输器的联邦学习框架 FedEx (FL via Model Express Delivery),旨在解决缺乏适当通信基础设施的实际应用中数据共享的问题。FedEx-Sync 和 FedEx-Async 两种算法分别采用同步和异步调度策略,并通过收敛性分析指导客户端分配和传输路线设计。在两个公共数据集的模拟网络上,我们通过实验证明了 FedEx 的性能。
Feb, 2023
本文提出了一种应用于多个下游任务的异步模型传输的联邦学习方法,通过引入调度张量来表征设备调度,并通过收敛性分析探究了资源分配、设备调度和个体模型状态等对机器学习性能的影响,进而通过非凸混合整数优化问题来调整资源分配和设备调度,以在能量消耗和性能之间达到高效平衡,并通过数值模拟揭示了该方法在模型性能和网络资源节约方面的优势。
May, 2023
提出了一种全新的异步架构的多服务器联邦学习系统,解决了同步通信导致的服务器空闲时间和单服务器成为瓶颈的问题,与之前的基线方法相比,收敛速度更快且在地理分布环境中所需时间减少了 61%。
Jun, 2024
本文提出了第一个针对不同客户的异构和相关可用性的 FedAvg 类 FL 算法的收敛分析,发现相关性如何不利地影响算法的收敛速率,并且介绍了一种新的算法 CA-Fed,在最大化收敛速度和最小化模型偏差之间寻求平衡,同时忽略了可用性低和相关性大的客户。实验结果表明,CA-Fed 在合成数据集和实际数据集上比 AdaFed 和 F3AST 等现有算法具有更高的时间平均准确性和更低的标准差。
Jan, 2023
在非同步聯邦學習 (AFL) 的部署中,我們提出一種動態全球模型聚合方法,以應對異質設備和在客戶端之間非相同分佈的數據所帶來的性能挑戰。我們的聚合方法基於客戶端的上傳頻率對其模型更新的權重進行評分和調整,以適應設備能力的差異。此外,我們在客戶端上傳本地模型後立即提供更新的全球模型,以減少閒置時間並提高訓練效率。我們在由 10 個模擬客戶端組成的 AFL 部署中評估了我們的方法,這些客戶端具有異質的計算限制和非相同分佈的數據。使用 FashionMNIST 數據集的模擬結果顯示,與最先進的方法 PAPAYA 和 FedAsync 相比,全球模型的準確性分別提高了 10% 和 19%。我們的動態聚合方法即使在限制的客戶資源和統計數據異質性下也可以實現可靠的全球模型訓練,從而提高了現實世界的 FL 部署的韌性和可擴展性。
Jan, 2024