MMJul, 2021

异步联邦学习的设备调度和更新聚合策略

PDF
TL;DR本文提出了一种异步 FL 框架，其采用定期聚合的方式消除了 FL 系统中的问题，并设计出多种装置调度和更新聚合策略以解决异构计算能力和训练数据分布的设备问题。通过模拟结果，我们得出结论，异步 FL 的调度和聚合设计可以不同于同步情况，并且适当的 “年龄感知” 加权设计可以极大地提高此类系统的学习性能。
federated learningdecentralized machine learningasynchronous fl frameworkstraggler issueperiodic aggregation
发现论文，激发创造
  • 异构设备上的异步联邦学习：综述

    该研究基于一项新的分类机制，综合分析和总结了现有各种异步 FL 范式，包括异构设备上的设备异构性、数据异构性、隐私和安全性，以及异构设备上的应用。该研究揭示了该领域面临的挑战并提出了潜在的研究方向。

    Sep, 2021

  • 移动边缘网络联邦学习的基于年龄的调度策略

    本文基于更新时效度（AoU）提出了一种调度策略，该策略可以同时考虑接收参数的陈旧度和即时信道质量，以提高联邦学习的运行效率，并通过蒙特卡罗模拟验证了算法的有效性。

    Oct, 2019

  • 跨设备联邦学习的多任务智能调度

    本研究提出了一个新颖的多工作联邦学习框架，通过智能调度方法实现了分散数据的并行训练过程，实验证明相比基线方法，其训练时间更快（最高可达 12.73 倍）且准确率更高（最高 46.4%）。

    Nov, 2022

  • 无线联邦学习中快速收敛的设备调度

    本文以联邦学习为背景，提出一种联合带宽分配和设备调度问题的解决方案，该方案通过一个贪心算法和运行时间预算中定向分配宽带的优化模型实现，从而在模型精度和训练时间预算方面实现了最好的性能表现。

    Nov, 2019

  • 加速半异步联邦学习

    传统的联邦学习方法由于数据上传同步方式导致速度慢且不可靠，本论文提出了一种考虑不同更新贡献、适应数据延迟与异质性的异步联邦学习方法，有效提升了收敛速度。

    Feb, 2024

  • 无线网络异步多模型联邦学习：理论、建模和优化

    本文提出了一种应用于多个下游任务的异步模型传输的联邦学习方法，通过引入调度张量来表征设备调度，并通过收敛性分析探究了资源分配、设备调度和个体模型状态等对机器学习性能的影响，进而通过非凸混合整数优化问题来调整资源分配和设备调度，以在能量消耗和性能之间达到高效平衡，并通过数值模拟揭示了该方法在模型性能和网络资源节约方面的优势。

    May, 2023

  • 资源受限异步联邦学习系统中的降低系统偏差

    在非同步聯邦學習 (AFL) 的部署中，我們提出一種動態全球模型聚合方法，以應對異質設備和在客戶端之間非相同分佈的數據所帶來的性能挑戰。我們的聚合方法基於客戶端的上傳頻率對其模型更新的權重進行評分和調整，以適應設備能力的差異。此外，我們在客戶端上傳本地模型後立即提供更新的全球模型，以減少閒置時間並提高訓練效率。我們在由 10 個模擬客戶端組成的 AFL 部署中評估了我們的方法，這些客戶端具有異質的計算限制和非相同分佈的數據。使用 FashionMNIST 數據集的模擬結果顯示，與最先進的方法 PAPAYA 和 FedAsync 相比，全球模型的準確性分別提高了 10% 和 19%。我們的動態聚合方法即使在限制的客戶資源和統計數據異質性下也可以實現可靠的全球模型訓練，從而提高了現實世界的 FL 部署的韌性和可擴展性。

    Jan, 2024

  • 联邦学习中中继辅助无线聚合的设备调度

    我们在本文中提出了一个中继辅助的大规模联邦学习框架以及在功耗和均方误差限制下的设备调度问题，我们将优化问题转化为多个稀疏优化问题以最大化调度设备数量。模拟结果表明，与其他基准方案相比，所提出的方案的有效性。

    Dec, 2023

  • 延迟梯度的混合联邦学习算法：迟到的梯度不是灾难

    该研究提出了一种混合联邦学习算法（HFL），通过引入异步更新器和自适应延迟 SGD（AD-SGD）等方法，有效解决了异构优化问题中慢设备所带来的训练效率和学习效果不平衡的问题，且算法收敛速度为 $O (1/t+τ)$。

    Feb, 2021

  • 面向无线联邦学习的通道和梯度重要性感知设备调度

    本研究提出一种名为 PO-FL 的概率设备调度框架，以缓解通道噪声的负面影响，在模型对聚合过程中使用该概率重量进行重新加权，通过经验分析得出结论：设备调度通过通信失真和全局更新方差影响学习性能。通过基于收敛性分析，进一步开发了基于渠道和梯度重要性感知的算法，以优化 PO-FL 中的设备调度概率。广泛的仿真结果表明，基于渠道和梯度重要性感知的 PO-FL 框架可以实现更快的收敛速度，并产生优于基准方法的模型。

    May, 2023