Jun, 2024

FedStaleWeight: 缓冲同步异步联邦学习中基于延迟重加权的公平聚合

PDF
TL;DRFedStaleWeight 算法通过使用平均陈旧度来计算公平重新权重从而解决了异步客户端更新聚合中的公平性问题，并且在流畅的非凸环境中提供了理论收敛保证，与常用的异步 FedBuff 梯度平均方法相比，实验证明它在加强公平性、加速收敛到更高的全局模型准确性方面表现更优。
federated learningasynchronous federated learningfairnessstalenessaggregation
发现论文，激发创造
  • 异步联邦学习中实现线性加速

    我们提出了一种高效的异步联邦学习（AFL）框架，称为延迟联邦平均（DeFedAvg），通过在自己的速度上使用不同陈旧的全局模型，DeFedAvg 可以达到与 FedAvg 相当的渐近收敛速率，同时也是第一个具有可证明的良好线性加速特性的 AFL 算法，从而表明其高可扩展性。

    Feb, 2024

  • 加速半异步联邦学习

    传统的联邦学习方法由于数据上传同步方式导致速度慢且不可靠，本论文提出了一种考虑不同更新贡献、适应数据延迟与异质性的异步联邦学习方法，有效提升了收敛速度。

    Feb, 2024

  • FedStale：在联邦学习中利用陈旧的客户端更新

    FedStale 是一种新颖的算法，通过在每一轮中使用参与客户端的新鲜更新和未参与客户端的陈旧更新的一个凸组合来更新全局模型，以此在处理数据和参与度异质性方面超越了之前的方法。

    May, 2024

  • 资源受限异步联邦学习系统中的降低系统偏差

    在非同步聯邦學習 (AFL) 的部署中，我們提出一種動態全球模型聚合方法，以應對異質設備和在客戶端之間非相同分佈的數據所帶來的性能挑戰。我們的聚合方法基於客戶端的上傳頻率對其模型更新的權重進行評分和調整，以適應設備能力的差異。此外，我們在客戶端上傳本地模型後立即提供更新的全球模型，以減少閒置時間並提高訓練效率。我們在由 10 個模擬客戶端組成的 AFL 部署中評估了我們的方法，這些客戶端具有異質的計算限制和非相同分佈的數據。使用 FashionMNIST 數據集的模擬結果顯示，與最先進的方法 PAPAYA 和 FedAsync 相比，全球模型的準確性分別提高了 10% 和 19%。我們的動態聚合方法即使在限制的客戶資源和統計數據異質性下也可以實現可靠的全球模型訓練，從而提高了現實世界的 FL 部署的韌性和可擴展性。

    Jan, 2024

  • 带缓冲异步聚合的联邦学习中的无限梯度

    本文通过移除梯度范数有界的假设，对异步联邦学习算法 FedBuff 进行了理论分析，研究了数据异构性、批次大小和延迟等因素对算法收敛速度的影响，从而提高跨设备联邦学习的可扩展性。

    Oct, 2022

  • 无政府联邦学习

    本文提出了一种新的联邦学习模型 ——“Anarchic Federated Learning”，其中探索了参与联邦学习的工作者的自由度与收敛速度的平衡，并提出了两种算法，验证在现实数据集下的有效性以及成果。

    Aug, 2021

  • 带缓存异步聚合的联邦学习

    本文提出了一种新的缓存异步聚合方法 FedBuff，它结合了同步和异步 federated learning 的最佳属性，可在不影响系统隐私的情况下提高效率，大大缓解了跨设备联合学习中的可扩展性和隐私问题。

    Jun, 2021

  • 异构联邦学习的稳健模型聚合：分析与优化

    通过引入时间驱动的异步聚合策略，以及使用区分性模型选择算法，提出了一种针对异构系统的同步联邦学习框架，该框架在提高系统效率和鲁棒性的同时，实现了对传统同步联邦学习的延迟减少 50% 和学习准确性平均提高 3% 的改进。

    May, 2024

  • 通过一般化界限估计对联邦学习进行聚合加权

    使用一种新的策略替代先前的加权方法，该策略考虑了每个本地模型的泛化界限，实验证明该方法显著改善了基准数据集上几种代表性的 FL 算法的性能。

    Nov, 2023

  • 处理联合学习中无限陈旧问题：数据与设备异构相互交织

    在联邦学习中，通过使用梯度反转技术将旧的模型更新转换为新的模型更新，我们提出了一种新的框架来有效地解决客户端模型更新的过时性问题，实验证明，我们的方法可以显著提高训练模型的准确性高达 20％，并加速联邦学习进程高达 35％。

    Sep, 2023