Oct, 2023

DYNAMITE：用于带有静态和流式数据集的联邦学习的小批量大小和聚合频率的动态相互作用

PDF
TL;DR通过新型分析模型和优化算法，本文研究了联邦学习中批大小和聚合频率的相互作用对收敛性、成本和完成时间之间的权衡，并设计了一种高效的批配置算法。实验结果表明，该方法在离线和在线情况下均具有优越性。
federated learningconvergencebatch sizeaggregation frequencydynamic data streams
发现论文，激发创造
  • 异步联邦学习的设备调度和更新聚合策略

    本文提出了一种异步 FL 框架，其采用定期聚合的方式消除了 FL 系统中的问题，并设计出多种装置调度和更新聚合策略以解决异构计算能力和训练数据分布的设备问题。通过模拟结果，我们得出结论，异步 FL 的调度和聚合设计可以不同于同步情况，并且适当的 “年龄感知” 加权设计可以极大地提高此类系统的学习性能。

    Jul, 2021

  • DynamicFL：平衡通信动态和客户端操作的联邦学习

    Federated Learning aims to train a global model by utilizing decentralized data, but the highly dynamic networks of edge devices can cause delays and degrade the efficiency of the training process. To address this, DynamicFL is proposed as a novel framework that considers communication dynamics, data quality, and client selection strategies to improve system performance and achieve better model accuracy.

    Jul, 2023

  • 带缓存异步聚合的联邦学习

    本文提出了一种新的缓存异步聚合方法 FedBuff，它结合了同步和异步 federated learning 的最佳属性，可在不影响系统隐私的情况下提高效率，大大缓解了跨设备联合学习中的可扩展性和隐私问题。

    Jun, 2021

  • 资源受限异步联邦学习系统中的降低系统偏差

    在非同步聯邦學習 (AFL) 的部署中，我們提出一種動態全球模型聚合方法，以應對異質設備和在客戶端之間非相同分佈的數據所帶來的性能挑戰。我們的聚合方法基於客戶端的上傳頻率對其模型更新的權重進行評分和調整，以適應設備能力的差異。此外，我們在客戶端上傳本地模型後立即提供更新的全球模型，以減少閒置時間並提高訓練效率。我們在由 10 個模擬客戶端組成的 AFL 部署中評估了我們的方法，這些客戶端具有異質的計算限制和非相同分佈的數據。使用 FashionMNIST 數據集的模擬結果顯示，與最先進的方法 PAPAYA 和 FedAsync 相比，全球模型的準確性分別提高了 10% 和 19%。我們的動態聚合方法即使在限制的客戶資源和統計數據異質性下也可以實現可靠的全球模型訓練，從而提高了現實世界的 FL 部署的韌性和可擴展性。

    Jan, 2024

  • TimelyFL: 自适应局部训练的异步异构联邦学习

    TimelyFL 是一个异步的 FL 框架，它具有自适应的部分训练能力，用于处理异构设备之间的差异和连接不可靠性。实验表明，与现有同类方法相比，它提高了参与率 21.13％，收敛率 1.28-2.89 倍，测试精度提高了 6.25％。

    Apr, 2023

  • 通过连续的层次训练，在计算受限设备上聚合联邦学习的容量

    介绍了一种新的方法，即对联合学习模型的参数进行连续冻结和训练，以减少设备上的训练资源需求，同时仍允许足够的参数协同适应度，大大提高了训练模型的准确性和分布式设备的计算能力的高效汇集。

    May, 2023

  • 无线联邦学习中快速收敛的设备调度

    本文以联邦学习为背景，提出一种联合带宽分配和设备调度问题的解决方案，该方案通过一个贪心算法和运行时间预算中定向分配宽带的优化模型实现，从而在模型精度和训练时间预算方面实现了最好的性能表现。

    Nov, 2019

  • 基于动态注意力的通信高效联邦学习

    本文提出了一种自适应训练算法 AdaFL，该算法通过注意力机制和动态分数方法来平衡性能稳定性和通信效率，实验结果表明相对于 FedAvg 算法，AdaFL 算法在模型精度、性能稳定性和通信效率三个方面都有很大的提高。

    Aug, 2021

  • 动态采样与选择性遮蔽：用于高效通信的联合学习

    本研究通过动态采样和 Top-K 选择性掩蔽这两种方法，提高了联邦学习的通信效率，并在公共数据集上进行实验，证明了该方法的有效性。

    Mar, 2020

  • 能源感知模拟聚合用于带有冗余数据的联邦学习

    本研究提出了使用模拟聚合降低通信成本和使用冗余数据解决非独立同分布数据问题的方法，并介绍一种在线的、考虑能源的动态工人调度策略，用于最大化每次迭代中进行梯度更新的工人数量的平均值，并基于 Lyapunov 优化分析了其性能。实验表明，在严格的能源预算下，数据存储量增加一倍可以将精度提高 9.8％，而所提出的策略可以在不违反能源约束的情况下实现接近最优的精度。

    Nov, 2019