CAFe：成本和年龄感知的联邦学习

May, 2024

CAFe: Cost and Age aware Federated Learning

Sahan Liyanaarachchi, Kanchana Thilakarathna, Sennur Ulukus

TL;DR通过优化参数 M 和 T，以减少通信成本和资源浪费，同时确保可接受的收敛速度，本研究提供了一个选择 M 和 T 的分析方案，其中全局模型的收敛可以通过参与者在参数服务器中的平均年龄作为指标来量化。

Abstract

In many federated learning (FL) models, a common strategy employed to ensure the progress in the training process, is to wait for at least $M$ clients out of the total $N$ clients to send back their local gradients based on a →

federated learning reporting deadline global model convergence rate parameter optimization

发现论文，激发创造

及时异步分层联邦学习：融合时代

文章研究了一种客户端 - 边缘 - 云异步分层联邦学习的设置，通过局部聚合模型的更新并在边缘服务器之间进行交换以收敛于全局模型，最终得到一系列稠密的客户端基地。分析表明，如果将节点分成 O（1）个集群，则对于固定平均时效的 n 个客户端的系统，可以在有限时间内概率上保证收敛。

Jun, 2023

联邦学习：你可能不必频繁通信！

本文研究了联邦学习模型的泛化误差，通过 PAC-Bayes 和速率失真理论对其进行了分析，发现在联邦学习中客户端和参数服务器通信的轮数会影响泛化误差，并且在应用于 FSVM 时，泛化误差随着轮数增加而增加，因此需要优化轮数以减小 FL 算法的总体风险。

Jun, 2023

使用递减本地 SGD 步骤的更快联邦学习

本文提出了强凸目标函数下联邦平均算法（FedAvg）的调整方法，即通过衰减每轮训练中的 Stochastic Gradient Descent 步数 K，以改善联邦学习模型的收敛性能，并在四个基准 FL 数据集上进行了实验验证。

May, 2023

联邦学习中更多的通信量不会导致更小的泛化误差

该研究针对联邦学习中的统计学习模型的普适性误差进行了研究，讨论了模型聚合的轮次对最终聚合模型的影响，并且提出了通过优化选择合适的聚合轮次来减少总体风险的可能性。

Apr, 2023

具有全局动量加速的通信高效联邦学习

提出一种新的联邦学习框架，通过发送全局梯度估计的加速模型来引导本地梯度更新，从而改进了服务器端聚合步骤的稳定性，实现了自然聚合和传递全局更新信息，同时不需要额外的通信成本和客户机中存储过去的模型。在现实数据下进行全面的实证研究，证明了所提方法在精度和通信效率方面相对于现有方法的显着性能，尤其是在低客户端参与率下。

Jan, 2022

主动联邦学习

该研究提出了一种便捷、简单的采样方案，用于减少联邦学习迭代次数并最大程度提高效率，主要研究领域包括联邦学习、人口模型、梯度和采样方案。

Sep, 2019

无线联邦学习中考虑延迟的半同步客户端选择和模型聚合

该论文提出了一种名为 LESSON 的方法，它通过选择不同频率上传模型的客户端来解决异质客户端设置下的延迟问题，加速收敛速度并避免模型过度拟合。模拟结果表明，LESSON 的收敛速度比 FedAvg 和 FedCS 更快，模型准确性比 FedCS 更高。

Oct, 2022

FedSpeed: 更大的本地间隔，更少的通信轮次，更高的泛化准确性

本文提出了 FedSpeed 方法，通过应用 prox-correction term 和混合随机梯度下降和额外梯度上升步骤的扰动方法，解决了分布式学习框架中由于本地不一致的最优和过度拟合引起的非消失偏差问题。实验表明 FedSpeed 在真实数据集上的效率显著快于几种基线算法，并实现了最先进的性能。

Feb, 2023

移动边缘网络联邦学习的基于年龄的调度策略

本文基于更新时效度（AoU）提出了一种调度策略，该策略可以同时考虑接收参数的陈旧度和即时信道质量，以提高联邦学习的运行效率，并通过蒙特卡罗模拟验证了算法的有效性。

Oct, 2019

资源受限异步联邦学习系统中的降低系统偏差

在非同步聯邦學習 (AFL) 的部署中，我們提出一種動態全球模型聚合方法，以應對異質設備和在客戶端之間非相同分佈的數據所帶來的性能挑戰。我們的聚合方法基於客戶端的上傳頻率對其模型更新的權重進行評分和調整，以適應設備能力的差異。此外，我們在客戶端上傳本地模型後立即提供更新的全球模型，以減少閒置時間並提高訓練效率。我們在由 10 個模擬客戶端組成的 AFL 部署中評估了我們的方法，這些客戶端具有異質的計算限制和非相同分佈的數據。使用 FashionMNIST 數據集的模擬結果顯示，與最先進的方法 PAPAYA 和 FedAsync 相比，全球模型的準確性分別提高了 10% 和 19%。我們的動態聚合方法即使在限制的客戶資源和統計數據異質性下也可以實現可靠的全球模型訓練，從而提高了現實世界的 FL 部署的韌性和可擴展性。

Jan, 2024