本研究提出了一种称为联邦优化的新的分布式机器学习设置，其中优化定义的数据分布在大量节点之间，通过少量通信轮次训练高品质集中模型，本文提出的新算法对于稀疏凸问题的实验结果表现可圈可点，并为未来的联邦优化研究提供了借鉴。

Oct, 2016

FedPAQ是一种通讯高效、周期平均和量化的联邦学习方法，能很好地解决联邦学习中的通讯和可扩展性问题，且在强凸和非凸损失函数方面具有接近最优的理论保证和优秀的实际表现。

Sep, 2019

本文提出了FedLin框架来应对分布式学习中的目标异质性、系统异质性和不频繁不准确的通信挑战，当客户端的本地损失函数是光滑且强凸的时，FedLin保证线性收敛并最终收敛到全局最小点，并且在压缩比例下仍然保持线性收敛速度。

Feb, 2021

本文提出了一种称为Federated Dynamic Sparse Training（FedDST）的novel FL框架，旨在动态提取和训练目标网络中的稀疏子网络，并实现了在设备计算和网络通信方面的高效，相对于固定稀疏掩模的方法，它在本地异质性适应和FL性能方面具有较大的优势，在非i.i.d FL设置下，FedDST在数据传输上的表现显著优于竞争性算法。

Dec, 2021

随着越来越多的物联网设备在现场部署，将神经网络的训练卸载到中央服务器变得越来越不可行，本文调查了联合学习在克服异构性挑战方面的应用和益处。

Jul, 2023

Federated Learning aims to train a global model by utilizing decentralized data, but the highly dynamic networks of edge devices can cause delays and degrade the efficiency of the training process. To address this, DynamicFL is proposed as a novel framework that considers communication dynamics, data quality, and client selection strategies to improve system performance and achieve better model accuracy.

Jul, 2023

我们提出了一种新算法来解决复合联合学习问题，该算法通过策略性地分离近端算子和通信来管理非光滑正则化，并且在没有关于数据相似性的任何假设的情况下解决客户端漂移。此外，每个工作者使用局部更新来降低与服务器的通信频率，并每次通信轮传输仅一个d维向量。我们证明了我们的算法线性收敛到最优解的邻域，并在数值实验中展示了我们算法相对于最先进的方法的优越性。

Sep, 2023

本研究提出了一种新的方法，用于增强随机联合学习中的通信效率，该方法在超参数随机网络上进行训练。通过优化二进制掩码而不是模型权重，实现对稀疏子网络的表征，其泛化效果与更小的目标网络相当好。与传统的联合学习中浮点权重相比，仅交换稀疏的二进制掩码，从而将通信成本降低到每个参数至多1个比特。通过实验证明，之前最先进的随机方法无法找到能够使用一致损失目标减少通信和存储开销的稀疏网络。为了解决这个问题，我们提出在本地目标中添加正则化项，以在子网络之间消除冗余特征并鼓励更稀疏的解决方案。大量实验证明，在一些实例中，与文献相比，通信和内存效率显著提高了五个数量级，并且在验证准确性方面几乎没有性能下降。

Sep, 2023

通过在线模型提取，本文提出了一个统一的异构联邦学习算法框架，并进行了一般性的收敛性分析，证明了在某些充分条件下，这些算法对于标准异构联邦学习的一般光滑成本函数会收敛于一个静止点。此外，还阐明了影响收敛的两个关键因素：模型提取噪音和最小覆盖指数，强调了局部模型提取的联合设计在高效异构联邦学习中的重要性。

Oct, 2023

本研究解决了联邦学习中因本地数据统计异构性导致模型性能不佳的问题。提出的DynamicFL框架通过根据数据的统计特征动态分配通信资源，以在减少通信成本的同时提升全球模型性能。实验结果表明，与现有方法相比，DynamicFL模型准确性提高了10%，展示了其在应对数据统计异构性挑战中的适应性和有效性。

Sep, 2024