基于最优客户端采样的通信高效联邦学习
本文通过一种新的客户端子采样方案解决联邦学习中客户端—主节点通信的瓶颈问题，并提供了适用于分布式随机梯度下降和联邦平均等方法的简单算法，可优化客户端参与度，且不危害客户隐私，从而在减少通信开销的同时实现了准确的全局模型更新。
Oct, 2020
本文提出了一种基于赌博机的通信高效客户端选择策略UCB-CS，其通过降低通信开销来实现更快的收敛速度，并展示了客户端选择如何用于提高公平性。
Dec, 2020
本研究提出基于聚类抽样的客户端选择方法，解决联邦学习中存在的采样偏差、通信效率和稳定性问题，并通过一系列实验表明，该方法在非独立同分布和不平衡的数据集中具有更好的训练收敛性和可变性。
May, 2021
本研究提供了一个理论框架，量化了客户端抽样方案以及客户端异质性对联邦优化的影响，并建议在非 IID 和不平衡的场景下使用多项式分布采样作为默认采样方案。
Jul, 2021
提出一种新的联邦学习框架，通过发送全局梯度估计的加速模型来引导本地梯度更新，从而改进了服务器端聚合步骤的稳定性，实现了自然聚合和传递全局更新信息，同时不需要额外的通信成本和客户机中存储过去的模型。在现实数据下进行全面的实证研究，证明了所提方法在精度和通信效率方面相对于现有方法的显着性能，尤其是在低客户端参与率下。
Jan, 2022
提出一种名为FedGS的框架，通过构建数据依赖图、限制采样次数等方法稳定了全局模型更新，解决了联邦学习中由于客户端可用性不稳定带来的模型偏差问题。实验结果验证了FedGS在实现公平客户端采样以及提升模型性能方面的优势。
Nov, 2022
本文提出了一种新颖的数据均匀采样策略用于联邦学习中，通过基于服务器期望的采样大小和所有可用客户端的总采样大小的概率来随机采样每个客户端上的本地数据进行局部模型学习，同时提出了一种基于差分隐私技术的隐私保护方法来评估总采样大小，实验结果表明FedSampling可以有效提高联邦学习的性能。
Jun, 2023
联邦学习是一种机器学习范式，其中多个客户端通过利用私有数据来优化单一全局模型。本研究提出了一种基于高级特征进行一次聚类的客户端抽样策略，以在每一轮中实现分层的客户端抽样，以减少噪音并显著提高全局模型的收敛率，并显著减少了达到目标准确性所需的通信轮次。
Dec, 2023
本研究解决了联邦学习中假设客户端始终可用的问题，提出了一种名为Amplified SCAFFOLD的新算法，专注于非凸优化和周期性客户端参与模式。该算法实现了线性加速、减少通信轮次，并且对数据异构性具有鲁棒性，其通信轮次大大优于以往研究，显示出优越的效果。
Oct, 2024