FedSampling：一种更好的联邦学习采样策略

IJCAIJun, 2023

FedSampling：一种更好的联邦学习采样策略

FedSampling: A Better Sampling Strategy for Federated Learning

Tao Qi, Fangzhao Wu, Lingjuan Lyu, Yongfeng Huang, Xing Xie

TL;DR本文提出了一种新颖的数据均匀采样策略用于联邦学习中，通过基于服务器期望的采样大小和所有可用客户端的总采样大小的概率来随机采样每个客户端上的本地数据进行局部模型学习，同时提出了一种基于差分隐私技术的隐私保护方法来评估总采样大小，实验结果表明 FedSampling 可以有效提高联邦学习的性能。

Abstract

federated learning (FL) is an important technique for learning models from decentralized data in a privacy-preserving way. Existing FL methods usually uniformly sample clients for local model learning in each rou

federated learning privacy-preserving data uniform sampling differential privacy model performance

发现论文，激发创造

LEFL：联邦学习中的低熵客户样本选择

联邦学习是一种机器学习范式，其中多个客户端通过利用私有数据来优化单一全局模型。本研究提出了一种基于高级特征进行一次聚类的客户端抽样策略，以在每一轮中实现分层的客户端抽样，以减少噪音并显著提高全局模型的收敛率，并显著减少了达到目标准确性所需的通信轮次。

Dec, 2023

联邦学习中客户端抽样的一般理论

本研究提供了一个理论框架，量化了客户端抽样方案以及客户端异质性对联邦优化的影响，并建议在非 IID 和不平衡的场景下使用多项式分布采样作为默认采样方案。

Jul, 2021

基于最优客户端采样的通信高效联邦学习

本文提出了一种基于 Ornstein-Uhlenbeck 过程的方案，在受通信限制的情况下，通过收集具有信息更新的客户端模型和估计没有通信的本地更新的方式来更新中央模型，实现了在保证性能的同时显著减少了通信量，为联邦学习提供了一种新的通信效率优化方案。

Jul, 2020

主动联邦学习

该研究提出了一种便捷、简单的采样方案，用于减少联邦学习迭代次数并最大程度提高效率，主要研究领域包括联邦学习、人口模型、梯度和采样方案。

Sep, 2019

聚类抽样：联邦学习中客户选择的低方差和改进的代表性

本研究提出基于聚类抽样的客户端选择方法，解决联邦学习中存在的采样偏差、通信效率和稳定性问题，并通过一系列实验表明，该方法在非独立同分布和不平衡的数据集中具有更好的训练收敛性和可变性。

May, 2021

自适应异构无线网络中的联邦学习与独立抽样

提出了一种新的独立客户抽样策略，旨在最小化联合系统和数据异构设计中的 FL 的墙钟训练时间，同时考虑通信和计算中的数据和系统异构。通过实验结果表明，在实际无线网络环境下，所提出的独立抽样方案在各种训练模型和数据集下显著优于当前最佳的抽样方案。

Feb, 2024

动态采样与选择性遮蔽：用于高效通信的联合学习

本研究通过动态采样和 Top-K 选择性掩蔽这两种方法，提高了联邦学习的通信效率，并在公共数据集上进行实验，证明了该方法的有效性。

Mar, 2020

本地学习很重要：重新思考联邦学习中的数据异构性

本文提出了一种叫做 FedAlign 的基于局部学习广泛性而非接近约束的数据异构性联邦学习解决方案，其可在不引入大量计算和内存开销的情况下实现与最先进的 FL 方法相当的精度。

Nov, 2021

加速联邦学习的高效数据分配估计

在大规模 FL 环境中，本研究旨在研究客户端选择算法的开销，并提出一种高效的数据分布摘要计算算法来减少开销。评估结果显示，我们的解决方案在数据摘要时间上能够实现 30 倍的降低，聚类时间上能够实现 360 倍的降低。

Jun, 2024

联邦式少样本学习

本文介绍了一种新颖的问题：在联合学习场景下，如何面对数据有限的客户端。为了解决数据分布和本地数据不足等问题，提出了联合少样本学习框架，并进行了大量实验，证明了该框架的有效性。

Jun, 2023