本研究提出基于聚类抽样的客户端选择方法,解决联邦学习中存在的采样偏差、通信效率和稳定性问题,并通过一系列实验表明,该方法在非独立同分布和不平衡的数据集中具有更好的训练收敛性和可变性。
May, 2021
设计适应性客户采样算法以最小化墙钟收敛时间,从而解决系统和统计异质性对联合学习过程的影响。
Apr, 2024
本文提出了一种新颖的数据均匀采样策略用于联邦学习中,通过基于服务器期望的采样大小和所有可用客户端的总采样大小的概率来随机采样每个客户端上的本地数据进行局部模型学习,同时提出了一种基于差分隐私技术的隐私保护方法来评估总采样大小,实验结果表明 FedSampling 可以有效提高联邦学习的性能。
Jun, 2023
本研究旨在解决联邦学习中由于客户端选择方案带来的模型更新差异性过大所导致的收敛速度慢的问题,并提出了一种基于聚类的客户端选择方案,通过方差约减来加速参与方的收敛速度。实验结果表明,该方案的效率超过了其他替代方案。
Aug, 2022
提出了一种新的独立客户抽样策略,旨在最小化联合系统和数据异构设计中的 FL 的墙钟训练时间,同时考虑通信和计算中的数据和系统异构。通过实验结果表明,在实际无线网络环境下,所提出的独立抽样方案在各种训练模型和数据集下显著优于当前最佳的抽样方案。
Feb, 2024
联邦学习是一种机器学习范式,其中多个客户端通过利用私有数据来优化单一全局模型。本研究提出了一种基于高级特征进行一次聚类的客户端抽样策略,以在每一轮中实现分层的客户端抽样,以减少噪音并显著提高全局模型的收敛率,并显著减少了达到目标准确性所需的通信轮次。
Dec, 2023
该研究提出了一种新颖的学习率自适应机制用于解决联合学习中面临的非独立同分布数据样本训练的优化难题,并在多个图像和文本分类任务上进行了广泛的实验证明其有效性。
Jan, 2023
本文提出了一种基于 Ornstein-Uhlenbeck 过程的方案,在受通信限制的情况下,通过收集具有信息更新的客户端模型和估计没有通信的本地更新的方式来更新中央模型,实现了在保证性能的同时显著减少了通信量,为联邦学习提供了一种新的通信效率优化方案。
Jul, 2020
提出了一种自适应客户端采样的新方法 K-Vib,可以在不需要额外的本地通信和计算的情况下,构建可靠的全局估计,从而提高联邦优化的性能。
Oct, 2023
提出了 HiCS-FL(通过层次聚类抽样的联邦学习)作为一种新的客户端选择方法,其通过客户端的网络输出层更新来估计客户端数据的统计异质性,并依赖这些信息对客户端进行聚类和抽样,从而在非独立同分布的环境中实现更快的收敛和较低的训练方差。
Sep, 2023