无缝整合:联邦学习系统中的采样策略
本研究提供了一个理论框架,量化了客户端抽样方案以及客户端异质性对联邦优化的影响,并建议在非 IID 和不平衡的场景下使用多项式分布采样作为默认采样方案。
Jul, 2021
提出一种名为FedGS的框架,通过构建数据依赖图、限制采样次数等方法稳定了全局模型更新,解决了联邦学习中由于客户端可用性不稳定带来的模型偏差问题。实验结果验证了FedGS在实现公平客户端采样以及提升模型性能方面的优势。
Nov, 2022
本文提出了一种新颖的数据均匀采样策略用于联邦学习中,通过基于服务器期望的采样大小和所有可用客户端的总采样大小的概率来随机采样每个客户端上的本地数据进行局部模型学习,同时提出了一种基于差分隐私技术的隐私保护方法来评估总采样大小,实验结果表明FedSampling可以有效提高联邦学习的性能。
Jun, 2023
机器学习的未来在于边缘计算,用于数据收集和训练,联邦学习是实现这一目标的一种方法。本文提出了一种新的聚合框架,用于解决联邦优化中的计算异构性问题,包括异构数据和本地更新,并从理论和实验的角度进行了广泛的分析。
Jul, 2023
该论文提出了一种新颖的FL算法(FedIns)来处理FL框架中的内部客户数据异质性,并通过在FL框架中实现实例自适应推理来减少内部客户和跨客户之间的异质性,实验证明FedIns在Tiny-ImageNet上比现有FL算法表现更好(多于6.64%的性能提升,且通信成本不到15%),代码和模型将在公开发布。
Aug, 2023
提出了HiCS-FL(通过层次聚类抽样的联邦学习)作为一种新的客户端选择方法,其通过客户端的网络输出层更新来估计客户端数据的统计异质性,并依赖这些信息对客户端进行聚类和抽样,从而在非独立同分布的环境中实现更快的收敛和较低的训练方差。
Sep, 2023
FedALIGN是一种选择参与联邦学习的非优先客户的匹配策略,基于他们的模型损失与全局数据的相似程度,以确保只有在对优先客户有益时才使用非优先客户的梯度,从而实现非优先客户的加入动机和优先客户的资源利用,且在各种合成和基准数据集上展示出更快的收敛速度和更高的测试准确性。
Oct, 2023
通过新型分析模型和优化算法,本文研究了联邦学习中批大小和聚合频率的相互作用对收敛性、成本和完成时间之间的权衡,并设计了一种高效的批配置算法。实验结果表明,该方法在离线和在线情况下均具有优越性。
Oct, 2023
本研究针对联邦学习系统中动态引入新客户端所面临的挑战,探讨了数据异质性和不同数据分布对模型训练和系统效率的影响。提出了有效的客户端选择策略,并以光学质量检测图像为例提供了实用的解决方案,强调了新客户端集成在提升数据多样性和学习性能方面的重要性。
Aug, 2024
本研究针对联邦学习中资源有限的情况下,客户在微调模型时通常仅选择部分层进行调整的问题进行了深入理论探讨。我们提出了一种灵活的方法,允许客户根据本地数据和资源调整选层策略,并证明该策略对模型收敛性有显著影响。我们的实验证明了此方法在识别关键层方面的有效性,特别是在客户异质性和训练动态下的适应性。
Aug, 2024