May, 2021

聚类抽样：联邦学习中客户选择的低方差和改进的代表性

PDF
TL;DR本研究提出基于聚类抽样的客户端选择方法，解决联邦学习中存在的采样偏差、通信效率和稳定性问题，并通过一系列实验表明，该方法在非独立同分布和不平衡的数据集中具有更好的训练收敛性和可变性。
federated learningclustered samplingclient selectionmodel aggregationtraining convergence
发现论文，激发创造
  • 快速异构联邦学习与混合客户端选择

    本研究旨在解决联邦学习中由于客户端选择方案带来的模型更新差异性过大所导致的收敛速度慢的问题，并提出了一种基于聚类的客户端选择方案，通过方差约减来加速参与方的收敛速度。实验结果表明，该方案的效率超过了其他替代方案。

    Aug, 2022

  • 联邦学习中客户端抽样的一般理论

    本研究提供了一个理论框架，量化了客户端抽样方案以及客户端异质性对联邦优化的影响，并建议在非 IID 和不平衡的场景下使用多项式分布采样作为默认采样方案。

    Jul, 2021

  • FedSampling：一种更好的联邦学习采样策略

    本文提出了一种新颖的数据均匀采样策略用于联邦学习中，通过基于服务器期望的采样大小和所有可用客户端的总采样大小的概率来随机采样每个客户端上的本地数据进行局部模型学习，同时提出了一种基于差分隐私技术的隐私保护方法来评估总采样大小，实验结果表明 FedSampling 可以有效提高联邦学习的性能。

    Jun, 2023

  • 基于最优客户端采样的通信高效联邦学习

    本文提出了一种基于 Ornstein-Uhlenbeck 过程的方案，在受通信限制的情况下，通过收集具有信息更新的客户端模型和估计没有通信的本地更新的方式来更新中央模型，实现了在保证性能的同时显著减少了通信量，为联邦学习提供了一种新的通信效率优化方案。

    Jul, 2020

  • 减小自适应无偏客户抽样的方差以探索联邦优化

    提出了一种自适应客户端采样的新方法 K-Vib，可以在不需要额外的本地通信和计算的情况下，构建可靠的全局估计，从而提高联邦优化的性能。

    Oct, 2023

  • 通过异质性引导的客户抽样加速非独立同分布联合学习

    提出了 HiCS-FL（通过层次聚类抽样的联邦学习）作为一种新的客户端选择方法，其通过客户端的网络输出层更新来估计客户端数据的统计异质性，并依赖这些信息对客户端进行聚类和抽样，从而在非独立同分布的环境中实现更快的收敛和较低的训练方差。

    Sep, 2023

  • LEFL：联邦学习中的低熵客户样本选择

    联邦学习是一种机器学习范式，其中多个客户端通过利用私有数据来优化单一全局模型。本研究提出了一种基于高级特征进行一次聚类的客户端抽样策略，以在每一轮中实现分层的客户端抽样，以减少噪音并显著提高全局模型的收敛率，并显著减少了达到目标准确性所需的通信轮次。

    Dec, 2023

  • 自适应异构无线网络中的联邦学习与独立抽样

    提出了一种新的独立客户抽样策略，旨在最小化联合系统和数据异构设计中的 FL 的墙钟训练时间，同时考虑通信和计算中的数据和系统异构。通过实验结果表明，在实际无线网络环境下，所提出的独立抽样方案在各种训练模型和数据集下显著优于当前最佳的抽样方案。

    Feb, 2024

  • 自适应异构客户端采样用于无线网络上的联邦学习

    设计适应性客户采样算法以最小化墙钟收敛时间，从而解决系统和统计异质性对联合学习过程的影响。

    Apr, 2024

  • 联邦学习中客户选择前沿的快照

    本文提出了一种客户端选择的分类法，以便比较不同的方法，旨在在机器学习这个有前途的领域中，为未来的研究提供方向。

    Sep, 2022