Oct, 2023

减小自适应无偏客户抽样的方差以探索联邦优化

PDF
TL;DR提出了一种自适应客户端采样的新方法 K-Vib，可以在不需要额外的本地通信和计算的情况下，构建可靠的全局估计，从而提高联邦优化的性能。
federated learningclient sampling techniquesglobal estimatesadaptive client samplingfederated optimization
发现论文，激发创造
  • 聚类抽样：联邦学习中客户选择的低方差和改进的代表性

    本研究提出基于聚类抽样的客户端选择方法，解决联邦学习中存在的采样偏差、通信效率和稳定性问题，并通过一系列实验表明，该方法在非独立同分布和不平衡的数据集中具有更好的训练收敛性和可变性。

    May, 2021

  • 基于最优客户端采样的通信高效联邦学习

    本文提出了一种基于 Ornstein-Uhlenbeck 过程的方案，在受通信限制的情况下，通过收集具有信息更新的客户端模型和估计没有通信的本地更新的方式来更新中央模型，实现了在保证性能的同时显著减少了通信量，为联邦学习提供了一种新的通信效率优化方案。

    Jul, 2020

  • 联邦学习中客户端抽样的一般理论

    本研究提供了一个理论框架，量化了客户端抽样方案以及客户端异质性对联邦优化的影响，并建议在非 IID 和不平衡的场景下使用多项式分布采样作为默认采样方案。

    Jul, 2021

  • 自适应异构客户端采样用于无线网络上的联邦学习

    设计适应性客户采样算法以最小化墙钟收敛时间，从而解决系统和统计异质性对联合学习过程的影响。

    Apr, 2024

  • 自适应异构无线网络中的联邦学习与独立抽样

    提出了一种新的独立客户抽样策略，旨在最小化联合系统和数据异构设计中的 FL 的墙钟训练时间，同时考虑通信和计算中的数据和系统异构。通过实验结果表明，在实际无线网络环境下，所提出的独立抽样方案在各种训练模型和数据集下显著优于当前最佳的抽样方案。

    Feb, 2024

  • 快速异构联邦学习与混合客户端选择

    本研究旨在解决联邦学习中由于客户端选择方案带来的模型更新差异性过大所导致的收敛速度慢的问题，并提出了一种基于聚类的客户端选择方案，通过方差约减来加速参与方的收敛速度。实验结果表明，该方案的效率超过了其他替代方案。

    Aug, 2022

  • FedSampling：一种更好的联邦学习采样策略

    本文提出了一种新颖的数据均匀采样策略用于联邦学习中，通过基于服务器期望的采样大小和所有可用客户端的总采样大小的概率来随机采样每个客户端上的本地数据进行局部模型学习，同时提出了一种基于差分隐私技术的隐私保护方法来评估总采样大小，实验结果表明 FedSampling 可以有效提高联邦学习的性能。

    Jun, 2023

  • 联邦学习的最优客户采样

    本文通过一种新的客户端子采样方案解决联邦学习中客户端 — 主节点通信的瓶颈问题，并提供了适用于分布式随机梯度下降和联邦平均等方法的简单算法，可优化客户端参与度，且不危害客户隐私，从而在减少通信开销的同时实现了准确的全局模型更新。

    Oct, 2020

  • LEFL：联邦学习中的低熵客户样本选择

    联邦学习是一种机器学习范式，其中多个客户端通过利用私有数据来优化单一全局模型。本研究提出了一种基于高级特征进行一次聚类的客户端抽样策略，以在每一轮中实现分层的客户端抽样，以减少噪音并显著提高全局模型的收敛率，并显著减少了达到目标准确性所需的通信轮次。

    Dec, 2023

  • 通过重要性采样实现通信高效的联邦学习

    在可扩展联邦学习中，我们利用客户端和服务器之间的密切联系，提出一种框架，将客户端的分布与服务器的先数据分布进行了比较，大大减少了通信开销，同时保证了测试精度。

    Jun, 2023