Aug, 2022

快速异构联邦学习与混合客户端选择

PDF
TL;DR本研究旨在解决联邦学习中由于客户端选择方案带来的模型更新差异性过大所导致的收敛速度慢的问题，并提出了一种基于聚类的客户端选择方案，通过方差约减来加速参与方的收敛速度。实验结果表明，该方案的效率超过了其他替代方案。
federated learningclient selection schemesclusteringvariance reductionconvergence
发现论文，激发创造
  • 聚类抽样：联邦学习中客户选择的低方差和改进的代表性

    本研究提出基于聚类抽样的客户端选择方法，解决联邦学习中存在的采样偏差、通信效率和稳定性问题，并通过一系列实验表明，该方法在非独立同分布和不平衡的数据集中具有更好的训练收敛性和可变性。

    May, 2021

  • 具有易失客户机的联邦学习随机客户端选择

    本研究考虑了在波动性环境下客户端选择问题，旨在在有效参与和公平性的联合考虑下解决权衡问题，提出 E3CS 方案以解决此问题，并通过实验验证其有效性。

    Nov, 2020

  • 通过异质性引导的客户抽样加速非独立同分布联合学习

    提出了 HiCS-FL（通过层次聚类抽样的联邦学习）作为一种新的客户端选择方法，其通过客户端的网络输出层更新来估计客户端数据的统计异质性，并依赖这些信息对客户端进行聚类和抽样，从而在非独立同分布的环境中实现更快的收敛和较低的训练方差。

    Sep, 2023

  • 联邦学习中客户端抽样的一般理论

    本研究提供了一个理论框架，量化了客户端抽样方案以及客户端异质性对联邦优化的影响，并建议在非 IID 和不平衡的场景下使用多项式分布采样作为默认采样方案。

    Jul, 2021

  • 联邦学习中客户选择的综合调查

    联邦学习是机器学习领域中迅速发展的领域，允许数据在多个分散设备上进行训练。客户端选择是整个系统性能的关键因素。本调查综述了联邦学习中最先进的客户端选择技术，包括它们的优点、局限性以及需解决的挑战和开放问题。我们涵盖了传统的选择技术，例如随机选择，其中选择所有或部分随机的客户端进行训练。我们还涵盖了面向性能和面向资源的选择，适用于资源受限和异构网络。我们还讨论了客户端选择在模型安全增强中的使用。最后，我们讨论了动态约束和异构网络中的客户端选择相关的开放问题和挑战。

    Nov, 2023

  • 联邦学习中客户选择的系统文献综述

    该研究系统综述了联邦学习中客户端选择的挑战、解决方案和评估指标，研究发现主要挑战为异构性、资源分配、通讯成本和公平性，常用的解决方案是改进随机选择算法并评估测试准确率与通讯轮数之间的关系。

    Jun, 2023

  • 贪心 Shapley 客户选择用于通信高效的联邦学习

    发展了一种被称为 GreedyFed 的具有偏见的客户选择策略，它能够在固定的通信轮次内，在数据分布、系统限制和隐私要求的高度异质性条件下，实现快速而稳定的收敛，并获得高准确性。

    Dec, 2023

  • 联邦学习中客户选择前沿的快照

    本文提出了一种客户端选择的分类法，以便比较不同的方法，旨在在机器学习这个有前途的领域中，为未来的研究提供方向。

    Sep, 2022

  • 为联邦学习选择公平感知的客户

    通过 Lyapunov 优化的公平感知联邦用户选择（FairFedCS）方法可以在联邦学习中动态调整联邦用户的选择概率，根据联邦用户的声誉、参与联邦任务的次数和对最终模型性能的贡献，共同考虑性能和公平性。在真实的多媒体数据集上进行的大量实验表明，FairFedCS 平均实现了 19.6% 更高的公平性和 0.73% 更高的测试准确性，超过了最佳性能的现有方法。

    Jul, 2023

  • 联邦学习中的客户端选择：收敛分析和选择策略

    本文研究了在偏置客户端选择策略下的联邦学习的收敛性，并量化了选择偏差对收敛速度的影响。作者提出了 Power-of-Choice 这个通信和计算效率高的客户端选择框架，能够在收敛速度和解决方案偏差之间灵活地平衡。实验证明使用 Power-of-Choice 策略收敛速度可提高至多 3 倍，测试准确度可提高 10％，相比随机选择基线有明显的提高。

    Oct, 2020