联邦学习中的客户端选择：收敛分析和选择策略

Oct, 2020

联邦学习中的客户端选择：收敛分析和选择策略

Client Selection in Federated Learning: Convergence Analysis and Power-of-Choice Selection Strategies

Yae Jee Cho, Jianyu Wang, Gauri Joshi

TL;DR本文研究了在偏置客户端选择策略下的联邦学习的收敛性，并量化了选择偏差对收敛速度的影响。作者提出了 Power-of-Choice 这个通信和计算效率高的客户端选择框架，能够在收敛速度和解决方案偏差之间灵活地平衡。实验证明使用 Power-of-Choice 策略收敛速度可提高至多 3 倍，测试准确度可提高 10％，相比随机选择基线有明显的提高。

Abstract

federated learning is a distributed optimization paradigm that enables a large number of resource-limited client nodes to cooperatively train a model without data sharing. Several works have analyzed the convergence of federated learning by accounting of data heterogeneity, communicati

federated learning client selection bias convergence analysis power-of-choice communication efficiency

发现论文，激发创造

模拟全客户参与：联邦学习的长期客户选择策略

通过最小化客户子集与完整客户集之间的梯度空间估计误差，我们提出了一种旨在模拟完整客户参与下性能的新型客户选择策略，并引入了一种新颖的个体公平约束，以确保具有类似数据分布的客户具有类似的被选择频率，从长期的角度指导客户选择过程。我们利用 Lyapunov 优化和子模函数高效地识别出最佳客户子集，并对收敛能力进行了理论分析。实验结果表明，与先前方法相比，所提出的策略在提高准确性和公平性的同时，还以最小的时间开销显示出高效性。

May, 2024

联邦学习中客户选择的综合调查

联邦学习是机器学习领域中迅速发展的领域，允许数据在多个分散设备上进行训练。客户端选择是整个系统性能的关键因素。本调查综述了联邦学习中最先进的客户端选择技术，包括它们的优点、局限性以及需解决的挑战和开放问题。我们涵盖了传统的选择技术，例如随机选择，其中选择所有或部分随机的客户端进行训练。我们还涵盖了面向性能和面向资源的选择，适用于资源受限和异构网络。我们还讨论了客户端选择在模型安全增强中的使用。最后，我们讨论了动态约束和异构网络中的客户端选择相关的开放问题和挑战。

Nov, 2023

联合概率选择与功率分配的联邦学习

研究在有限能源预算的设备上训练机器学习模型时，联邦学习在无线网络中的性能表现，提出了一种基于概率的客户端选择和功率分配方法，通过交替算法解决该问题，并与其他基准进行了比较，结果表明该方法在能源消耗、完成时间和准确性方面取得了显著的性能。

Jan, 2024

贪心 Shapley 客户选择用于通信高效的联邦学习

发展了一种被称为 GreedyFed 的具有偏见的客户选择策略，它能够在固定的通信轮次内，在数据分布、系统限制和隐私要求的高度异质性条件下，实现快速而稳定的收敛，并获得高准确性。

Dec, 2023

联邦学习中客户选择前沿的快照

本文提出了一种客户端选择的分类法，以便比较不同的方法，旨在在机器学习这个有前途的领域中，为未来的研究提供方向。

Sep, 2022

基于贝叶斯相对误差策略的联邦学习通信效率增强客户端选择方法

本文提出了一种基于赌博机的通信高效客户端选择策略 UCB-CS，其通过降低通信开销来实现更快的收敛速度，并展示了客户端选择如何用于提高公平性。

Dec, 2020

快速异构联邦学习与混合客户端选择

本研究旨在解决联邦学习中由于客户端选择方案带来的模型更新差异性过大所导致的收敛速度慢的问题，并提出了一种基于聚类的客户端选择方案，通过方差约减来加速参与方的收敛速度。实验结果表明，该方案的效率超过了其他替代方案。

Aug, 2022

联邦学习中客户选择的系统文献综述

该研究系统综述了联邦学习中客户端选择的挑战、解决方案和评估指标，研究发现主要挑战为异构性、资源分配、通讯成本和公平性，常用的解决方案是改进随机选择算法并评估测试准确率与通讯轮数之间的关系。

Jun, 2023

为联邦学习选择公平感知的客户

通过 Lyapunov 优化的公平感知联邦用户选择（FairFedCS）方法可以在联邦学习中动态调整联邦用户的选择概率，根据联邦用户的声誉、参与联邦任务的次数和对最终模型性能的贡献，共同考虑性能和公平性。在真实的多媒体数据集上进行的大量实验表明，FairFedCS 平均实现了 19.6% 更高的公平性和 0.73% 更高的测试准确性，超过了最佳性能的现有方法。

Jul, 2023

异步无线联邦学习与概率客户端选择

通过联邦学习解决异步模式下的执行阻塞问题，提出利用概率选择客户端和带宽分配来优化异步联邦学习的收敛速度和移动能源消耗的问题，并通过实验验证了该方法的优越性。

Nov, 2023