SFedCA:基于信用分配的脉冲式联邦学习主动客户选择策略
通过引入在线联邦学习,提出了一种基于 SNN 的在线联邦学习规则,称为 FL-SNN,通过局部和全局反馈信号实现协作训练,从而解决了有限数据的问题,并在通信负载和准确度之间实现了灵活的权衡。
Oct, 2019
本文研究了在偏置客户端选择策略下的联邦学习的收敛性,并量化了选择偏差对收敛速度的影响。作者提出了Power-of-Choice这个通信和计算效率高的客户端选择框架,能够在收敛速度和解决方案偏差之间灵活地平衡。实验证明使用Power-of-Choice策略收敛速度可提高至多3倍,测试准确度可提高10%,相比随机选择基线有明显的提高。
Oct, 2020
本研究考虑了在波动性环境下客户端选择问题,旨在在有效参与和公平性的联合考虑下解决权衡问题, 提出E3CS方案以解决此问题,并通过实验验证其有效性。
Nov, 2020
提出了FedCor——一种基于相关性的客户端选择策略的联邦学习(FL)框架,以提高FL的收敛速度,并通过在FMNIST和CIFAR-10上进行实验验证,在收敛速度方面比最先进的方法提高了34%~99%和26%~51%。
Mar, 2021
本研究提出了一个分散的、保护隐私的 Spiking Neural Networks 训练框架,在 CIFAR10 和 CIFAR100 基准测试中,我们发现在联邦学习的大规模客户端下,相较于人工神经网络,Spiking Neural Networks 能够提供超过 15% 的总体准确性并达到多达 5.3 倍的能源效率。
Jun, 2021
联邦学习是机器学习领域中迅速发展的领域,允许数据在多个分散设备上进行训练。客户端选择是整个系统性能的关键因素。本调查综述了联邦学习中最先进的客户端选择技术,包括它们的优点、局限性以及需解决的挑战和开放问题。我们涵盖了传统的选择技术,例如随机选择,其中选择所有或部分随机的客户端进行训练。我们还涵盖了面向性能和面向资源的选择,适用于资源受限和异构网络。我们还讨论了客户端选择在模型安全增强中的使用。最后,我们讨论了动态约束和异构网络中的客户端选择相关的开放问题和挑战。
Nov, 2023
FedGCS是一种创新的生成式客户端选择框架,它通过将客户端选择过程重新定义为生成任务来有效地编码丰富的决策知识,并利用梯度优化在连续表示空间中搜索最佳客户端选择,并通过波束搜索生成最终的最优客户端选择,从而在模型性能、延迟和能源消耗方面同时优化,超过了传统方法的综合性、可推广性和效率。
May, 2024
FedCAda是一种创新的联邦客户自适应算法,利用Adam算法在客户端调整一阶矩估计$m$和二阶矩估计$v$的修正过程,并在服务器端聚合自适应算法参数,以加快收敛速度和通信效率,同时确保稳定性和性能,该算法在计算机视觉(CV)和自然语言处理(NLP)数据集上的广泛实验表明,它在适应性、收敛性、稳定性和整体性能方面优于现有方法。
May, 2024
通过最小化客户子集与完整客户集之间的梯度空间估计误差,我们提出了一种旨在模拟完整客户参与下性能的新型客户选择策略,并引入了一种新颖的个体公平约束,以确保具有类似数据分布的客户具有类似的被选择频率,从长期的角度指导客户选择过程。我们利用Lyapunov优化和子模函数高效地识别出最佳客户子集,并对收敛能力进行了理论分析。实验结果表明,与先前方法相比,所提出的策略在提高准确性和公平性的同时,还以最小的时间开销显示出高效性。
May, 2024
通过比较不同的数据聚合方法,本文对包含传统人工神经网络(ANNs)和脉冲神经网络(SNNs)的联邦学习系统进行了评估,实验结果表明CNN-SNN融合框架在MNIST数据集上表现最好,并发现了多模型联邦学习收敛过程中的竞争抑制现象。
Jun, 2024