非同步拜占庭联邦学习
本文介绍了一种分布式异步随机梯度下降算法,名为Kardam,可以应对存在拜占庭工人的情况,并且具有自我稳定的过滤组件和调整梯度组件。实证结果表明,Kardam具备对抗拜占庭行为的鲁棒性和收敛到全局最优解的能力,同时在处理干净工人的情况下也表现得更优秀。
Feb, 2018
本文提出了一种新的缓存异步聚合方法FedBuff,它结合了同步和异步federated learning的最佳属性,可在不影响系统隐私的情况下提高效率,大大缓解了跨设备联合学习中的可扩展性和隐私问题。
Jun, 2021
本文通过移除梯度范数有界的假设,对异步联邦学习算法FedBuff进行了理论分析,研究了数据异构性、批次大小和延迟等因素对算法收敛速度的影响,从而提高跨设备联邦学习的可扩展性。
Oct, 2022
提出了一种利用辍学技术处理分布式异构设备的异步联邦学习(FL)框架AsyncDrop,有效减少了通信成本和训练时间,提高了非iid FL场景的最终测试精度。
Oct, 2022
我们提出了一种高效的异步联邦学习(AFL)框架,称为延迟联邦平均(DeFedAvg),通过在自己的速度上使用不同陈旧的全局模型,DeFedAvg可以达到与FedAvg相当的渐近收敛速率,同时也是第一个具有可证明的良好线性加速特性的AFL算法,从而表明其高可扩展性。
Feb, 2024
FedFa是一种完全异步的训练范式,通过在服务器上使用少量缓冲结果进行参数更新,可以确保联邦学习的模型收敛并完全消除等待时间,实验证明该方法在IID和Non-IID场景下相较于同步和半异步策略提高了6倍和4倍的训练性能,并且保持了较高的准确性。
Apr, 2024
提出了一种全新的异步架构的多服务器联邦学习系统,解决了同步通信导致的服务器空闲时间和单服务器成为瓶颈的问题,与之前的基线方法相比,收敛速度更快且在地理分布环境中所需时间减少了61%。
Jun, 2024
本研究解决了在联邦学习中存在的攻击和数据异质性导致的学习偏差问题。提出了一种新的联邦学习方法——联邦规范化梯度算法(Fed-NGA),该算法通过规范化本地梯度为单位向量来降低聚合的计算复杂性,并能够在无最优性间隙的情况下同时适应非凸损失函数和非IID数据集。实验结果表明,Fed-NGA在时间复杂性和收敛性能上优于现有基线方法。
Aug, 2024
本研究解决了联邦学习中由于拜占庭攻击而导致的模型性能下降的问题。提出的创新性在于针对鲁棒性协议(RoFL)的两个Sybil攻击,分析了其优缺点,并提出了未来测试和改进的建议。这项研究的发现有助于提高联邦学习框架在面对恶意攻击时的鲁棒性。
Oct, 2024