通过平衡通信折衷来实现快速联邦学习
本研究基于多用户联合学习模型,旨在解决在大规模分布式学习中存在的通信瓶颈问题。该研究使用了一种随机梯度量化策略,得以精确定制不同节点的资源分配,减少通信开销,提高学习效率。
Jan, 2020
为了解决联邦学习框架下传统ERM问题所面临的隐私保障、低带宽、动态客户端等挑战,我们开发了最优通信-efficient私密方案,可以使客户端参与到ERM的优化中,同时保证通信和隐私效果,并利用数据和客户端抽样实现隐私扩大,验证了我们的解决方案既能够获得相同的隐私、优化-性能操作点,又能大幅降低通信成本。
Aug, 2020
本文提出一种基于自编码器(Autoencoders)的动态正交压缩权重更新的方法,该方法不仅可以在大规模联邦学习中实现高达500x至1720x等多种压缩比,而且还可以根据精度要求、计算容量等要求进行修改,从而成为一种有优势的替代或补充方式。
Aug, 2021
本论文提出一种名为“单步合成特征压缩器”的方法,通过直接构建基于原始梯度的微小合成数据集,来实现通信有效的联邦学习,并优化其性能和鲁棒性,从而在多个数据集和模型上展现出显著更高的收敛速率和更低的压缩率。
Feb, 2023
通过设计基于随机稀疏化算法的梯度稀疏化联邦学习框架,该框架在无线信道上进行训练,提升了训练效率且不牺牲收敛性能,同时降低了差分隐私所引起的性能下降和无线信道传输参数数量。
Apr, 2023
Upcycled-FL是一种新颖的联邦学习框架,应用在每个偶数迭代中的一阶逼近,以在保持隐私的同时提高隐私-准确性平衡,并通过引入扰动机制来保护隐私。实验表明,Upcycled-FL在异构数据上持续优于现有方法,并且平均减少48%的训练时间。
Oct, 2023
FedCode是一种降低通信量的分布式机器学习方法,通过只传输代码簿来有效减少客户端与服务器之间的数据交互,同时保持与FedAvg相当的模型性能。
Nov, 2023
本研究解决了联邦学习中参与者与中央服务器之间的高通信成本问题,提出了一种名为FedScalar的新算法。该算法通过让参与者使用单个标量而非高维向量来进行更新,显著降低了通信开销,并在光滑的非凸损失函数上实现了$O(1/\sqrt{K})$的收敛速率。
Oct, 2024