分段式 Gossip 算法的去中心化联邦学习
我们提出了一个新的去中心化个性化在线联邦学习设置,用于在在线环境中学习,在每个客户端上学习个性化模型,并在去中心化环境中学习。我们解决了两个技术挑战:如何通过优化本地模型的性能来聚合来自邻近客户端的共享模型参数,并通过学习的聚合权重选择最有帮助的邻居减少通信成本。
Nov, 2023
图形联邦学习在多种场景中都有广泛的应用,需要更多的数据隐私保护。这篇研究论文提出了一种基于去中心化框架以及节点间数据相似性的图形联邦学习方法,通过线性加权聚合节点的梯度信息,实验证明该方法的有效性优于其他方法。
Jul, 2023
Federated Learning is proposed as an alternative to logging and training in a data center by aggregating locally-computed updates on mobile devices to improve the user experience. The approach is shown to be robust to non-IID data distributions and reduce required communication rounds by 10-100x compared to synchronized stochastic gradient descent.
Feb, 2016
提出使用稀疏随机图而非完全图来设计共享节点拓扑的低复杂度方案,在保证可靠性和隐私性的前提下,相对于现有的安全解决方案大幅度降低了通信 / 计算资源使用量。
Dec, 2020
去中心化的学习方法 federated learning 和 gossip learning 之间的关键区别在于模型聚合方式;我们的研究引入了一种修正方差的模型平均算法,使 gossip learning 能够达到与 federated learning 相当的收敛效率。
Apr, 2024
在工业物联网中,由于隐私和安全问题,很难将大量数据集中到一起训练深度学习模型,因此联邦学习,一种保护数据隐私的分布式机器学习范式,在物联网中得到广泛应用。然而,在实际的联邦学习中,数据分布通常在设备之间存在较大差异,数据的异构性将对模型的性能产生不利影响。此外,物联网中的联邦学习通常涉及大量设备的训练,而云服务器的通信资源有限成为训练的瓶颈。为了解决上述问题,本文将集中式联邦学习与分散式联邦学习相结合,设计了一种半分散式边缘云设备层次化联邦学习框架,可以缓解数据异构性的影响,并且能够在物联网中大规模部署。为了解决数据异构性的影响,我们在每个环状集群中使用了增量次梯度优化算法来改善环状集群模型的泛化能力。我们的大量实验证明,我们的方法可以有效缓解数据异构性的影响,并减轻云服务器中的通信瓶颈。
Mar, 2024
通过提出集中式的、基于神经网络的联邦学习系统,利用边缘计算减少中央服务器的负载,同时在各种数据分布设置中相对于一些现有基准算法取得令人满意的性能。
Nov, 2023