分散式联邦学习中的初始化与拓扑效果

Mar, 2024

分散式联邦学习中的初始化与拓扑效果

Initialisation and Topology Effects in Decentralised Federated Learning

Arash Badie-Modiri, Chiara Boldrini, Lorenzo Valerio, János Kertész, Márton Karsai

TL;DR去中心化联邦学习，在保持训练数据本地化的同时，能够在网络上分布式设备上进行个体机器学习模型的协作训练。我们的研究强调了去中心化联邦学习的有效性受连接设备的网络拓扑结构的显著影响。通过简化的数值模型研究这些系统的早期行为，我们得出了一种改进的人工神经网络初始化策略，利用底层网络节点的特征向量中心性分布，大大提高训练效率。此外，我们的研究还探索了在我们提出的初始化策略下的可扩展行为和环境参数的选择。这项工作为在分布式和非协调环境中进行更高效、可扩展的人工神经网络训练铺平了道路，并深入了解了网络结构和学习动力之间的相互作用。

Abstract

Fully decentralised federated learning enables collaborative training of individual machine learning models on distributed devices on a network while keeping the training data localised. This approach enhances data priv

decentralised federated learning data privacy network topology artificial neural network training efficiency

发现论文，激发创造

网络拓扑对分布式联邦学习性能的影响

去中心化学习以网络结构、学习效果、中心性指标和知识传播为重点，通过研究三种网络拓扑和六种数据分布方法，发现全局中心性指标与学习效果相关，而局部聚类性影响较小；同时揭示了从外围到中心节点的知识转移的挑战，以及中心节点对知识传播的拉力效应；探讨了度分布对中心节点学习的积极影响以及从外围节点获取知识时的稀释效应；最后，展示了跨隔离社区的知识传播所面临的巨大挑战。

Feb, 2024

网络拓扑对完全分散学习的影响：初步调查

通过直接节点间合作训练的机器学习模型中，我们探讨了连接节点的网络拓扑对其性能的影响，研究了不同类型的拓扑对知识传播的作用，揭示了节点的连接性和网络性质在此过程中的不同角色，证明了知识传播不仅仅需要节点之间的弱连通性，而且较为集中的节点在传播中起到了重要作用，而紧密结合的群体则严重阻碍了知识传播。

Jul, 2023

当去中心化优化遇上联邦学习

本文系统地研究了分散式学习对于联邦学习的分布式最优化的机遇和挑战。

Jun, 2023

确保高效联邦学习的模型初始化技术综合研究

机器学习中的隐私问题对于保护用户数据至关重要，联邦学习已成为一种有前景的方法，能够在分布式且保护隐私的方式下合作训练全局模型，而模型初始化是其学习过程中的关键部分，本研究深入探讨了联邦学习中各种模型初始化技术的优缺点并提出了创新性的解决方案。

Oct, 2023

分布式个性化在线联邦学习

我们提出了一个新的去中心化个性化在线联邦学习设置，用于在在线环境中学习，在每个客户端上学习个性化模型，并在去中心化环境中学习。我们解决了两个技术挑战：如何通过优化本地模型的性能来聚合来自邻近客户端的共享模型参数，并通过学习的聚合权重选择最有帮助的邻居减少通信成本。

Nov, 2023

多目标进化联邦学习

此论文使用多目标进化算法优化神经网络模型的结构，以同时减少通信成本和全局模型测试误差，提高联邦学习的学习性能和效率。

Dec, 2018

分层和分散的联邦学习

分层联邦学习是一种扩展传统联邦学习过程以实现更高效的模型聚合的方法，可用于智能农业和智能能源管理等应用中，以提高性能并降低成本。

Apr, 2023

联邦机器学习和集中式机器学习的比较评估

本文讨论分布式数据的非 IID 性质及其对联邦学习的训练造成的影响，同时对联邦学习与典型集中式梯度下降技术的不同之处进行比较，并在实践中演示样品数量和输出标签分布对联邦学习的影响。此外，本文证明了在模型大小不太大的情况下使用联邦学习框架具有成本优势。

Feb, 2022

基于分散数据通信高效学习深度网络

Federated Learning is proposed as an alternative to logging and training in a data center by aggregating locally-computed updates on mobile devices to improve the user experience. The approach is shown to be robust to non-IID data distributions and reduce required communication rounds by 10-100x compared to synchronized stochastic gradient descent.

Feb, 2016

无协调的复杂网络分散式联邦学习：克服异构性

在高度普及的边缘场景中，缺乏中央控制器和预定的设备连接导致了复杂的网络结构，我们提出了一种通信高效的分散式联邦学习（DFL）算法来解决由数据和不同训练历史引起的异构学习难题，研究结果表明，与竞争方法相比，我们的解决方案能够训练出更好的本地模型并且在通信效率上更为优越。

Dec, 2023