Feb, 2024

网络拓扑对分布式联邦学习性能的影响

PDF
TL;DR去中心化学习以网络结构、学习效果、中心性指标和知识传播为重点，通过研究三种网络拓扑和六种数据分布方法，发现全局中心性指标与学习效果相关，而局部聚类性影响较小；同时揭示了从外围到中心节点的知识转移的挑战，以及中心节点对知识传播的拉力效应；探讨了度分布对中心节点学习的积极影响以及从外围节点获取知识时的稀释效应；最后，展示了跨隔离社区的知识传播所面临的巨大挑战。
decentralized learningnetwork structureslearning performancecentrality metricsknowledge spreading
发现论文，激发创造
  • 网络拓扑对完全分散学习的影响：初步调查

    通过直接节点间合作训练的机器学习模型中，我们探讨了连接节点的网络拓扑对其性能的影响，研究了不同类型的拓扑对知识传播的作用，揭示了节点的连接性和网络性质在此过程中的不同角色，证明了知识传播不仅仅需要节点之间的弱连通性，而且较为集中的节点在传播中起到了重要作用，而紧密结合的群体则严重阻碍了知识传播。

    Jul, 2023

  • 分散式联邦学习中的初始化与拓扑效果

    去中心化联邦学习，在保持训练数据本地化的同时，能够在网络上分布式设备上进行个体机器学习模型的协作训练。我们的研究强调了去中心化联邦学习的有效性受连接设备的网络拓扑结构的显著影响。通过简化的数值模型研究这些系统的早期行为，我们得出了一种改进的人工神经网络初始化策略，利用底层网络节点的特征向量中心性分布，大大提高训练效率。此外，我们的研究还探索了在我们提出的初始化策略下的可扩展行为和环境参数的选择。这项工作为在分布式和非协调环境中进行更高效、可扩展的人工神经网络训练铺平了道路，并深入了解了网络结构和学习动力之间的相互作用。

    Mar, 2024

  • 去中心化学习对节点和数据干扰的鲁棒性

    去中心化学习具有鲁棒性，在节点破坏和数据可用性方面表现出非凡的稳定性和分类准确率。

    May, 2024

  • 超越谱隙：拓扑在分散式学习中的作用

    研究了具有罕见连接的分布式机器学习优化问题，提出了理论解释，解释了合作可以获得比训练单独更大的学习率，并描述了不同图形拓扑的相对优点。

    Jun, 2022

  • 以数据为中心的图学习：综述

    人工智能发展历史中，高质量数据对各种深度学习模型的影响显著。最近，与基于模型的方法相比，AI 社区的关注重点转向了基于数据的方法，即更好地处理数据以增强神经模型的能力。这项调查从数据为中心的角度全面回顾了图学习方法，并旨在回答两个关键问题：（1）何时修改图数据和（2）如何修改图数据以发掘各种图模型的潜力。我们提出了一个基于图学习流程阶段的新分类法，并强调了处理图数据中不同数据结构（如拓扑、特征和标签）的方法。此外，我们分析了嵌入图数据中的一些潜在问题，并讨论了如何以数据为中心的方式来解决它们。最后，我们提供了一些关于数据为中心的图学习未来发展方向的前景。

    Oct, 2023

  • 分段式 Gossip 算法的去中心化联邦学习

    本文提出了一种基于模型细分的分散式联邦学习方法，并采用细分的 “流言” 方法来实现节点间对等带宽的充分利用和良好的训练收敛性，在实验中，与中心化联邦学习相比，能够大大缩短训练时间。

    Aug, 2019

  • 分散式深度學習共識控制

    本论文研究了分散式深度学习模型的训练，提出了共识距离作为影响中心式和分散式训练效果的关键因素，并在理论和实验上证明了降低共识距离可以提高分散式训练模型的泛化性能。同时，本论文提供了实用的训练指南以缓解训练效果下降。

    Feb, 2021

  • 分布式梯度方法：拓扑结构是否重要？

    该论文研究了分布式优化方法中工作通讯拓扑对收敛速度的影响，并提出通过使用稀疏拓扑来提高收敛速度的方法。

    Feb, 2020

  • 量子网络中的量子联合学习

    通过在分布式学习方案中使用分散环拓扑结构和量子权重，实现针对深度学习模型的量子联邦学习，从而解决数据安全与训练效率问题。

    Oct, 2023

  • 面向任务的边缘网络：无线前传的分散学习

    这篇论文研究了任务导向的边缘网络，其中多个边缘物联网节点通过网络云中的强大深度神经网络（DNNs）执行机器学习任务。

    Dec, 2023